前端视角通过selenium实现爬虫技术（node方向）.pdfVIP

前端视⾓通过selenium实现爬⾍技术（node⽅向） 动化测试。今天的话，我们来讲解⼀下爬⾍技术，这⾥特别注意：爬⾍有风险开发需谨慎。 爬⾍的介绍 爬⾍是通过程序来获取⽹络资源，可以通过定时器定时的去爬取⽹络资源，⽽不是通过⼈为的⽅式去爬取资源。⼤家常⽤的搜索引擎就是由很多很 多爬⾍组成，每个爬⾍都会去⽹络上爬取资源存储⾃⼰的数据库中供⽤户搜索。我们今天来讲解⼀个分页列表，分为2个步骤：1、模拟⽤户登录 2、获取列表数据 模拟⽤户操作 1、打开登录页⾯，模拟⽤户输⼊账户和密码 ，点击 登录 按钮跳转到⾸ 页 await driver.get(http://localhost:8080/#/login); await driver.findElement(By.xpath(//*[@id=app]/div/div/div[1]/input)).sendKeys(123456,Key.RETURN); await driver.findElement(By.xpath(//*[@id=app]/div/div/div[2]/input)).sendKeys(123456,Key.RETURN); await driver.findElement(By.xpath(//*[@id=app]/div/div/button)).click(); 2、模拟⽤户⾏为操作页⾯，使其到达想要爬取的列表页⾯ await driver.findElement(By.id(detail)).click(); 3、获取列表当前页数据，当前页数据获取完成后模拟⽤户点击下⼀页，这样依次获取数据，直到数据全部获取完成。注意：⼀、可以通过获取分 页总数，进⾏遍历来获取数据 ⼆、通过点击下⼀页获取数据，直到下⼀页⽆法在点击，说明已经到最后⼀页 let ul = await driver.findElement(By.xpath(//*[@id=app]/div/div[2]/ul)); let uiItem = await ul.findElements(By.css(.number)); let maxPage = await uiItem[uiItem.length-1].getText(); for(var i=1;imaxPage;i++){ let cItem = await driver.findElements(By.css(.el-table__row)); for(var k=0;kcItem.length;k++){ let c = await cItem[k].findElements(By.css(.cell)); let cDate = await c[0].getText(); let cName = await c[1].getText(); let cAddress = await c[2].getText(); await writeSteam.write(`时间：${cDate} 名字 ：${cName} 地址 ：${cAddress}`); await writeSteam.write(\r\n); } await driver.sleep(1000); await driver.findElement(By.xpath(//*[@id=app]/div/div[2]/button[2])).click(); } writeSteam.close();