《Python网络爬虫技术案例教程》PPT课件（共10单元）五单元反爬虫策略.pptxVIP

反爬虫策略;本章导读;学习目标;;编写爬虫程序的目的是自动获取网站的一些数据，而反爬虫则是利用技术手段防止爬虫程序爬取数据。;5.1 反爬虫策略;5.1 反爬虫策略;5.1 反爬虫策略;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;1．实战目的 （1）练习使用设置请求头、使用代理IP和降低请求频率等措施应对反爬虫。 （2）??习使用beautifulsoup4库解析爬取的网页内容。 （3）练习将获取的数据保存至CSV文件中。 2．实战内容 爬取哔哩哔哩网站的内容，输入搜索关键字解析网页，获取所有视频信息，包括视频标题、视频时长、观看次数、上传时间、up主和视频链接，输出正在爬取的页码提示，并将爬取到的视频信息保存到以搜索关键字命名的CSV文件中。;3．实战分析 使用Google Chrome浏览器打开哔哩哔哩网站，搜索关键字（如Python），打开网页（网址/all?keyword=Python，也可写为/all? keyword=Pythonpage=1），可以看到每一页只显示20个视频信息（共50页），翻页查看每一页的网址（如/all?keyword=Pythonpage=6），发现网址中的数字随着页数的变化而变化（如第6页为“page=6”）。 防止爬虫程序在爬取网站过程中被反爬虫程序识别和禁止，可使用下面的措施。设置Headers参数的User-Agent信息，模拟浏览器信息；在爬虫程序中定义代理IP列表，每次发送HTTP请求时随机选取代理IP；每爬取一页内容，程序休眠随机时间。 【参考代码】详情见P142~P144 【运行结果】详情见P145;THANK YOU