《Python网络爬虫技术案例教程》PPT课件（共10单元）七单元爬取APP和PC客户端数据.pptxVIP

爬取App和PC客户端数据;本章导读;学习目标;;Fiddler是常用的App抓包工具。它是位于客户端和服务器端的HTTP代理，能够记录客户端和服务器端之间的所有HTTP请求，可以针对特定的HTTP请求分析请求数据、设置断点、调试Web应用、修改请求数据，甚至可以修改服务器端返回的数据，功能非常强大。 本节主要介绍在Windows中使用Fiddler对Android手机App的HTTP请求进行抓包分析，并爬取数据的方法。; 访问/detail/10/detail_3330.html，在打开的下载页面中单击“普通下载”按钮下载安装文件，如图7-1所示。; 单击“开始”按钮，选择“Fiddler 4”选项，如图7-2所示。;打开“Progress Telerik Fiddler Web Debugger”窗口，在菜单栏中选择“Tools”→“Options”选项，如图7-4所示。;打开“Options”对话框，切换到“HTTPS”选项卡中，勾选“Decrypt HTTPS traffic”复选框（表示可记录HTTPS请求），在展开的列表中勾选“Ignore server certificate errors”复选框，如图7-5所示。; 切换到“Connections”选项卡中，勾选“Allow remote computers to connect”复选框（表示允许别的远程设备发送HTTP/HTTPS请求到Fiddler），单击“OK”按钮，如图7-6所示。;确保Android手机和计算机在同一局域网内（如连接同一无线网络）。确保Fiddler完成设置，并正在运行。;在手机端选择“设置”→“无线和网络”→“WLAN”选项，长按已经连接的网络（如4B16），在弹出的列表中选择“修改网络”选项，如图7-8所示。; 打开设置代理界面，设置“服务器主机名”为“11”（图7-7中的无线局域网适配器WLAN的IPv4地址），设置“服务器端口”为“8888”（图7-6中的“Fiddler listens on port”的端口号），点击“保存”按钮，如图7-10所示。; 在Android手机自带的浏览器中访问“11:8888”，然后点击“FiddlerRoot certificate”链接下载证书，如图7-11所示。; 进入手机的“下载管理”界面，点击下载好的“FiddlerRoot.cer”文件，输入锁屏密码，设置“证书名称”为“FiddlerRoot certificate”，点击“确定”按钮，安装证书，如图7-12所示。;Fiddler抓取App数据包并分析数据的过程如下：;Fiddler抓取App数据包并分析数据的过程如下：;Fiddler抓取App数据包并分析数据的过程如下：;爬??App数据的思路如下：;爬取一点资讯App科技板块，输出首页的文章标题、概要和链接。;【问题分析】;详情见P179~P180;7.2 爬取PC客户端数据;访问/detail/13/detail_10593.html，在打开的下载页面中单击“普通下载”按钮，下载安装文件，如图7-17所示。;参照7.1.2节设置Fiddler。另外，在“Options”窗口，切换到“HTTPS”选项卡中，勾选“Check for certificate revocation”复选框，单击“OK”按钮，如图7-18所示。;启动Proxifier，在菜单栏中选择“配置文件”→“代理服务器”选项，如图7-19所示。; 在打开的对话框中设置地址为“”，设置端口为“8888”（与Fiddler设置的端口一致），勾选“HTTPS”单选钮，单击“确定”按钮（见图7-21）。返回“代理服务器”对话框，单击“确定”按钮。;在菜单栏中选择“配置文件”→“代理规则”选项，如图7-22所示。;在打开的对话框中的“应用程序”编辑框中输入“Fiddler.exe”，在“动作”的下拉列表中选择“Direct”选项，单击“确定”按钮（见图7-24）。返回“代理规则”对话框，单击“确定”按钮。;爬取酷狗音乐PC客户端数据（搜索歌手的相关信息），输出首页歌曲的专辑名、歌曲名和歌手名。;7.2.3 典型案例;输出的歌曲信息如图7-27所示。;1．实战目的 练习使用Fiddler爬取App数据。 2．实战内容 爬取出版资格准题库App数据，获取出版专业基础（初级）模拟试题内容，包括标题、单项选择题、多项选择题和综合题，其中选择题包含题目、答案选项、正确答案和分析，综合题包含题目和分析，然后将其存储到TXT文件中。 3．实战分析 详情见P188~P193 【参考代码】详情见P190~P193 【运行结果】详情见P193~P194;THANK YOU