《Python网络爬虫技术案例教程》PPT课件（共10单元）三单元网页解析基础.pptxVIP

网页解析基础;本章导读;学习目标;;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础;3.1 网页基础; 爬取小说《三国演义》章节列表网页的内容（网址https://www.biqukan. com/50_50096/），使用lxml库解析网页后，输出爬取到的小说章节列表链接。;【问题分析】;【参考代码】;【运行结果】;lxml库是Python的一个网页解析库，支持HTML和XML的解析，支持XPath解析方式，解析效率非常高。lxml库不是Python内置的标准库，使用之前需要安装，其安装方法与requests库??安装类似（请参考2.3.2节），此处不再赘述。;lxml库的大部分功能是由etree模块提供的。使用XPath解析网页时，首先需要调用etree模块下的HTML类对HTTP响应的网页进行初始化（etree.HTML()），从而构造一个Element类型的XPath解析对象； 然后使用XPath对Element对象进行节点选择，最后返回一个列表。若HTML中的节点没有闭合，etree模块还可提供自动补全功能。;XPath的选择功能十分强大，它提供了非常简明的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配及节点、序列的处理等。可以说，几乎所有想要定位的节点，都可以用XPath来选择。;HTML源代码是层次结构的，如果想要选择一个节点，可以一层一层往下查找。XPath实际上就是使用这种层次结构的路径来找到相应的节点，它类似于人们日常使用的地址，它们都是从大的范围一直缩小到具体的某个地址。XPath通过路径选择节点常用的语法如表3-3所示。;爬取小说《三国演义》章节列表网页的内容（网址https://www.biqukan. com/50_50096/），通过路径选择节点后输出。;【参考代码】;【运行结果】;XPath可以通过节点的属性来选择包含某个指定属性值的节点。它可在仅掌握节点部分特征的情况下，利用模糊搜索函数选择节点。XPath通过属性选择节点常用的语法如表3-4所示。; 爬取小说《三国演义》第一章节网页内容（网址/ 50_50096html），通过属性选择节点后输出。;【参考代码】;【运行结果】;解析网页的目的是通过选择节点来提取节点文本或属性值，从而获取所需的信息。XPath提取文本的方法如表3-5所示。; 爬取小说《三国演义》第一章节网页内容（网址/ 50_50096html），输出爬取到的第一章节的标题和正文。; import requests #导入requests模块 import chardet #导入chardet模块 from lxml import etree #导入etree模块 #定义字符串chapter_url chapter_url = /50_50096html r = requests.get(chapter_url) #发送请求，并将返回结果赋值给r #获取返回内容编码类型 code_type = r.apparent_encoding #判编码类型是否是GB2312，如果是，改变编码类型为GBK if code_type == GB2312: code_type = GBK; r.encoding = code_type #重定义返回内容编码类型 html = etree.HTML(r.text) #创建HTML对象html #选择h1节点并提取文本，将返回的列表第一项赋值给title title = html.xpath(//h1/text())[0] print(title) #输出第一章节的标题 #选择id属性值为“content”的div节点并提取文本 contents = html.xpath(//div[@id=content]/text()) for i in contents: #遍历列表 #移除字符串头尾的空格，并赋值给content content = i.strip() print(content) #输出第一章节的正文; 程序的运行结果如图3-9所示。;3.3 beautifulsoup4库;3.3 beautifulsoup4库;3.3 beautifulsoup4库;3.3 beautifulsou