《Python网络爬虫技术案例教程》PPT课件（共10单元）二单元爬虫基础.pptxVIP

爬 虫 基 础;本章导读;学习目标;;2.1 HTTP基本原理;使用Google Chrome浏览器打开百度的搜索页面为例来展示HTTP请求和响应的过程。;在记录列表中，选择“”选项，然后在其右侧打开的界面中选择“Headers”选项，即可显示HTTP请求和响应的详细信息，如图2-2所示。;请求体（Request Body）;图2-2中的“Request Method”部分即为请求方法（GET方法）。可以看出，平时打开网站一般使用的是GET方法，也就是请求页面； 如果是向网站提交数据（如登录网站），就用到了POST方法。还有一些其他的请求方法，如HEAD、PUT、DELETE、CONNECT、OPTIONS和TRACE等，在实际编写爬虫程序时很少用到，此处不再介绍。;请求头（Request Headers）;请求头（Request Headers）;请求体（Request Body）;响应状态码（Response Status Code）;响应头（Response Headers）;响应体（Response Body）;爬取有道在线翻译网站的内容（网址/），输出爬取到的信息。;import urllib.request #导入request模块 url = / #定义url字符串 #构造HTTP请求，并将返回的结果赋值给response response = urllib.request.urlopen(url) print(响应类型：, type(response)) #输出响应类型 print(响应状态码：, response.getcode()) #输出响应状态码 #输出编码方式 print(编码方式：, response.getheader(Content-Type)) print(请求的URL：, response.geturl()) #输出请求的URL resp = response.read().decode(utf-8) #读取网页内容并解码 print(网页内容：\n, resp) #输出网页内容;【运行结果】;urllib库是Python内置的标准库，不需要额外安装即可使用，它包含如下四个模块。;request模块提供了基本的构造HTTP请求的方法，同时它还可以处理授权验证（authentication）、重定向（redirection）、Cookie会话及其他内容。;2.2.3 发送请求;2.2 urllib库;爬取有道在线翻译网站，实现翻译的过程，输出爬取到的信息。;2.2 urllib库;import urllib.request #导入request模块 url = /translate?smartresult=dict \ smartresult=rule #定??url字符串 datavalue = { i: 苹果, from: AUTO, to: AUTO, smartresult: dict, client: fanyideskweb, salt: 15924715113269, sign: 5c3a992ac57ed879b7678ff05bb3ec44, ts: 1592471511326, bv: c74c0365595fdc27140f0f, doctype: json, version: 2.1, keyfrom: fanyi.web, ; action: FY_BY_REALTlME } #定义datavalue参数 #编码datavalue参数 datavalue = urllib.parse.urlencode(datavalue).encode(utf-8) #构造HTTP请求，并将返回的结果赋值给response response = urllib.request.urlopen(url, data=datavalue) resp = response.read().decode(utf-8) #读取网页内容并解码 print(resp) #输出网页内容;当HTTP请求信息较复杂时，可用Request()函数进行设置，其函数原型如下：; 通过设置headers参数伪装成浏览器爬取有道在线翻译网站的内容（网址/），输出爬取到的信息。; 程序的运行结果如图2-8所示。;er