基于Python爬虫技术的研究.docx

? ? 基于Python爬虫技术的研究 ? ? 洪丽华 HONG Li-hua；黄琼慧 HUANG Qiong-hui （厦门软件职业技术学院软件工程学院，厦门 361000） 0 引言 爬虫技术是一把双刃剑。随着科学的发展，网络的应用也随之快速地发展。网络的最大作用是随时随地给不同的用户提供资源。网络提供了大量的资源，特别是随着大数据技术的发展，用户如何在这些资源中尽快找到自己所需要的呢？运用爬虫技术，能够以最快地速度获取到用户所需要的相关资源。爬虫，像机器人一样，按照制定的规则、编写的程序，在网络中能够自动地搜索、整理相关的资源。爬虫技术，也称为网络爬虫[1]。运用爬虫技术，既能获取到网站上合法的、公开的的信息，也能获取到不合法的、私人的信息。本人提倡在法律法规的范围内、在道德约束的条件下，运用爬虫技术。 爬虫技术的应用非常广泛，比如：爬取网页、爬取热点新闻、爬取金融信息、爬取用户的联系方式等等[2]。其中，最广泛、最流行的应用是爬取网页，即网页爬虫。实现爬虫技术，可以运用编程语言来编写程序代码，比如：C语言、C++、Java、Python等程序设计的语言。其中，Python语言具有简洁的代码、开发的效率高等优势，颇受开发者的热爱。 本文从Python、爬虫技术和网页爬虫等三大方面进行阐述。 1 Python Python提供的安装程序、源代码，都是免费的。它分别提供了与操作系统Windows、Linux和Mac等其它操作系统相匹配的所有免费的安装版本，又分别提供了在线的、离线的和压缩包的等安装程序。比如，Python 3.11.Orc-Sept 12，2022版 本 提 供 了Windows installer（32-bit）、Windows installer（64-bit）、Windows installer（ARM64）和Windows embeddable package（32-bit）、Windows embeddable package（64-bit）、Windows embeddable package（ARM64）等安装程序[3]。本文的程序代码是在Windows操作系统下运行的。Python的官方下载网址为：/downloads。 Python不仅仅自带强大、丰富的标准库，还拥有大量的第三方库[4]。Python的所有第三方库的官方下载网址为：。假设要下载第三方库Scrapy，登录第三方库的官方网站，在搜索框中输入Scrapy，就能搜索到它的所有版本，用户再根据电脑的配置选择相应的版本下载、安装。 在安装第三方库时，可以选择在线安装，也可以选择离线安装。如果是在线安装，比如安装Scrapy，在命令符窗口输入：pip install scrapy，系统会自动选择与电脑相匹配的scrapy版本进行安装；如果是离线安装，用户得先查看、判断电脑里面的相关软件的版本，再下载相应的scrapy版本进行安装。 2 爬虫技术 Python提供了许多库来实现爬虫技术[5]，比如，BeautifulSoup库、rurlib库、requests库和pycurl库等等。其中，用得比较多的是requests库，包含以下常用的函数：request()、get()、head、post、put、patch、delete()等等。 爬虫技术的一般流程是[5]：①明确需要爬取的目标、内容；爬取哪个网站的哪些内容，每个网站的URL是不一样的，需要正确地输入，比如，百度的URL是：；京东的URL是：；需要爬取哪些内容，得正确地书写；②用户向服务器发送请求；一般需要加请求的报头，比如加：“User-Agent”，以免被误认为是非法客户的访问；③服务器返回给用户的数据；服务器会给用户发回许许多多的数据，包含有价值的数据和无价值的数据等等；④解析、提取需要的数据；从服务器返回的数据中，解析和提取有价值的数据，过滤无价值的数据；⑤用文件、数据库或其它方式存储相应的数据；把解析和提取的有价值数据用不同的形式保存以备用。 Python也提供了许多框架来实现爬虫技术[6]，比如，Portia、Crawley、Scrapy等等。其中Scrapy框架，包含下载器（Downloader）、Spider中间件（Spider Middlewares）、下载器中间件（Downloader Middlewares）等多个组件，同时，Scrapy框架也包含了许多作用不同的相对应的命令，比如，使用Scrapy下载器下载的URL并且将内容输出的fetch（）命令。 但是，由于爬虫的过程中，许多服务器资源会被消耗掉，服务器的稳定性也会受到很大影响，基于种种原因，爬虫是不受网站所有者的欢迎。为了能够顺利地实现爬虫技术，需要先了解网站所有者所制定的限制措施——反爬虫，然后，