《基于Python的分布式网络爬虫的设计与实现》10000字.docx

基于Python的分布式网络爬虫的设计与实现 目 录 TOC \o 1-3 \h \u 30543 第一章 引言 1 30006 第二章 爬虫相关技术 2 5040 2.1 爬虫基本原理 2 807 2.2 网站解析技术 2 22977 2.2.1 URL去重技术 2 5605 2.2.2 网页解析技术 3 21712 2.2.3 爬虫可能遇到的问题 3 25721 2.3 Scrapy相关介绍 3 7404 2.4 数据存储技术 5 5948 2.4.1 MySQL数据库 5 28551 2.4.2 Redis数据库 5 14946 2.5