大数据爬虫技术 教案全套 黄源 1--30 认识爬虫的概念及原理---使用scrapy框架定制爬虫框架.docx

大数据爬虫技术 教案全套 黄源 1--30 认识爬虫的概念及原理---使用scrapy框架定制爬虫框架.docx

  1. 1、本文档共99页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

大数据爬虫技术

参考教案

课程名称:大数据爬虫技术

课程代码:

教师姓名:

上课班级:

授课计划

序号

NO.

日期

Date

节次

Sequence

教室

Classroom

学时

Periods

单元标题

UnitTitle

1

2

认识爬虫的概念及原理

2

2

爬虫环境搭建

3

2

socket库使用

4

2

熟悉HTTP和Cookie

5

2

urllib3库

6

2

生成HTTP请求、处理请求头、设置超时、设置请求重试

7

2

Requests库

8

2

生成HTTP请求、查看状态码与编码、处理请求头与响应头、设置超时

9

2

使用chrome开发者工具

10

2

动态网页

11

2

静态页面

12

2

动态页面的爬取方法

13

2

selenium库

14

2

处理错误能够使用selenium库进行动态页面爬取

15

2

掌握requests库实现POST请求

16

2

掌握requests库实现POST请求

17

2

函数学会使用requests发起POST请求

18

2

函数学会使用requests发起POST请求

19

2

能够使用常见的抓包工具

20

2

能够使用常见的抓包工具

21

2

掌握相关抓包工具的使用

22

2

Httpanalyzer工具

23

2

Httpanalyzer工具

24

2

Fidder工具的使用

25

2

Fidder工具的使用

26

2

Scrapy框架的命令

27

2

Scrapy框架相关参数的使用

28

2

Scrapy框架相关参数的使用

29

2

使用scrapy框架定制爬虫框架

30

2

使用scrapy框架定制爬虫框架

参考教案

授课教师

Instructor

所在部门

Department

课程名称

Coursetitle

授课日期

Date

单元标题

Unittitle

认识爬虫的概念及原理

授课地点

Venue

授课班级

Class

课时

Periods

2

思政元素

家国情怀

根据《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》中指出的“推进政府数据开放共享”,从权属清晰、认为公共资源地政府数据入手,尽快完善数据标准,搭建开放平台,供社会力量共同开发利用。同时,加强核算,合理确定政府数据在采集、存储、治理、分析等环节的成本,以便未来加强对数据要素价格的管理与监督。同时,对于社会数据,完善数据分类分级以及确权的相关政策法规,并根据《意见》要求“引导培育大数

知识目标

Knowledge

objectives

知道什么是爬虫,了解爬虫的概念,理解爬虫的原理,掌握Python的环境配置方法

技能目标

Skill

objective

通过python爬虫环境与爬虫简介,学生能够运用爬虫概念、爬虫原理、反爬及其应对策略、能够运行python爬虫环境配置方法,根据爬虫法律安全规范,可以完成Python环境搭建,制定爬虫反爬取策略

态度目标

Attitudeobjectives

A1|能形成遵纪守法良好习惯,遵从网络行业从业的相关法规

A2|具备爱岗敬业、吃苦耐劳的良好职业道德

A3|具有团队合作意识和协作精神

A4|具有自主学习能力和自我提高能力

A5|具备统筹协调能力、综合运用能力、革新创新能力

重点及措施

KeypointsandInstructionalstrategies

1、课程介绍2、环境搭建

难点及措施

DifficultPointsandInstructionalstrategies

开发环境搭建

教学资源

Teachingresources

/mooc2-ans/mycourse/tch?courseid=241069066clazzidpi=238471580enc=8c37e6187ae29156bbd14940f118c4a8t=1708932148603pageHeader=2

形成性考核

Formativeassessment

超星平台记录学生课堂出勤、课堂抢答、课堂加减分等。

教学过程

DeliveryProcess

预计时间

Duration

教学内容

Content

教学活动Activity

设计意图及信息化手段

Resources

教师活动(主导)

TeacherActivity

学生活动(主体)

StudentActivity

5

课程破冰

教师自我介绍,与学生进行互动熟悉

与教师进行互动熟悉

PPT课件

10

课程导入

课程定位,教材介绍、教学内容,教学目标

文档评论(0)

balala11 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档