爬取拉勾网，并进行数据分析.pdfVIP

爬取拉勾⽹，并进⾏数据分析 拉勾⽹是现在互联⽹招聘⽐较⽕热的⼀个⽹站，本篇⽂章主要是爬取拉勾⽹“数据分析师”这个岗位，并且对所爬取到的信息，进⾏数据分 析。 数据采集 拉勾⽹的岗位信息主要是⽤json⽂件存储，在position这个json⽂件中，我们找到了所需要的岗位信息 接着便开始写爬⾍了： # -*- coding: UTF-8 -*- import json import requests headers = { :: :: , Origin: , Referer: /jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=fromSearch=truesuginput=, User-Agent: post_data = {first: false, kd:数据分析师 }#这是请求⽹址的⼀些参数 def start_requests(pn): html = requests.post(myurl + str(pn), data=post_data, headers=headers, verify=False) html_text = html.text content = json.loads(html_text) #loads()暂时可以理解为把json格式转为字典格式，⽽dumps()则是相反的 pagesize = content.get(content).get(pageSize) #这是Pytho字典中的get()⽤法 return pagesize def get_result(pagesize): for page in range( 1, pagesize+1): content_next = json.loads(requests.post(myurl + str(page), data=post_data, headers=headers, verify=False).text) company_info = content_next.get(content).get(positionResult).get(result) if company_info: for p in company_info: line = str(p[city]) + , + str(p[companyFullName]) + , + str(p[companyId]) + ,, str(p[companyLabelList]) + , + str(p[companyShortName]) + , + str(p[companySize]) + ,, str(p[businessZones]) + , + str(p[firstType]) + , + str( p[secondType]) + ,, str(p[education]) + , + str(p[industryField]) +,, str(p[positionId]) +, + str(p[positionAdvantage]) +, + str(p[positionName]) +,, str(p[positionLables]) +, + str(p[salary]) +, + str(p[workYear]) + file.write(line) if __name__ == __main__: title = file = open(%s.txt % 爬⾍拉勾⽹, a) #创建爬⾍拉勾⽹.txt⽂件 file.write(title) #把title部分写⼊⽂件作为表头 cityList = [u北京, u上海,u深圳,u⼴州,u杭州,u成都,u南京,u武汉,u西安,u厦门,u长沙,u苏州,u天津,u郑州]