市场研究——数据技术与情境案例 课件 第十五章 Python在市场分析与调查中的应用.pptx

×××学院×××第十五章Python在市场分析与调查中的应用

单击此处添加文本具体内容01Python概述02爬取市场数据单击此处添加文本具体内容03进行市场数据分析单击此处添加文本具体内容04进行文本分析单击此处添加文本具体内容目录

Python概述单击此处添加文本具体内容/01

一、Python简介Python是一种跨平台的通用编程语言。作为一种开放源代码，每个人都可以为其代码和库的编写和维护做出贡献。Python远离0和1，更接近人类语言。因此，任何使用该语言的个人都无需担心内存管理、删除对象或其他问题，只需完全专注于解决编程问题。当前Python被广泛应用于Web开发、机器学习、游戏开发、数据科学、网络爬虫等领域，市场分析也是Python应用的一个重要领域。

二、Python在市场分析中的应用（一）Python应用于市场数据的抓取网络爬虫是大数据行业获取市场数据的核心工具，Python是编写网络爬虫最主流的编程语言，Scripy爬虫框架应用非常广泛。Python可以爬取的市场信息非常广泛，如从各大网站爬取商品折扣信息，比较获取最优选择；对社交网络上发言进行收集分类，生成情绪地图，分析购物习惯；爬取网易云音乐某一类歌曲的所有评论，生成词云；按条件筛选获得豆瓣的电影书籍信息并生成表格等等。

二、Python在市场分析中的应用（二）Python应用于市场数据的分析利用Python的各种工具，可轻松获得庞大的市场数据集并进行分析，从而得到关于市场趋势、消费偏好、品牌态度等领域的重要见解。Python的库（例如NumPy和Pandas）广泛用于数据集的收集、处理和清理，并通过应用数学算法分析得到有关市场的有用结论，辅助企业决策或使客户受益。同时，Python附带的强大可视化工具（如Matplotlib和Seaborn），让其成为数据分析者的绝佳帮手。

三、Python的优缺点（一）Python的优点（1）简单易懂：关键字少、结构简单、语法清晰，能够非常快速地编写。（2）丰富的代码库：有300多个标准库模块，也有许多用于Python的支持库。（3）可交互和扩展：支持交互模式，也支持将Python代码放入其他语言的源代码中。（二）Python的缺点（1）运行速度慢：Python代码执行非常耗时，但大部分情况下这种速度上的差异很难感觉得出来。（2）移动技术薄弱：在移动计算上是一种较弱的语言。（3）代码不能加密：使用Python编译的程序要想发布，就必须把源码发布出去。

爬取市场数据单击此处添加文本具体内容/02

一、大数据的获取来源利用大数据进行市场分析是当前市场调查与分析的新进展。当前获取大数据有两个来源：内部大数据和外部大数据。内部大数据的获取：组织内部的数据库或数据统计平台中根据分析的需要获取数据。一般只需导出或提取需要的数据即可。外部大数据的获取：根据需要到特定的网站去下载并即可获取外部公开的数据集；或者利用网络爬虫从网络中爬取所需数据。

二、利用Python爬取市场数据的步骤特别注意：一般网站都有自己的robots.txt协议，利用Python爬取网页必须遵循该协议；网络爬虫不能干扰网站的正常运行，特别是涉及个人隐私数据的情况下。根据我国的《网络安全法》及相关的刑事司法解释，超过限定的网络爬虫，网站是保留了起诉权利的。当然，公开数据大部分是可以采集的，在尊重对方网站的反爬及数据政策的前提下，谨慎、合理地利用Python爬取网页是可以的。

二、利用Python爬取市场数据的步骤（一）准备工作（1）安装Python程序及其开发环境。当前多用集成开发环境，比较常见的是选用JupyterNotebook作为集成开发环境，当然也可以安装其他合适的集成开发环境。安装Python3.6、JupyterNotebook。启动JupyterNotebook。

二、利用Python爬取市场数据的步骤（一）准备工作（2）查看HTML页面结构并熟悉将要抓取的内容。在HTML页面打开网页检查器，能够看到该页面的结构分布，以及页面的每个字段包含在其中的元素。熟悉哪些元素是进行页面抓取时所需要的。

二、利用Python爬取市场数据的步骤（二）发起请求，获取响应（1）先安装需要的库，再导入相应模块。在Python3中，统一用urllib库来实现请求的发送。urllib是Python内置的HTTP请求库，它包含request、error、parse、robotparser4个模块，根据需求进行调用。BeautifulSoup是Python用来解析爬取的网页源代码的一个库。调用beautifulsoup库时，需要先安装bs4模块，并采用“frombs4importBeautifulSoup”进行导入。csv是用来存储数据的一种纯文