《新媒体数据分析》课件——第3章 新媒体数据的处理.pptxVIP

;导语;学习目标;目录;第一节新媒体数据处理的基本原理;一、什么是数据处理;二、数据处理的基本流程;三、通用的新媒体数据处理方法;第二节数据清洗;一、剔除重复数据;（一）查找重复项;1.条件格式法;2.函数法;3.高级筛选法;4.数据透视表法;（二）删除重复项;1.菜单删除重复项;2.排序删除重复项;3.条件格式删除重复项;4.筛选删除重复项;（三）利用Python处理重复数据;二、填补缺失数据;（一）缺失值为空值;处理缺失值的方法一般有3种：

（1）样本平均值替代法。用一个样本统计量的值代替缺失值。最典型的做法就是使用该变量的样本平均值代替缺失值。例如一组销量数据中有缺失值，就可以使用评价销量来进行替换。

（2）模型计算值替代法。用一个统计模型计算出来的值去代替缺失值，常使用的模型有回归模型、判别模型等，例如连续时间段内公众号粉丝增长的数据中有缺失值???可以通过数据预测回归分析法，计算出数值替代缺失值。

（3）删除缺失值法。当数据量足够大，且缺失值较数量不是太多，且变量之间不存在高度相关的情况下，可以对缺失值做删除处理。;（二）缺失值为错误标识符;（三）利用Python处理缺失数据;三、修正错误数据;（一）函数检查法;使用IF函数不仅可以判断数字型数据是否符合特定的要求，还可以判断非数字型数据是否符合要求，例如，一张微博粉丝用户信息表中，“性别”一栏的值中出现了“南”、“32”等非性别数据，如果数据量少可以人工检测，如果数据量过大，使用IF函数很快就能找出数据表中出现错误的全部数据。;（二）条件格式法;（三）利用Python处理错误数据;（三）利用Python处理错误数据;四、规范数据格式;（一）数值格式规范;（二）日期格式规范;（三）利用Python处理数据格式;五、数据清洗常用函数;第三节数据加工;一、数据转换;（一）行列互换;（二）记录方式转换;（三）利用Python进行数据转换;二、数据计算;（一）简单计算;（一）简单计算;（二）函数计算;（三）利用Python进行数据计算;三、数据分组;Excel是通过运用VLOOKUP函数实现快速分组的。VLOOKUP函数是Excel中一个纵向查找函数，可以用来返回数据所在???组的名称。其功能是按列查找，最终返回该列所需查询序列所对应的值。

VLOOKUP函数的语法为：VLOOKUP(lookup_value,table_array,col_index_num,range_lookup);四、数据重组;（一）数据拆分;（二）数据合并;（三）数据抽取;五、数据排序;（一）基础排序;（二）自定义排序;（三）利用Python进行排序;第四节数据透视表的使用;数据透视表是一种类似于数据分组的操作方法，常见于Excel与类似的表格应用中。数据透视表是将每一列作为输入，输出将数据不断细分为多个维度累计信息的二维数据表。

数据透视表（PivotTable）是一种交互式的表。之所以称为数据透视表，是因为一张数据透视表仅靠鼠标拖动字段位置，就可以动态地改变它的版面布局，变换出各种类型的分析报表，以便按照不同方式展示数据特征。使用时只需指定所需分析的字段、数据透视表的组织形式，以及要计算的类型（求和、计数、平均、方差等）。如果原始数据发生更改，则可以刷新数据透视表来更改汇总结果。;一、数据透视表的创建;（二）Excel中创建数据透视表;（三）Python中创建数据透视表;二、数据透视表的使用技巧;（一）计算百分比;（二）计算同比或环比;（三）分组统计;三、数据透视表的应用;习题;实践任务;案例讨论;参考资料