案例(2)：数据预处理.pptxVIP

项目案例：餐饮平台菜品智能推荐;;加载原始用户评分数据。 原始数据是JSON格式存储的，数据结构是固定的，每条记录是由5个属性构成，分别是用户ID、菜品ID、用户评分、用户评论、评论时间戳。因此它非常适合以Spark SQL方式来加载，生成DataFrame后进行数据查询。 ;用户评分数据的探索 数据的分布及其他属性进行统计。 ;用户评分数据的探索 针对评分项进行分组统计。 大部分用户的评分为4分与5分，占总体数量的79%。这说明用户对于餐饮平台的提供的菜品，总体评价还是比较正面的 ;用户??分数据的探索 统计是否存在重复评分记录，且输出重复记录总数。 发现原始数据中存在1259组重复评分 ;用户评分数据的探索 对重复数据集进行明细查询。 重复的评分都是由同一用户在不同时间对同一菜品进行评分引起的，简单来说，就是某个用户对某个菜品做了多次评分。;重复评分数据的处理 在原始数据中，存在着同一用户对同一菜品的重复评分记录，这是由于同一用户对同一菜品多次评分所产生的。 例：用户A1041053SID37WN8GTT8对菜品B004AUGJS8进行了两次评分，按时间戳来判断，第1次的评分为4.0分，第2次的评分为5.0分;重复评分数据的处理 通常情况下，最新的评分被认定为该用户对菜品的最终评分。 对于同一用户与菜品的评分，应保留最新的评分记录，其他的评分记录不计入。 通过Spark SQL对原始数据集中的重复记录进行删除处理，只抽取出各用户对菜品的最新评分记录。 经过数据去重后，用户对菜品的评分记录总数为37125条。;数据变换 数据变换是将数据转换成“适当的”格式，以适应挖掘任务及算法的需要。 本案例中主要采用的数据变换方式就是数据标准化。为了节省数据存储空间以及加速模型建模效率，可先把数据预处理后的数据进行编码。 在本案例中，由于原始数据中的用户与菜品的数量范围较小，使用Integer类型也可以满足要求。;对数据进行编码的实现思路 对用户数据与菜品数据进行去重，再进行排序。 使用排序后的原始用户与菜品的下标值来代替该用户或菜品。 使用编码后的值替换原始数据中的值。 ;对数据进行编码 编码后的用户评分数据，格式为（用户编码，菜品编码，评分，评分时间戳）。 ;基本的分割规则 通常把原始数据按规则分为3部分，分别是：训练集、验证集和测试集。 训练集用于训练模型。 验证集用于评估模型以找到最优模型。 测试集对最优模型进行评测。 训练集、验证集和测试集的对应占比为80%、10%、10% 。 ;进行数据分割 训练集、验证集和测试集的对应占比为80%、10%、10% 。 ;