Hive数据仓库应用教程项目9 综合案例.pptxVIP

项目九综合案例：电商销售大数据分析大连理工大学出版社DALIANUNIVERSITYOFTECHNOLOGYPRESS《Hive数据仓库应用教程》

电商销售大数据分析任务9-1《Hive数据仓库应用教程》

9.1.1任务描述全世界有数十亿人在使用电商平台进行购物，这些平台在较短的时间内产生了大量的数据。本项目将学会如何使用Hive数据仓库来载入电商销售的历史数据，并使用HiveQL对各项指标进行统计分析，进一步熟悉Hive数据仓库的实际应用。

9.1.2任务准备知识1.电商销售大数据（1）电子商务通常是指在全球各地广泛的商业贸易活动中，在因特网开放的网络环境下，基于客户端/服务端应用方式，买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动。（2）电商数据包括所有注册用户的浏览信息、购买消费记录、用户对商品的评价、在其平台上卖家的买卖记录、产品交易量、库存量，以及商家的信用信息等等。（3）电商经历了基于用户数量的时代，基于销量的时代，目前已处于基于大数据的时代，电子商务的竞争在很大程度上就是大数据的竞争。

9.1.2任务准备知识2．数据概况本案例数据来自奢侈品电商后台的部分历史销售数据，平台为了创造更多的销售利润，现需要对已有的销售大数据进用户销售数据的分析，通过对各项指标的统计分析，进行用户画像，提出合理的促销方案，从而进行精准营销。用户的历史销售数据以txt的文本格式存储，每条数据是订单记录，销售订单的格式描述如下：序号字段描述序号字段描述1uid用户标识7livetime居住时间2pid商品标识8marriage婚姻状况3sex性别9level1商品一级分类4age年龄10level2商品二级分类5vocation职业11level3商品三级分类6city居住城市12sale销售额

9.1.2任务准备知识2．数据准备我们将历史数据上传到node2虚拟机的data目录里，然后加载到Hive数据库中，操作的步骤如下：步骤1：将本机的历史销售数据e-data.txt上传到node2的data目录下，如图9-1所示：步骤2：创建Hive数据库eshop，如图9-2所示：图9-1图9-2

9.1.2任务准备知识2．数据准备步骤3：创建Hive销售订单表sales，如图9-3所示，建表成功如图9-4所示图9-3图9-4

9.1.2任务准备知识2．数据准备步骤4：将历史数据装载到订单表sales里，HiveQL脚本设计如下：loaddatalocalinpath/data/e-data.txtoverwriteintotablesales;查询一下数据，如果看到如下图9-5所示表示历史数据加载成功。图9-5

9.1.3任务实施1．统计订单总数统计订单历史数据中订单总数，我们使用count函数来完成这个统计需求，count(1)可以对所有数据行进行统计，也就是统计出了所有的订单数，HiveQL脚本设计如下：运行结果如图9-6所示。selectcount(1)asitemsfromsales;图9-6

9.1.3任务实施2．统计总销售额HiveQL脚本设计如下：selectsum(sale)sales,sum(sale)/count(distinctuid)avg_pay,sum(sale)/count(sale)avg_pricefromsales;运行结果如图9-7图9-7

9.1.3任务实施3．统计各性别消费情况HiveQL脚本设计如下：select*,cast(users/(sum(users)over())asdecimal(8,2))assex_percent,cast(sum_pay/(sum(sum_pay)over())asdecimal(8,2))aspay_percentfrom(selectsex,count(distinctuid)users,cast((sum(sale)/count(distinctuid))*100asdecimal(8,2))avg_user,sum(sale)sum_payfromsalesgroupbysex)assorderbypay_percentdesc;运行结果如图9-8图9-8

9.1.3任务实施4．统计各年龄段消费情况HiveQL脚本设计如下：withsas(selectage,count(distinctuid)users,sum(sale)sum_pay,cast(sum(sale)/count(distin