《数据挖掘实验》数据处理实验报告.pdf

《数据挖掘实验》数据处理实验报告

实验名称：数据处理

实验目的：

1、掌握数据的处理方法及其实现。

2、掌握Apriori关联分析。

实验设备与环境：计算机，R及RStduio等。

实验内容：

1、对C题评论数据进行数据预处理（酒店和景点其一），包括缺失值统

计及其处理、分类统计、频率占比分析。

2、对任务1处理好的数据分词，生成词云图。

3、熟悉Apriori算法的使用，对酒店（或景点）的数据分词进行关联分

析。

实验设计过程及分析：

1、对C题评论数据进行数据预处理（酒店和景点其一），包括缺失值统

计及其处理、分类统计、频率占比分析。

#代码8-4

#设置工作目录

数据分析方法案例讲解程序数据分析方法案例讲解程序

#去重，去除完全重复的数据

酒店评论（样例数据）酒店评论（样例数据）

meidi_reviews-unique(meidi_reviews[,c(2,3)])#对评论内容去重,

reviews-meidi_reviews$评论详情

#代码8-5

#去除去除英文字母、数字等

#由于评论主要为京东美的电热水器的评论，因此去除这些词语

酒店酒店

广告广告

房间房间

前台前台

早餐早餐

服务服务

#代码8-6

#分词

library(jiebaR)#Version:0.9.1

seg_word-list()

for(iin1:length(reviews)){

seg_word[[i]]-segment(reviews[i],cutter)

}

head(seg_word,40)

#将词语转为数据框形式，一列是词，一列是词语所在的句子ID，最后一列是词语在该句子的位

置

n_word-sapply(seg_word,length)#每个词条的词个数

index-rep(1:length(seg_word),n_word)#每个词条有多少个词就复制多少次

type-rep(meidi_reviews$评论详情,n_word)

nature-unlist(sapply(seg_word,names))

result-data.frame(index,unlist(seg_word),nature,type)

head(result)

#将每个词在每个词条的位置标记出来

n_word-sapply(split(result,result$id),nrow)

index_word-sapply(n_word,seq_len)

index_word-unlist(index_word)

result$index_word-index_word

head(result)

#代码8-7

#提取含有名词类的评论数据

result-result[result$id%in%is_n$id,]

1、

2、对任务1处理好的数据分词，生成词云图。

#代码8-8

#绘制词云

#查看分词效果，最快捷的方式是绘制词云

library(wordcloud2)#Version:0.2.0

#统计词频

word.frep-table(result$word)

word.frep-sort(word.frep,decreasing=TRUE)

word.frep-data.frame(word.frep)

head(word.frep)