5-Python数据挖掘与应用_-_6.pptx

数据挖掘技术DataMiningTechnology人工智能专业

项目五：热点话题数据挖掘实战任务一任务介绍任务二热点话题分词任务三调用Python实现热点话题挖掘任务四热点话题数据可视化

项目引入项目在紧锣密鼓的进行着，在学习完数据分析之后，紧接着项目进入了重中之重，利用Python进行数据挖掘。想想数据挖掘的难度和代码，我的拖延症又犯了，迟迟不愿动笔，跟师父抱怨道：“数据挖掘的代码是不是很负责，而且技术点很难”Wendy眉毛上扬：“送你几个字‘不要重新发明轮子（Don’tRe-inventingtheWheel）’。”Wendy见我不明白，又说：“数据分析时，我们采用的很多框架和技术是通用的，比如文本分词，新词发现的算法。”师父分享给我Python库的官网（），说：“学习一个新的技术，就是看官网帮助文档，跟着做一遍。”当时我还不明白师父的良苦用心，直到边学边做，顺利的完成了第一个数据挖掘项目，尝到甜头之后才体会到数据挖掘的巨大优势。

任务四热点话题数据可视化

任务四5.4.1词云分析词云分析#?画出词云??def?create_wordcloud(content,image=weibo.jpg,max_words=10000,max_font_size=50):??????cut_text?=??.join(content)??????cloud?=?WordCloud(??????????#?设置字体，不指定就会出现乱码??????????font_path=HYQiHei-25J.ttf,??????????#?允许最大词汇??????????max_words=max_words,??????????#?设置背景色??????????background_color=white,??????????#?最大号字体??????????max_font_size=max_font_size??????)??????word_cloud?=?cloud.generate(cut_text)??????word_cloud.to_file(image)

任务四5.4.2词频分析词频分析#?词频统计??def?word_frequency(word_list,?*top_N):??#?返回前?top_N?个值，如果不指定则返回所有值??????if?top_N:??????????counter?=?Counter(word_list).most_common(top_N[0])??????else:??????????counter?=?Counter(word_list).most_common()??return?counter??#?显示词频图??def?plot_chart(counter,?chart_type=Bar):??????items?=?[item[0]?for?item?in?counter]??????values?=?[item[1]?for?item?in?counter]???????if?chart_type?==?Bar:????????????c?=?(??????????????Bar()??????????????.add_xaxis(items)??????????????.add_yaxis(词频,?values)???????????????.set_global_opts(title_opts=opts.TitleOpts(title=微博动态词频统计))??????????????)?????????????????c.render(weibo_wordfrq.html)?

任务四5.4.3热点话题可视化可视化#?使用LDA模型进行建模与分析??def?word2vec(word_list,n_features=1000,topics?=?5):??????tf_vectorizer?=?CountVectorizer(strip_accents=unicode,??????????????????????????????????????max_features=n_features,???????????????????????????????????????????????????????????????????????max_df=0.5,??????????????????????????????????????min_df=10)??????tf?=?tf_vectorizer.fit_transform(word_list)??????lda?=?LatentDirichletAllocation(n_components=topics,?#话