贝叶斯分类器原理与spark实践.pptxVIP

贝叶斯分类器原理与spark实践

提纲朴素贝叶斯算法原理朴素贝叶斯分类实现

?贝叶斯分类算法简介

朴素贝叶斯分类流程数据整理清洗获取训练集???数据整理阶段训练阶段?应用阶段?

朴素贝叶斯分类实例?

提纲朴素贝叶斯算法原理朴素贝叶斯分类实现123

Python+Spark进行贝叶斯分类系统准备：centos6.8、Spark2.3.1、Pyrhon3.X。导入pyspark,pandas,numpy数据准备：采用UCI机器学习库中的wine数据集作为算法数据，包括了三种酒中13种不同成分的数量。成分分别为：Alcohol，Malicacid，Ash，lcalinityofash，Magnesium，Totalphenols，Flavanoids，Nonflavanoidphenols，Proanthocyanins，Colorintensity，Hue，OD280/OD315ofdilutedwines，Proline。在“wine.data”文件中，每行代表一种酒的样本，共有178个样本；一共有14列，其中，第一列为类标志属性，共有三类，分别记为“1”，“2”，“3”；后面的13列为每个样本的对应属性的样本值。第1类有59个样本，第2类有71个样本，第3类有48个样本。建模目的：训练贝叶斯分类器，使得知道13个特征后，把样本划归到相应类别。

importpandasaspd

frompysparkimportSparkContext,SQLContext#构建spark连接

sc=SparkContext().getOrCreate(yarn,laboratory)

sqlContext=SQLContext(sc)

实例：启动spark，读取数据#读取数据,分列,并转换,map()函数跟随一个对行操作的函数,此处用lambda表示缺省函数,是函数的简化版,通常只用一次的函数,用lambda快速定义df_wine=sc.textFile(/tmp/laboratory_data/wine数据集.txt).map(lambdax:str(x).split(,)).map(lambdax:[float(z)forzinx])

importpandasaspd

frompysparkimportSparkContext,SQLContext实例：启动spark，读取数据#构建spark连接sc=SparkContext().getOrCreate(yarn,laboratory)sqlContext=SQLContext(sc)

#读取数据,如数据在hadoop上,使用sc.textFile(hdfs地址)生成rdddf_wine=pd.read_csv(/文件路径/wine数据集.txt,header=None)#本地数据转换为RDDdf_wine_rdd=sqlContext.createDataFrame(df_wine)

实例：源数据展示#展示数据

df_wine_rdd.show()

实例：源数据划分，标准化#数据集划分训练集70%，测试集30%(df_wine_rdd_train,df_wine_rdd_test)=df_wine_rdd.randomSplit([7.0,3.0])

#数据聚合,按ml贝叶斯模型,需要输入label|向量(data),下面把第1-13列数据(setInputCols)组合成向量(1*13),并命名为”F”(setOutputCol)importpyspark.ml.featureaspmfcols=df_wine_rdd.columnsmodel_VA=pmf.VectorAssembler().setInputCols(cols[1:]).setOutputCol(F)VA_train=model_VA.transform(df_wine_rdd_train)VA_test=model_VA.transform(df_wine_rdd_test)

#类型编码,把类别变量编码为double型,方法与VectorAssembler类似,但这里需要计算(fit),以训练集为基础计算出编码model_lable=pmf.StringIndexer().setInputCol(cols[0]).setOutputCol(label).fit(VA_train)VA_lable_train=model_lable.transform(VA_train)VA_lable_test=model_lable.tr