R语言数据分析与挖掘-模型性能评估及优化.pptxVIP

模型性能评估 01102模型参数优化01 模型性能评估201 PAGE3模型性能评估3预测通常有两大应用场景：第一类是预测某指标的取值，也称为数值预测，数值预测模型性能评估主要通过均方误差、均方根误差、平均绝对误差等指标来评价；第二类是预测某事物出现的概率，也称为概率预测，对于二分类概率预测，常以混淆矩阵为基础，通过准确率率、覆盖率等指标，结合ROC曲线、KS曲线、提升图等可视化方法来评估模型性能。 PAGE4数值预测评估方法4? PAGE5数值预测评估方法5? PAGE6数值预测评估方法R语言实现6让我们利用mlbench扩展包中BostonHousing（波士顿房价）数据集为例，利用lm()函数建立以medv为因变量，其他特征为自变量的线性回归模型，并通过自定义函数，实现计算以上常见数值预测模型评估指标。实现代码如下： # 加载包，不存在就进行在线下载后加载 if(!require(mlbench)) install.packages(mlbench) data(BostonHousing) # 数据分区 library(caret) index - createDataPartition(BostonHousing$medv, + p = 0.75,list = FALSE) train - BostonHousing[index,] test - BostonHousing[-index,] # 利用训练集构建模型,并对测试集进行预测 set.seed(1234) fit - lm(medv ~ .,data = train) pred - predict(fit,newdata = test) # 自定义函数计算数值预测模型的评估指标 numericIndex - function(obs,pred){+ # 计算平均绝对误差MAE+ MAE - mean(abs(obs-pred))+ # 计算均方误差MSE+ MSE - mean((obs-pred)^2)+ # 计算均方根误差RMSE+ RMSE - sqrt(mean((obs-pred)^2))+ # 计算归一化均方误差+ NMSE - sum((obs-pred)^2)/(sum((obs-mean(obs))^2))+ # 计算判定系数Rsquared+ Rsqured - cor(pred,obs)^2+ # 返回向量形式+ return(c(MAE = MAE,MSE = MSE,RMSE = RMSE,NMSE = NMSE,Rsqured = Rsqured))+ } # 计算各指标度量值 numericIndex(test$medv,pred) MAE MSE RMSE NMSE Rsqured 3.4565308 26.6531431 5.1626682 0.3731474 0.6461423 PAGE7概率预测评估方法-混淆矩阵7概率是指事物出现的可能性，是对分类问题中某类出现概率的描述，本质上是分类问题（通过各类别出现的概率大小确定取某一类）。常用评估方法有：混淆矩阵、ROC曲线、KS曲线、累计提升图等。处理分类问题的评估思路，最常见的就是通过混淆矩阵，结合分析图表综合评价。??预测类别实际类别?101TPFN0FPTNTrue Positive（TP）：指模型预测为正(1)，并且实际上也的确是正(1)的观察对象的数量。True Negative（TN）：指模型预测为负(0)，并且实际上也的确是负(0)的观察对象的数量。False Positive（FP）：指模型预测为正(1)，但是实际上是负(0)的观测对象的数量。False Negative（FN）：指模型预测为负(0)，但是实际上是正(1)的观测对象的数量。 PAGE8概率预测评估方法-混淆矩阵8? PAGE9概率预测评估方法-混淆矩阵9? PAGE10概率预测评估方法-混淆矩阵案例10接下来，利用DAAG扩展包的数据集anesthetic为例进行演示。数据集来自于一组医学数据，其中变量conc表示麻醉剂的用量，move则表示手术病人是否有所移动，而我们用nomove做为因变量，研究的重点在于conc的增加是否会使nomove的概率增加。以下代码利用逻辑回归构建二分类预测模型，以0.5作为预测概率值的划分阈值，大于0.5预测概率值的样本类别为1，否则为0，最后利用table()函数得到混淆矩阵，并计算各评估指标值。 # install.packages(DAAG) library(DAAG) data(anesthetic)