机器学习课件8-2 模式选择和评估.pptVIP

***************模式选择和评估*模型评价与选择评价指标:怎样度量准确率?考虑其他指标??使用测试集（带标签）代替训练集评估准确度估计分类器准确率的方法:Holdoutmethod,randomsubsampling交叉验证Cross-validation自助法（解靴带）BootstrapComparingclassifiers:置信区间Confidenceintervals代价效益分析和ROC曲线**分类器评价指标:混淆矩阵Actualclass\Predictedclassbuy_computer=yesbuy_computer=noTotalbuy_computer=yes6954467000buy_computer=no41225883000Total7366263410000感兴趣的类定为“正类”或“阳性类”，对应的为“负/阴性类”给定m个类,CMi,j表示#类i的样本被分类器分到类别j的个数可以提供额外的行/列提供“合计”和“识别率”混淆矩阵ConfusionMatrix:Actualclass\PredictedclassC1?C1C1TruePositives(TP)FalseNegatives(FN)?C1FalsePositives(FP)TrueNegatives(TN)例子:**分类器评价指标:准确度,误差率,灵敏性Sensitivity,特效性Specificity分类器准确度,or识别率:测试元组被正确识别的比例Accuracy=(TP+TN)/All误差率:1–accuracy,orErrorrate=(FP+FN)/AllClassImbalanceProblem类分布不平衡问题:Oneclassmayberare,e.g.fraud,orHIV-positiveSensitivity:TruePositiverecognitionrateSensitivity=TP/PSpecificity:TrueNegativerecognitionrateSpecificity=TN/NA\PC?CCTPFNP?CFPTNNP’N’All**分类器评价指标:

PrecisionandRecall,andF-measuresPrecision:精度–被分类器标记为正类的样本中实际上属于“正类”的比例Recall:召回率completeness完全–what%ofpositivetuplesdidtheclassifierlabelaspositive?Perfectscoreis1.0精度和召回率逆关系Fmeasure(F1orF-score):精度和召回的调和平均值,F?:精确度和召回率的加权量assigns?timesasmuchweighttorecallastoprecision**分类器评价指标:例子*Precision=90/230=39.13%Recall=90/300=30.00%真实类\预测类buy_computer=yesbuy_computer=noTotalRecognition(%)buy_computer=yes9021030030.00(sensitivitybuy_computer=no1409560970098.56(specificity)Total23097701000096.50(accuracy)*评测分类器的正确率:

HoldoutCross-ValidationMethodsHoldoutmethod给定数据随机分成两个部分训练集(e.g.,2/3)用于模型构造测试集(e.g.,1/3)用于正确率估计随机抽样:avariationofholdout重复holdoutk次,accuracy=所有正确率的平均值Cross-validation(k-fold,k=10最常用)随机分割数据为k互不相交的子集,每一个大小近似相等在i-th迭代中,使用Di为测试集其他的为训练集留一法:kfoldswherek=#o