原创力文档- 1、本文档共14页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
彭辉QQ）机器学习MachineLearning性能度量
任务目标能力目标使用模型评估与性能度量方法评价模型性能度量的基本方法测试性能的基本指标
任务目标素质目标团队协作学会学习实践创新
模型评估背景机器学习是对未来的预测，如何能有效评估其性能呢，有哪些指标可以衡量其性能？
性能度量性能度量是衡量模型泛化能力的评价标准，反映了任务需求；使用不同的性能度量往往会导致不同的评判结果在预测任务中，给定样例集评估学习器的性能也即把预测结果和真实标记比较.
性能度量回归任务最常用的性能度量是“均方误差”：回归任务性能度量指标
性能度量对于分类任务,错误率和精度是最常用的两种性能度量：错误率：分错样本占样本总数的比例精度：分对样本占样本总数的比率分类错误率精度（accuracy精确程度）分类任务性能度量指标——错误率和精度sklearn.metricsaccuracy_score
性能度量信息检索、Web搜索等场景中经常需要衡量正例被预测出来的比率或者预测出来的正例中正确的比率，此时查准率和查全率比错误率和精度更适合。统计真实标记和预测结果的组合可以得到“混淆矩阵”查准率查全率查准率与查全率
性能度量查准率／准确率（precision-精确）：P=TP/(TP+FP)查全率／召回率／灵敏度（recall）：R=TP/(TP+FN)“1”代表正例，“0”代表反例预测值实际值预测值实际值101TPFN0FPTN样本IDrealpre1男男2女女3男男4男女5女女查准率与查全率查准率查全率
查准率与查全率-练习查准率／准确率（precision）：P=TP/(TP+FP)fromsklearn.metricsimportprecision_scorey_true=[1,0,1,1,0]y_pred=[1,0,1,0,0]precision_score(y_true,y_pred,average=None)Out[22]:array([01.])预测值实际值预测值实际值101TPFN0FPTN性能度量
既考虑查全率，也考虑查准率，可以使用F1度量：比F1更一般的形式, :标准F1 :偏重查全率(逃犯信息检索) ：偏重查准率(商品推荐系统)性能度量F1度量：其中为正数，度量了查全率对查准率的相对重要性?
先分后总：先分别计算各混淆矩阵的查准率和查全率，再以均值汇总先总后分：先将各混淆矩阵的对应元素（TP、FP、TN、FN）进行汇总平均，再求P、R、F1值多次训练／测试时的F1系数性能度量F1度量：
任务小结性能度量的实现性能度量基本方法性能度量基础知识
谢谢大家Thankeveryone
文档评论（0）