ROC分析技术的研究现状和发展趋势.docx

3ROC分析技术的研究现状和发展趋势涂福泉1)陈奎生1)陈建勋2)骆名剑2)(武汉科技大学机械自动化学院 1) 武汉430081)(武汉科技大学计算机学院 2) 武汉430081)摘 要 阐述ROC分析技术的基本概念,介绍几种主要多类ROC分析方法:一对多ROC分析方法、成对ROC分析方 法、Hand和Till提出的M函数(HTM)、改进的HTM方法和Mossman的三类别ROC分析方法、AUC(AreaUndertheROC)扩展等,分析了现有几种方法的不足,预测ROC分析技术的未来发展趋势。关键词ROC 评价标准AUC中图分类号TP301. 61引言ROC是受试者工作特征(ReceiverOperating Characteristic)或相对工作特征(RelativeOperatingCharacteristic) 的缩写。ROC 分析技术五十年代起源于统计决策理论,用来说明分类器命中率和误报警率之间的关系,最早在第二次世界大战中应用于雷达信号观察能力的评价,后来使用在晶体管的相关研究。六十年代中期用于实验心理学和心理物理学研究。Lusted在1988年首次提出了ROC分析可 用于医疗决策评价,自从八十年代起该方法广泛用 于医疗诊断性能的评价。最近Swets[1]等人为ROC分析扩展到更广阔的公共领域提供了思路和建议。Sp ackm an将ROC分析技术引用到机器学习领技术,国际机器学习会议(ICML,InternationalCon2 ference on MachineLearning)和欧洲人工智能会议( ECA I, the European Conference on A rtificialIntelli2gence)在2004年为它开辟了专题,一些专家纷纷特别撰文推荐使用ROC作为分类算法的评价标准[2,3,4, 5, 6, 7]。国外一些机器学习研究者根据实际需要扩展 和改进了 ROC分析技术。并在 ROC分析基础上 改进并提出了一些新的方法。如ROC曲线是对分类性能的二维描述,为了能够直接比较多个分类 器 ,希望将ROC曲线描述的分类器性能转换为一个数值来表示分类器的性能。一个通用的方法是 计算 ROC曲线下的面积 (A rea Under the ROC),缩[ 8]域中,并说明了ROC曲线的值估计和比较算法。写为 AUC或AROC。Charles等试图通过理论来[ 7, 9]ROC分析技术在最近几年越来越多的应用到机器 学习领域中。ROC分析技术不仅是一种通用图形 化性能的方法 ,更主要的是ROC曲线的独特属性证明AUC比正确率优越,Provost和Bradley等发现使用通过大量的比较实验阐述AUC比正确率更适合作为分类评价标准。Hand和Till进而提出[ 10]使它在类别分布不平衡或者分类错误代价不相等了一种简单的近似计算 AUC方法, 还有DET的领域中变得越来越重要。此外,ROC曲线可以图[11], Cost Curve[ 12 , 13, 14], LC index等重要ROC分在多类ROC问题给出清楚的解释。ROC分析技术 对类别分布、代价不敏感性、直观性以及可理解性 等方面在评价和比较分类器问题上的优势,足以使 它代替正确率成为更好的度量标准。2 ROC分析技术的研究现状目前在国外机器学习领域非常重视ROC分析析的扩展方法。另外在ROC分析的基础上重新评估了以前的 机器学习方法,对于一些几乎是常识的知识提出新 的看法。在决策树中,我们一直认为精度的提高主 要依靠裁剪技术。但是在用AUC评估 C4.5算法 时,发现剪裁基本没有作用[15]。在传统的机器学 习领域,一直认为NaiveBayes方法和决策树方法3 收到本文时间 : 2006年 4月14日基金项目:国家自然科学基金项目(编资助;湖北省自然科学基金项目(编号2004ABA001)资助;湖北 省教育厅项目 (编号2001Z19015)资助作者简介:涂福泉,男,博士研究生,研究方向:智能控制。陈奎生,男,教授,博士生导师,研究方向:电液控制系统。 陈建勋,男,博士,教授,研究方向:软件工程。34涂福泉等:ROC分析技术的研究现状和发展趋势第35卷不分伯仲,但是现在的(现在用ROC分析)研究表 明Naive Bayes方法要优于决策树方法[16]。与此 同时 ,一些学者还针对与ROC分析在分类中的应 用,提出了新的分裂标准[16],Smoothing方法[15],集 成方法等[17]。在国内,ROC分析技术在医疗领域已得到广 泛的应用 ,在其他应用领域还很少看到关于ROC的文献资料 ,引入和推广ROC分析在科学决策领 域的应用是本文的主要目标之一。2. 1 R