机器学习-半监督学习.pdfVIP

1 机器学习-半监督学习 项德良 xiangdeliang@buct.edu.cn 2022年11月 1.半监督学习概述 2 01 半监督学习概述 02 半监督学习发展史 03 半监督学习算法介绍 1.半监督学习概述 3 传统的机器学习技术分为两类，一类是无监督学习，一类是监督学习。 无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。 但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有 时很高，比如在生物学中，对某种蛋白质的结构分析或者功能鉴定，可能会花上生 物学家很多年的工作，而大量的未标记的数据却很容易得到。 这就促使能同时利用标记样本和未标记样本的半监督学习技术迅速发展起来。 1.半监督学习概述 4 让学习器不依赖外界交互、 自动地利用未标记样本来提 升学习性能，就是半监督学 习 （s e m i - s u p e r v i s e d learning ，SSL）。 半监督学习是一种学习范式 ，构建模型同时使用标记的 数据和未标记的数据。 1.半监督学习概述 5 1.半监督学习概述 6 思考：为什么要做这个？ • 标签的获取非常困难、昂贵、花费大量时间 • 进行标注需要专家的努力 （例如，在医疗任务中，测量是用昂贵的机器进行的 ，标签是由多位人类专家耗时分析得出的。） • 未标注的数据是海量的，可以很容易、很便宜的获取 • 可以容易的从现有的监督学习算法扩展出半监督学习算法 1.半监督学习概述 7 左图表示根据现有的数据，我们得到的分类边界如左图中蓝线所示。但是当我们有了无标签数据的分布 信息后，两个类的分类超平面就变得比较明确了。因此，使用无标签数据有着提高分类边界的准确性， 提高模型的稳健性。 上图中,只有两个标记样本,X ,O,剩下绿点是无标记的样本.通过无标记样本的加入,原来的分类界限从0移 到了0.5处,更好地拟合了样本的现实分布。 1.半监督学习概述 8 半监督学习属于弱监督学习中的一个分支领域，通常来说，弱监督可以分为三类： 1、不完全监督 （incomplete supervision），即，只有训练集的一个 （通常很小的）子 集是有标签的，其他数据则没有标签。这种情况发生在各类任务中。例如，在图像分类 任务中，真实标签由人类标注者给出的。从互联网上获取巨量图片很容易，然而考虑到 标记的人工成本，只有一个小子集的图像能够被标注。 1.半监督学习概述 9 2、不确切监督 （inexact supervision），即只有粗粒度的标签，例如，某些图像问 题只有人工标注的粗粒度标签，例如社交网络用户，给这个用户打标签，用户可能 是多标签的，但是在标注的过程中仅标注了一个大范围的标签，一个典型直观的例 子就是给 猫打标为 “猫”而没有细致到打标猫的品种，粗粒度的标签对于细粒度的 任务来说帮助很有限。 3、不准确的监督 （inaccurate supervision），模型给出的标签不总是真实的。出 现这种情况的常见原因有，图片标注者的失误，或者某些图片就是难以分类，评分 卡的定义都是比较明确的，而在反欺诈、异常检测的应用中，样本的标注往往是模 糊的。 1.半监督学习概述 10 不完全监督考虑那些我们只拥有少量有标注数据的情况，这些有标注数据并不足以训 练出好的模型，但是我们拥有大量未标注数据可供使用。形式化表达为，模型的任务 是从训练数据集： 中学习，其中有l个样本是有标注的，还有m-l个样本是无标注的，如果m-l 0则转化为 普通有监督问题，如果l 0则转化为普通无监督问题。 1.半监督学习概述 11 要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记 相联系的假设。假设的本质是 “相似的样本拥有相似的输出”。 半监督学习可进一步划分为纯 （