机器学习-无监督学习1.pdfVIP

1 机器学习-无监督学习-1 项德良 xiangdeliang@buct.edu.cn 2022年11月 监督学习思想 2 监督学习 （supervised learning）的任务是学习一个 模型 ，使模型能够对任意给定的输入 ，对其相应的输 出做出一个好的预测。 即 ：利用训练数据集学习一个模型 ，再用模型对测试 样本集进行预测。 分类和回归都是监督学习。 整个机器学习的过程就是在干一件事 ，即通过训练学 习得到某个模型 ，然后期望这个模型也能很好地契合 （fitting） “新样本”。这种让模型契合新样本的能力 ，也称为 “泛化能力”，它是机器学习算法中非常重 要的性质。 无监督学习思想 3 非监督学习 （unsupervised learning）为直 接对数据进行建模。没有给定事先标记过的 训练范例 ，所用的数据没有属性或标签这一 概念。事先不知道输入数据对应的输 出结果 是什么。自动对输入的资料进行分类或分群 ，以寻找数据的模型和规律。 比较有名的非监督学习算法有 K 均值聚 类 （K- Mea ns Clustering ）、层次聚类 （ Hierarchical Clustering ）、主成分分析 （ Principal Components Analysis ，PCA ）、 DBSCAN等。 半监督学习思想 4 给定一个来 自某个未知分布的有标记示例集 {(x , y ), (x , y ), ..., (x , y )} ，其中 x 是输入 1 1 2 2 k k i 数 据 ，y 是 标 签 。对 于 一 个 未 标 记 示 例 集 i U {xk+1, xk+2 , ..., xk+u } ，这里 u 为未标记样本 数。我们期望通过学习得到某个函数 :f(Y )→X ，通过它准确地对未标记的数据x ，预测其标 i 签y 。这里 x ∈X ，均为 d 维向量 ，y ∈Y ，为 i i i 示例 x 的标签。 i 半监督学习思想 5 形式化的定义比较抽象 ，下面我们列举一个现实生活中的例子来辅助说明这个概念。假设我们已经学 到 ： a) 马晓云同学 （数据1）是一个牛人 （标签为牛人）； b) 马晓腾同学 （数据2）是一个牛人 （标签为牛人）。 假设我们并不知道李晓宏同学 （数据3）是谁 ，也不知道他是不是牛人 ，但考虑他经常和二马同学共同 出入高规格大会 ，都经常会被上层人士接见 （也就是说他们虽独立 ，但同分布），所以我们很容易根 据 “物以类聚 ，人以群分”的思想 ，给李晓宏同学打上 “牛人”标签。 这样一来 ，我们的已知领域 （标签数据）就扩大了 （由两个扩大到三个），这也就完成了半监督学习 的过程。事实上 ，半监督学习就是以 “已知之认知 （标签化的分类信息）”扩大 “未知之领域 （通过 聚类思想将未知事物 归类为 已知事物领域 ）”。但这里 隐含了一个基本假设—聚类假设 （Cluster Assumption），其核心要义就是 ，相似的样本拥有相似的输出。 常见的半监督学习算法有生成式方法、半监督支持向量机、图半监督学习、半监督聚类等。 1.无监督学习概述 6