机器学习-无监督学习2.pdfVIP

1 机器学习-无监督学习-2 项德良 xiangdeliang@buct.edu.cn 2022年11月 硬聚类和软聚类 2 如果一个聚类方法假定一个样本只能属于一个类 ，或类的交集为空集 ，那么该方法 称为硬聚类 （hard clustering）方法。否则 ，如果一个样本可以属于多个类 ，或类的 交集不为空集 ，那么该方法称为软聚类 （soft clustering）方法。 K-Means 是通过距离来区分样本之间的差别的，且每个样本在计算的时候只能属于 一个分类 ，称之为是硬聚类算法。 EM 聚类在求解的过程中，实际上每个样本都有一定的概率和每个聚类相关 ，叫做软 聚类算法。 常用的 EM 聚类有 GMM 高斯混合模型和 HMM 隐马尔科夫模型。GMM （高斯混合 模型）聚类就是 EM 聚类的一种。 硬聚类和软聚类 3 EM是计算概率 ，KMeans是计算距离。计算概率 ，概率只要不为0 ，都有可能即样 本是每一个类别都有可能。计算距离 ，只有近的才有可能得票高 ，即样本只能属于 一个类别。 什么是EM算法 4 1.EM算法概述 5 01 EM算法概述 02 预备知识 03 EM算法详解 1.EM算法概述 6 EM算法 ，期望最大化 （expectation maximization）算法 ，在概率模型中寻找参数 最大似然估计或者最大后验估计的迭代计算方法 ，其中概率模型依赖于无法观测的 隐性变量 。常应用于处理含有无法观测 的隐藏变量的不完全数据 （incomplete data）问题。 1.EM算法概述 7 EM算法经过两个步骤交替进行计算 ： 1. 第一步是计算期望 （E），利用对隐藏变量的现有估计值 ，计算其最大似然估计值 ； 2. 第二步是最大化 （M），最大化在E步上求得的最大似然值来计算参数的值。M步上 找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。 你懂了么？十有八九你没懂。因为你可能不懂什么是最大似然估计？而想了解最大似然 估计 ，又得先从似然函数开始。但什么又是似然函数？ 在数理统计学中，似然函数是一种关于统计模型中的参数的函数 ，表示模型参数中的似 然性。 “似然性”与 “或然性”或 “概率”意思相近 ，都是指某种事件发生的可能性。 而极大似然就相当于最大可能的意思。 1.EM算法概述 8 思考 • 这个算法要解决什么样的问题？ • 已知部分相关变量指的是什么 ，未知变量是哪些？ • 求解过程中为什么需要进行迭代？ • 迭代过程的关键是什么？ • 从数学的角度来看 ，EM算法是如何推演的？ 什么是隐变量？ 1.EM算法概述 9 在重复抛硬币实验中，如果知道硬币抛出正面的概率p，就可以计算n次试验结果中 E np 抛出正面的期望 。 反之 ，如果知道实验结果X ，也可以估计出最可能的p的取 值 ，称为似然估计(Likelihood Estimation) ，其中最好的估计称为极大似然估计 (Maximum Likelihood Estimation, 简称MLE)。 对于图中的两个不同颜色的小人 ，我们按照颜色称之 为小蓝和小绿。小蓝知道硬币的正反面概率分布 ，根 据该分布可以计算 出实验结果序列的期望E。如果硬 币正面概率是0.7 ，意味着能够计算出每种不同的序列 的概率 ，从而得到总体概率最大的序列结果。 小绿知道实际的试验结果 ，可以对硬币的分布进行极 大似然估计。比如小绿估算出的p