12 非线性降维.pdf

机器学习 第十二讲 张兆翔 课程回顾 2、主成份分析PCA  Principal Component Analysis  使得降维后的样本方 差尽可能大；  使得降维后的数据均 方误差尽可能小； 2、主成份分析PCA‐最大方差思想  基本思想：使降维后的数据方差尽可能大 将D维数据集 ， 降维成M维  第一步、降到1维的话 原均值： 原方差： 最大 变换后方差： 2、主成份分析PCA‐最大方差思想 Maximize： s. t. 结论：  降维后方差所对应的是协方差矩阵的特征值；  为了使方差最大，选择最大的特征值；  最大特征值所对应的特征向量为最佳投影方向； 2、主成份分析PCA‐最小均方误差思想  定义一组正交基函数 ， 我们希望通过M个参数就可以描述原 数据，并尽可能使得均方误差最小 精确 粗略 2、主成份分析PCA‐最小均方误差思想 min： 求导： 2、主成份分析PCA‐最小均方误差思想 求导： 奇异值分解SVD  实际应用中，样本的维数可能很高，远远高于样本的个数。  比如说人脸识别中，100张人脸，每张人脸10000个特征。 10000 ×10000维 奇异值分解SVD  针对 求特征值 和特征向量 根据 概率PCA 连续隐藏变量分析  M维的隐藏变量 满足高斯分布：  隐藏变量 以如下形式产生D维观测变量 ： 高斯噪声 最大似然估计法求解参数  给定 ，求其对数似然函数为： 最大似然估计法求解参数 相关矩阵 Kernel PCA  传统PCA 非线性映射 Kernel PCA 非线性降维 非线性降维方法 为什么要进行非线性降维？ 流形学习 流形学习 实际应用中的流形 ISOMAP算法  ISOmetric Mapping 等距映射 基本思想：保持数据点内在几何性质，即保持两点的测地距离 ISOMAP 算法流程  步骤一构造邻近关系图 对每一个点，将它与半径r的邻域内所有点相连（或与k个最近 邻相连），得到图G  步骤二计算最短路径 计算图G所有点对之间的最短路径，得到距离矩阵D  步骤三多维尺度分析(Multidimensional Scaling, MDS) 将高维空间中的数据点投影到低维空间，使其尽量保持所有 点对之间的距离  设D’是投影后的距离矩阵，求一种投影使得