主成分分析法.ppt

关于主成分分析法第1页，课件共37页，创作于2023年2月4.1主成分分析法的基本原理主成分分析（PrincipalComponentsAnalysis)是由Hotelling于1933年首先提出的，它是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。第2页，课件共37页，创作于2023年2月4.1.1基本思想对原始变量相关矩阵结构关系进行研究，找出影响某一经济过程的几个综合指标，使综合指标变为原来变量的线性组合，从而不仅保留了原始变量的主要信息，彼此之间又不相关，更有助于抓住主要矛盾。第3页，课件共37页，创作于2023年2月借助于一个正交变换T，将其分量相关的原随机向量x=(x1,x2,L,…,xp)T，转化成其分向量不相关的新随机向量u=(u1,u2,L,…,up)T，这在代数上表现为将x的协方差阵变换成对角形阵，在几何上表现为将远坐标系变换成新的正交坐标系，使之指向样本点散布最开的p个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维度变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。第4页，课件共37页，创作于2023年2月定义：称为第k主成分分量的方差贡献率，称为前k个主成分分量的累计方差贡献率。第5页，课件共37页，创作于2023年2月例：儿童身高和体重两个变量之间的关系。下表表示儿童身高与体重数据:变量观测量身高h体重w1h1w12h2w23h3w3┋┋┋nhnwn第6页，课件共37页，创作于2023年2月使用散点图表示儿童身高与体重y1y2whθi=1，2，┅┅，n第7页，课件共37页，创作于2023年2月以该直线为一个坐标轴y1，以该轴的垂直线为另一个坐标轴y2。因为所有观测点均在坐标轴y1周围，而y1与y2是两个相互垂直的坐标轴，因此彼此不相关。上述也可以看成是将h轴和w轴同时按逆时针方向旋转θ角度，得到新的坐标轴y1和y2，y1和y2是两个新的变量。第8页，课件共37页，创作于2023年2月根据旋转公式y1=hcosθ+wsinθy2=-hsinθ+wcosθ我们看到新变量y1和y2是原变量h和w的线性组合,它的矩阵表示形式为y1cosθsinθh==U’xy2一sinθcosθw其中U’为正交矩阵，即有U’=U-1，U’U-1=I第9页，课件共37页，创作于2023年2月旋转变换的目的是为了使得n个样本点在y1轴方向上的离散程度最大，即y1的方差最大。变量y1代表了原始数据的绝大部分信息，即把原始数据的信息集中到y1轴上，对数据中包含的信息起到了浓缩作用。y1和y2可称为原始变量h和w的综合变量。由于n个点在y1轴上的方差最大，因而将二维空间的点的描述用y1这个综合变量来代替，所损失的信息最小，由此称y1为第一主成分，y2为第二主成分。第10页，课件共37页，创作于2023年2月4.1.2主成分分析法与因子分析法主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标(变量)。在多变量分析中，某些变量间往往存在相关性。是什么原因使变量间有关联呢？是否存在不能直接观测到的、但影响可观测变量变化的公共因子？因子分析法(FactorAnalysis)就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。第11页，课件共37页，创作于2023年2月4.1.2主成分分析法与因子分析法例如，随着年龄的增长，儿童的身高、体重会随着变化，具有一定的相关性，身高和体重之间为何会有相关性呢？因为存在着一个同时支配或影响着身高与体重的生长因子。那么，我们能否通过对多个变量的相关系数矩阵的研究，找出同时影响或支配所有变量的共性因子呢？因子分析就是从大量的数据中