主成分分析实例及含义讲解.ppt

主成分分析和因子分析;汇报什么？;主成分分析;成绩数据〔student.sav〕;从本例可能提出的问题;空间的点;;椭球的长短轴;;主轴和主成分;主成分之选取;主成分分析的数学;对于我们的数据，SPSS输出为;特征值的奉献还可以从SPSS的所谓碎石图看出;怎么解释这两个主成分。前面说过主成分是原始六个变量的线性组合。是怎么样的组合呢？SPSS可以输出下面的表。;如用x1,x2,x3,x4,x5,x6分别表示原先的六个变量，而用y1,y2,y3,y4,y5,y6表示新的主成分，那么，第一和第二主成分为;可以把第一和第二主成分的载荷点出一个二维图以直观地显示它们如何解释原来的变量的。这个图叫做载荷图。;该图左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外语三科。图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。;因子分析;主成分分析与因子分析的公式上的区别;因子分析的数学;对于我们的数据，SPSS因子分析输出为;这个表说明六个变量和因子的关系。为简单记，我们用x1,x2,x3,x4,x5,x6来表示math〔数学〕，phys〔物理〕，chem〔化学〕，literat〔语文〕，history〔历史〕，english〔英语〕等变量。这样因子f1和f2与这些原变量之间的关系是〔注意，和主成分分析不同，这里把成分〔因子〕写在方程的右边，把原变量写在左边；但相应的系数还是主成分和各个变量的线性相关系数，也称为因子载荷〕：;;这里，第一个因子主要和语文、历史、英语三科有很强的正相关；而第二个因子主要和数学、物理、化学三科有很强的正相关。因此可以给第一个因子起名为“文科因子”，而给第二个因子起名为“理科因子”。从这个例子可以看出，因子分析的结果比主成分分析解释性更强。;这些系数所形成的散点图〔在SPSS中也称载荷图〕为;计算因子得分;该输出说明第一和第二主因子为〔习惯上用字母f来表示因子〕可以按照如下公式计算，该函数称为因子得分〔factorscore〕。;SPSS实现(因子分析与主成分分析);因子分析和主成分分析的一些本卷须知;主成分分析

(PrincipalComponentsAnalysis);洛衫矶对12个人口调查区???数据;动机;如果有变量x1,...,xp,数学上可以把它们变换成一组新的变量(称为成分〕y1,...,yp,使得:

(1)每一个y是那些x的线性组合,即yi=ai1x1+…+aipxp;〔Y=a’X)

(2)系数aij的平方和为1,即

ai=(ai1,...,aip)T是单位向量;

(3)y1是这样的线性组合中方差最大的,y2为和y1不相关的线性组合中使方差最大的,如此下去,一般地,yj为与y1,y2,…,yj-1都不相关的方差最大的线性组合.;头几个变量〔主成分〕由于其方差最大,往往包含了绝大局部信息,人们就可以用它们来描述原来用p个变量所代表的现象.简化也就完成了.;矩阵情况;向量X的线性组合a’X的方差为

Var(a’X)=a’Cov(X)a;

Cov(X)未知；于是用X的样本相关阵R来近似.因此，我们要寻找向量a使得

a’Ra最大;的p×p矩阵.而对于观测值X=(x1,…,xp),其中xi=(x1i,…,xni),i=1,…,p,的样本相关阵第(ij)-元素为;关于特征值和特征向量

特征方程|R-lI|=0的解为特征值l,这里R为一个p维正定方阵.l通常有p个根l1≥l2≥…≥lp.满足(R-liI)xi=0的向量xi为li的特征向量.对任意向量a有性质;为了我们简化的目的,通常选取特征值最大的几个特征向量作为代表.

利用计算机软件就自动地得到这些特征值和特征向量.

由于变量不同的尺度会影响结果,因此,在各变量尺度差异大时,一般可以用样本相关阵而不是协方差阵来做(这通常在软件的选项之中).;步骤;取上面几个行向量组成所需的主成分变换矩阵.主成分i为:

yi=ai1x1+…+aipxp(yi奉献率为li/∑jlj);第一主成分:使Var(a1’X)最大的单位向量a1(a1’a1=1);而l1=a1’Ra1=Var(a1’X);这里R为X的相关阵.

第二主成分:满足Cov(a1’X,a2’X)=0而且使Var(a2’X)最大的单位向量a2(a2’a2=1);而l2=a2’Ra2=Var(a2’X)

………….

第k主成分:满足Cov(ai’X,ak’X)=0(i=1,…,k-1),而且使Var(ak’X)最大的单位向量ak(ak’ak=1);而lk=ak’Rak=Var(ak’X).