典型相关分析.doc

典型相关分析

典型相关分析

PAGE/NUMPAGESPAGE/NUMPAGES

典型相关分析

1典型相关分析内涵

1.1典型相关分析基本概念

典型相关分析（canonicalcorrelationanalysis）是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。

典型相关分析是由霍特林(Hotelling,1935,1936)首先提出的。典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合及另一组变量线性组合之间的相关关系分析。目前，典型相关分析已被广泛应用于心理学、市场营销等领域，如用于研究个人性格及职业兴趣的关系，市场促销活动及消费者响应之间的关系等。

1.2典型相关分析的基本思想

典型相关分析的基本思想和主成分分析非常相似。首先在每组变量中找出变量的一个线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取相关系数仅次于第一对线性组合并且及第一对线性组合不相关的第二对线性组合，如此继续下去，直到两组变量之间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。

一般情况，设、是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的线性组合，即：

为了确保典型变量的唯一性，我们只考虑方差为1的、的线性函数及，求使得它们相关系数达到最大的这一组。若存在常向量，，在的条件下，使得达到最大，则称、是、的第一对典型相关变量。求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二对、第三对等典型相关变量。这些典型相关变量就反映了，之间的线性相关情况。

这里值得注意的是，我们可以通过检验各对典型相关变量相关系数的显著性，来反映每一对综合变量的代表性，如果某一对的相关程度不显著，那么这对变量就不具有代表性，不具有代表性的变量就可以忽略。这样就可以通过对少数典型相关变量的研究，代替原来两组变量之间的相关关系的研究，从而容易抓住问题的本质。

2典型相关分析原理及方法

设有两组随机向量，代表第一组的p个变量，代表第二组的q个变量，假设p≤q。令

根据典型相关分析的基本思想，要进行两组随机向量间的相关分析，首先要计算出各组变量的线性组合——典型变量，并使其相关系数达到最大。因此，我们设两组变量的线性组合分别为：

易见

我们希望寻找使相关系数达到最大的向量及，由于随机向量乘以常数时并不改变它们的相关系数，所以，为防止结果的重复出现，令

那么，（9.2）

问题就成为在（9.1）式的约束条件下，求使，达到最大的系数向量及。

根据条件极值的求法引入Lagrange乘数，将问题转化为求

（9.3）的极大值，其中λ，ν是Lagrange乘数。

根据求极值的必要条件得 （9.4）

将（9.4）方程组的二式分别左乘及则得

即有

因为，所以，知为线性组合，的相关系数。用代替方程组中的，则（9.4）方程组写为：

（9.5）

假定各随机变量协差阵的逆矩阵存在，则由方程组（9.5）式中的第二式，可得：

（9.6）

将（9.6）式代入方程组（9.5）式的第一式，得

即有（9.7）

同理，由方程组（9.4）式可得（9.8）

用和分别左乘（9.7）和（9.8）式，得

（9.9）

即（9.10）

由此可见，和具有相同的特征根，，则是其相应的特征向量。为了表示方便，令

其中为p×p阶矩阵，为q×q阶矩阵。

因为，求最大值也就是求的最大值，而求的最大值又转化为求和的最大特征根。

可以证明，和的特征根和特征向量有如下性质：

1.和具有相同的非零特征根，且所有特征根非负。

2.和的特征根均在0～1之间。

3.设和的非零特征根为，，为对应于的特征向量，为对应于的特征向量。

由于我们所求的是最大特征根及其对应的特征向量，因此，最大特征根对应的特征向量和就是所求的典型变量的系数向量，即可得

我们称其为第一对典型变量，最大特征根的平方根即为两典型变量的相关系数，我们称其为第一典型相关系数。

如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量，即