偏最小二乘法回归建模案例.docx

《人工智能》课程论文

论文题目： 偏最小二乘算法（PLS）回归建模学生姓名：

学 号：

专 业： 机械制造及其自动化所在学院： 机械工程学院

年 月 日

目录

偏最小二乘回归.......................................-

2

-

摘要.................................................-

2

-

§1偏最小二乘回归原理................................-

2

-

§2一种更简洁的计算方法..............................-

6

-

§3案例分析.........................................-

7

-

致谢................................................-16

-

附件：..............................................-17

-

偏最小二乘回归

摘要

在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量），除了最小二乘准则下的经典多元线性回归分析（MLR），提取自变量组主成分的主成分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。

偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个

数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。

偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。

本文介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模型进行比较。

关键词： 主元分析、主元回归、回归建模

1 偏最小二乘回归原理

考虑p个变量y,y

1 2

,...y

p

与m个自变量x,x

1 2

,...x

m

的建模问题。偏最小二乘

回归的基本作法是首先在自变量集中提出第一成分 t?（t?是x,x

1 2

,...x

m

的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分 u?，并要求 t?与u?相关程度达到最大。然后建立因变量

y,y

1 2

,...y

p

与t?的回归，如果回归方程已达到满意的精度，则算法中止。否则

继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取r

个成分t,t

1 2

,...t

r

,偏最小二乘回归将通过建立 y,y

1 2

,...y

p

与t,t

1 2

,...t

r

的回归

式，然后再表示为y,y

1 2

,...y

p

与原自变量的回归方程式，即偏最小二乘回归方

程式。

为了方便起见，不妨假定p个因变量y,y

1 2

,...y

p

与m个自变量x,x

1 2

,...x 均为

m

标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为:

?y ............y ?

?x ..........x ?

? 11

1p?

? 11

1m?

00F ??: ?, E ??: ?

0

0

?y ............y ? ?x ..........x ?

? ? ? ?

n1 np n1 nm

偏最小二乘回归分析建模的具体步骤如下：

分别提取两变量组的第一对成分，并使之相关性达最大。

假设从两组变量分别提出第一对t?和u?,t?是自变量集X??x

1

,...,x

m

?T,的

? ?

线性组合：t

?wx

?...?w x

?wTX,u?是因变量集Y?y,..,y T的线性组合：

1 111 1m m 1 1 p

?v y

1 11 1

?...?v y

1p p

?vTY。为了回归分析的需要，要求：

1

①t1和u1各自尽可能多地提取所在变量组的变异信息；

②t1和u1的相关程度达到最大。

由两组变量集的标准化观测数据阵E和F

0 0

t u?

t u

为1和1:

,可以计算第一对成分的得分向量，记

?x x

??w

? ?t ?

t? ?Ew

??:11 1m?