偏最小二乘法回归建模案例x.docx

偏最小二乘法回归建模案例 《人工智能》课程论文论文题目：偏最小二乘算法（PLS）回归建模学生姓名：张帅帅学号：172341392专业：机械制造及其自动化所在学院：机械工程学院 年月日目录 偏最小二乘回归-3- 摘要 -3- §1偏最小二乘回归原理 -3- §2一种更简洁的计算方法 -7- §3案例分析 -8- 致谢 -18- 附件： -19- 偏最小二乘回归 摘要 在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量），除了最小二乘准则下的经典多元线性回归分析（MLR），提取自变量组主成分的主成分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。 偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。 本文介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模型进行比较。 关键词：主元分析、主元回归、回归建模1偏最小二乘回归原理 考虑p个变量y1?y2，...yp与m个自变量x1，x2，…xm的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提出第一成分t?（t?是%,x2，…xm 回归的基本作法是首先在自变量集中提出第一成分 的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分u?，并要求t?与u?相关程度达到最大。然后建立因变量y1,y2，…yp与t?的回归，如果回归方程已达到满意的精度，则算法中止。否则 继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取r 个成分，，，，偏最小二乘回归将通过建立与的回归t,t,...tvVvttt 12ry1,y2I）pL1,L2,.r 式，然后再表示为y1,y2,...yp与原自变量的回归方程式，即偏最小二乘回归方 程式。 为了方便起见，不妨假定p个因变量y1,y2，…yp与m个自变量x1，x2，…xm均为标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为：y11x11x1mFoyn1ynp偏最小二乘回归分析建模的具体步骤如下：（1）分别提取两变量组的第一对成分，并使之相关性达最大。 标准化变量。因变量组和自变量组的 n次标准化观测数据阵分别记为： y11 x11 x1m Fo yn1ynp偏最小二乘回归分析建模的具体步骤如下：（1）分别提取两变量组的第一对成分，并使之相关性达最大。 xnm （2）假设从两组变量分别提出第一对t?和u?，t?是自变量集X线性组合：twx T1111...W1mxmW]X，u?是因变量集Yy]，??，ypu]v]]y]...V1pypv]TY。为了回归分析的需要，要求：t1和u1各自尽可能多地提取所在变量组的变异信息；t1和u1的相关程度达到最大。 T的线性组合: 由两组变量集的标准化观测数据阵 E0和F0,可以计算第一对成分的得分向量，记 x11 x 1m W 11 t 11 t1 E0W1 : . : . : . xn1.?… x nm W 1m t n1 y11 ??…y1p V 11 u 11 u1 F0V1 : . : . : . yn1 ..…ynp V 1p u n1 第一对成分t1和u1的协方差Cov（t1,u1）可用第一对成分的得分向量1和1的内积来计算。故而以上两个要求可化为数学上的条件极值问题： t1，u t1，u1E0W1，Y)V1 I2 1V] W]TWW1 V1 w]tEtF0xmax 2 1 利用Lagrange乘数法，问题化为求单位向量w1和％使]w1TE0tF0V1最大。 问题的求解只须通过计算mm矩阵ME0tF0F0tE0的特征值和特征向量，且M的最大特征值为12,相应的单位特征向量就是所求的解W]，而V1可由W]计算得1V1F°tEoW1（3）建立y1，y2，…yp,对l的回归及x1,...,x归。假定回归模型为： V1 F°tEoW1 E0E1F1其中111…,1mT1,111，T分别是多对一的回归模型中的参数向量，E1 E1 F1 其中 111…,1m T 1,111， T分别是多对一的回归模型中的参数向 量，E1和F］是残差阵。回归系数向量 11的最小二乘估计为: III2 要了得：W2ETt 要了得： W2 01 F0Tt1/t1称1,1为模