第13章多重线性回归与相关.ppt

第13章 多重线性回归与相关 content 第一节?? 多重线性回归的概念与统计推断 第二节 假设检验及其评价 第三节 复相关系数与偏相关系数 第四节????自变量筛选 第五节 多元线性回归的应用与注意事项 目的：作出以多个自变量估计应变量的多元线性回归方程。 资料：应变量为定量指标；自变量全部或大部分为定量指标，若有少量定性或等级指标需作转换。 用途：解释和预报。更精确 意义：由于事物间的联系常常是多方面的，一个应变量的变化可能受到其它多个自变量的影响，如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂等多种生化指标的影响。 变量：应变量 1 个，自变量k 个，共 k+1 个。 样本含量：n 数据格式见表13-1 回归模型一般形式： 第二节 假设检验及其评价 偏回归系数的t检验 偏回归系数的t检验是在回归方程具有统计学意义的情况下，检验某个总体偏回归系数等于零的假设,以判断是否相应的那个自变量对回归确有贡献 利用SAS对例13-1的四个偏回归系数进行t检验与标准化偏回归系数的结果如表13-3所示。 调整的R2(Adjusted R-Square) 当回归方程中包含有很多自变量，即使其中有一些自变量（如本例中的X3 ）对解释反应变量变异的贡献极小，随着回归方程的自变量的增加，R2 值表现为只增不减，这是复相关系数R2的缺点。调整的R2定义为 偏相关系数 偏相关系数（partial correlation coefficient ）:一般地，扣除其他变量的影响后，变量Y与X的相关. 标准化回归系数  变量标准化是将原始数据减去相应变量的均数，然后再除以该变量的标准差。 注意： 一般回归系数有单位，用来解释各自变量对应变量的影响，表示在其它自变量保持不变时， 增加或减少一个单位时Y的平均变化量 。不能用各 来比较各 对 的影响大小。 标准化回归系数无单位，用来比较各自变量对应变量的影响大小， 越大， 对 的影响越大。 第四节????自变量筛选 自变量筛选的标准与原则 1.残差平方和（SSE）缩小与确定系数（R2）增大 2.残差均方（ SSE ）缩小与调整确定系数增大 3. CP统计量 选择既具有较小CP值，在图中又接近于CP =q直线的模型作为“最优”的准则 多元线性回归应用的注意事项 1、非同质资料的合并问题 斜率相同（同质）：可以利用男、女合并的资料拟合共同的回归模型； 不同质：此时应按不同性别分别拟合回归模型。 2、指标的数量化 3、样本含量: n =(5～10)m。 4、关于逐步回归: 对逐步回归得到的结果不要盲目的信任，所谓的“最优”回归方程并不一定是最好的，没有选入方程的变量也未必没有统计学意义。例如，例15-3中若将选入标准和剔除标准定为 和 ，选入的变量是 ，而不是 ，结果发生了改变。 不同回归方程适应于不同用途，依专业知识定。 5、多重共线性 即指一些自变量之间存在较强的线性关系。如高血压与年龄、吸烟年限、饮白酒年限等，这些自变量通常是高度相关的，有可能使通过最小二乘法建立回归方程失效，引起下列一些不良后果： （1）参数估计值的标准误变得很大，从而t值变得很小。 （2）回归方程不稳定，增加或减少某几个观察值，估计值可能会发生很大的变化。 （3）t检验不准确，误将应保留在模型中的重要变量舍弃。 （4）估计值的正负符号与客观实际不一致。 目的：使得预报和（或）解释效果好 全局择优法 目的：预报效果好 意义：对自变量各种不同的组合所建立 的回归方程进行比较 择优。 选择方法： 逐步选择法 1. 1.前进法，回归方程中的自变量从无到有、从少到多逐个引入回归方程。这种选择自变量的方法基于残差均方缩小的准则，不一定能保证“最优” . 此法已基本淘汰。 2.?后退法，先将全部自变量选入方程，然后逐步剔除无统计学意义的自变量。 剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作F检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。 3.逐步回归法，逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。该方法本质上是前进法。 第五节 多元线性回归的应用与注意事