第八章-回归分析与聚类分析.ppt

第8章 回归分析与聚类分析初步 8.1 一元线性回归分析 8.2 二元线性回归 8.3 主成分分析 8.4 聚类分析 8.1 一元线性回归 8.1 一元线性回归 （1） 相关系数检验法 相关系数的特点： 0≤| r |≤1 (2) F 检验—方差分析 法 (2) 计算自由度 一元线性回归方差分析表 8.2 二元线性回归分析 方程组的解就是偏回归系数 二元线性回归方差分析表 8.4 聚类分析 8.4.1 概述 8.4.2 样品间的距离 * 内容提要 (1) 确定性关系—对应关系、函数关系。其变量称确定性变量。 (2) 相关关系—对应的变量称随机变量。没有一一对应的函数关系，但有统计规律—散点图、回归方程。 一元回归分析——研究单因素与试验指标间相关关系； 多元回归分析——研究多因素与试验指标间相关关系； 线性回归、非线性回归——相关关系为线性或非线性。 8.1.1 概述 科研与生产中，变量之间的关系有两种情况 设有一组试验数据xi，yi (i = 1， 2，…，n)，其中x是自变量，y 是因变量。若x，y 符合线性关系，或已知经验公式为直线形式，即： 8.1.2 回归方法 a, b 称为回归系数； 是由xi代入回归方程的计算值，称为回归值。 与yi 之间的偏差称为残差，用ei 表示，则有： 残差平方值（考虑到残差有正有负）之和为： 显然，只有残差平方和最小时，回归方程与试验值的拟合程度最好。 残差平方和SSe为a， b的函数，即： SSe=f (a, b), 为使SSe值到达极小，根据极值原理，只要对上式分别对a，b求偏导数，并令其等于零，求解方程组即可求得a，b之值————最小二乘法原理。 要使误差最小，则 对方程组求解，即可得到回归系数a, b的计算式： 正规方程组 为了方便计算，令： 于是： 先求出回归方程的相关系数，然后与临界值进行对比： 计算值临界值——两变量不是独立，相关关系成立； 计算值临界值——两变量独立，相关关系不成立。 8.1.3 一元线性回归效果的检验 相关系数检验法 、F检验即方差分析法 —— 检验回归方程的可靠性或可信性 相关系数用下式求出 回归系数b 与相关系数r 的关系为： b 与r 有相同的符号 决定系数——相关系数的平方r2 P101, 例8-4 有一定的线性关系 有一定的线性关系 无线性关系 无线性关系 完全线性相关 完全线性相关 (1) 计算离差平方和 回归平方和—回归值 与算术平均值 的偏差 总离差平方和—试验值yi与其算术平均值 的偏差 残差平方和—试验值yi与回归值 的偏差 三种平方和之间有下述关系： SST＝SSR＋SSe SSR还可以用更简单的公式计算: 总离差平方和SST的自由度为： fT = n－1 回归平方和SSR的自由度为： fR = 1 残差平方和SSe的自由度为： fe = n－2 显然，三种自由度之间的关系为：fT = fR + fe (3) 计算均方—— 离差平方和/自由度 回归平方和的均方 残差平方和的均方 (4) F检验 服从自由度为(fR, fe)的F 分布 1. 若F F0.01(fR, fe)，称 x与y有非常显著的线性关系，用两个 “* *”号表示 2. 若F0.05 (fR, fe)F F0.01 (fR, fe)，称 x与y有显著的线性关系，用一个“*”号表示； 3. 若F F0.05 (fR, fe )，则称 x与y 没有明显著的线性关系，回归方程不可信 。 n-1 SST 总和 MSe=SSe / (n-2) n-2 SSe 误差 MSR / MSe MSR=SSR 1 SSR 回归 显著性 F MS df SS 差异源 设试验指标(因变量) y 与多个试验因素（自变量）xj , ( j = 1， 2，…，m）之间的近似函数关系式为： 则上式称为因变量y 关于自变量x1，x2，…，xm的多元线性回归方程，其中b1，b2，…，bm称为偏回归系数 设y 有n组试验数据x1i, x2i, …, xmi, yi ( i =1, 2，…, n),如果将自变量x1i，x2i，…，xmi ，代入上述回归方程，就可以得到对应的函数计算值，即回归值 。残差平方和为： 8.2.1 二元线性回归方程 根据最小二乘法原理, 要使Q达到最小, 应满足以下条件： 由此可以得到如下的正规方程组: 8.2.2 二元线性回归方程的显著性检验 4.3.2.1 F 检验法 总平方和： 回归平方和： 残差平方和： n-1 SST 总和 MSe=S