非参数回归r语言实现.doc

非参数回归的R语言实现 中国人民大学统计学院 陈堰平 2010-6-22 1 背景 ? 回归模型 E(Y | X) = f (X) ? 回归函数形式已知---参数回归 ? 回归函数形式未知---非参数回归 2010-6-22 2 参数回归 Example: x=sort(runif(200)) y=2*x+1+rnorm(200,0,0.1) fit.lin-lm(y~x) 2010-6-22 3 summary(fit.lin) Call: lm(formula = y ~ x) Residuals: Min 1Q Median 3Q Max -0.200168 -0.066969 -0.003402 0.070464 0.208087 Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) 0.97997 0.01277 76.75 2e-16 *** x 2.02368 0.02236 90.50 2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.09269 on 198 degrees of freedom Multiple R-squared: 0.9764, Adjusted R-squared: 0.9763 F-statistic: 8189 on 1 and 198 DF, p-value: 2.2e-16 2010-6-22 4 2010-6-22 5 非参数回归 ? 回归函数未知，要根据观测值估计给定点的估 计值 – 假设观测为(Yi，Xi)，i=1,…,n ，假设模型为 Y = f (X ) +ε 2010-6-22 6 核函数法 2010-6-22 7 ? 核函数法(Nadaraya-Watson) 2010-6-22 8 局部多项式估计 利用局部展开的思想，在待估计点，将函数泰勒展开 f (x) = f (x ) + f (x )(x ? x ) +? 0 0 0 距离x0较近的点，提供的信息多，距离远的点，提供的信息少 n X ? x ? ? ∑ 2 0 (a,b) = arg min [Y ?(a +b(X ? x ))] K ? ? i i i 0 h a b , ? ? i=1 ?( ) f x = a 0 可以转化为加权最小二乘的问题 2010-6-22 9 y.est = -0.9689503 , sin(10*0.5) = -0.9589243 2010-6-22 10 带宽h的选择 ? Cross Validation 1 n [ ? ( )] CV Y f X = ∑ ? 2 i (?i) i n i=1 选取一系列的h，计算相应的CV，使得CV最小的就 是最优带宽 2010-6-22 11 现成的包 KernSmooth，locpol，… 2010-6-22 12 2010-6-22 13 在分位回归的应用 ? quantreg包中有lprq函数 lprq - function (x, y, h, tau = 0.5, m = 50){ xx - seq(min(x), max(x), length = m) fv - xx dv - xx for (i in 1:length(xx)) { z - x - xx[i] wx - dnorm(z/h) r - rq(y ~ z, weights = wx, tau = tau, ci = FALSE) fv[i] - r$coef[1] dv[i] - r$coef[2] } list(xx = xx, fv = fv, dv = dv) } 2010-6-22 14 ? 原理 qτ (y) = a +bx 线性分位回归 估计方程 n (a,b) arg min ρ (Y a bX ) = ∑ ? ? τ i i (a,b) i=1 n X ? x ? ? ∑ ( ) (a,b) = arg min Y ? (a + b(X ? x )) K ? ? ρ i 0 τ i i 0 h a,b ? ? i=1 2010-6-22 15 2010-6-22 16 h=1 h=2 h=3 h=4 2010-6-22 17 Why R? 灵活：研究新的模型时，可以在原有代码的基 础上修改 变系数分位回归模型： qτ y = c u x + c ( ) ( ) 1 0 n U ?u ? ? ∑ ( ) arg min ρ ? ( + ( ? )) ? ? ? Y a b U u X c K i 0 τ i