- 1、本文档共23页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
非参数回归的R语言实现
中国人民大学统计学院
陈堰平
2010-6-22 1
背景
? 回归模型
E(Y | X) = f (X)
? 回归函数形式已知---参数回归
? 回归函数形式未知---非参数回归
2010-6-22 2
参数回归
Example:
x=sort(runif(200))
y=2*x+1+rnorm(200,0,0.1)
fit.lin-lm(y~x)
2010-6-22 3
summary(fit.lin)
Call:
lm(formula = y ~ x)
Residuals:
Min 1Q Median 3Q Max
-0.200168 -0.066969 -0.003402 0.070464 0.208087
Coefficients:
Estimate Std. Error t value Pr(|t|)
(Intercept) 0.97997 0.01277 76.75 2e-16 ***
x 2.02368 0.02236 90.50 2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.09269 on 198 degrees of freedom
Multiple R-squared: 0.9764, Adjusted R-squared: 0.9763
F-statistic: 8189 on 1 and 198 DF, p-value: 2.2e-16
2010-6-22 4
2010-6-22 5
非参数回归
? 回归函数未知,要根据观测值估计给定点的估
计值
– 假设观测为(Yi,Xi),i=1,…,n ,假设模型为
Y = f (X ) +ε
2010-6-22 6
核函数法
2010-6-22 7
? 核函数法(Nadaraya-Watson)
2010-6-22 8
局部多项式估计
利用局部展开的思想,在待估计点,将函数泰勒展开
f (x) = f (x ) + f (x )(x ? x ) +?
0 0 0
距离x0较近的点,提供的信息多,距离远的点,提供的信息少
n
X ? x
? ?
∑
2 0
(a,b) = arg min [Y ?(a +b(X ? x ))] K ? ?
i i i 0
h a b
, ? ?
i=1
?( )
f x = a
0
可以转化为加权最小二乘的问题
2010-6-22 9
y.est = -0.9689503 , sin(10*0.5) = -0.9589243
2010-6-22 10
带宽h的选择
? Cross Validation
1 n [ ? ( )] CV Y f X
= ∑ ?
2
i (?i) i
n
i=1
选取一系列的h,计算相应的CV,使得CV最小的就 是最优带宽
2010-6-22 11
现成的包
KernSmooth,locpol,…
2010-6-22 12
2010-6-22 13
在分位回归的应用
? quantreg包中有lprq函数
lprq - function (x, y, h, tau = 0.5, m = 50){
xx - seq(min(x), max(x), length = m) fv - xx dv - xx
for (i in 1:length(xx)) {
z - x - xx[i]
wx - dnorm(z/h)
r - rq(y ~ z, weights = wx, tau = tau, ci = FALSE)
fv[i] - r$coef[1] dv[i] - r$coef[2]
}
list(xx = xx, fv = fv, dv = dv) }
2010-6-22 14
? 原理
qτ (y) = a +bx 线性分位回归
估计方程
n
(a,b) arg min ρ (Y a bX )
= ∑ ? ?
τ i i
(a,b)
i=1
n
X ? x
? ?
∑
( )
(a,b) = arg min Y ? (a + b(X ? x )) K ? ?
ρ
i 0 τ i i 0
h
a,b ? ?
i=1
2010-6-22 15
2010-6-22 16
h=1
h=2
h=3
h=4
2010-6-22 17
Why R?
灵活:研究新的模型时,可以在原有代码的基
础上修改
变系数分位回归模型:
qτ y = c u x + c
( ) ( )
1 0
n U ?u
? ?
∑
( )
arg min ρ ? ( + ( ? )) ? ? ?
Y a b U u X c K i 0 τ i
文档评论(0)