最小角回归LARS算法包的用法以及模型参数的选择（R语言）.pdfVIP

最⼩⾓回归LARS算法包的⽤法以及模型参数的选择（R语

⾔）

Lasso回归模型，是常⽤线性回归的模型，模型维度较⾼时，Lasso算法通过求解稀疏解对模型进⾏变量选择。Lars算法则提供了⼀种快

速求解该模型的⽅法。Lars算法的基本原理有许多其他⽂章可以参考，这⾥不过多赘述,这⾥主要简介如何在R中利⽤lars算法包求解线性

回归问题以及参数的选择⽅法。

以下的的⼀些⽤法参照lars包的帮助⽂件，再加上⾃⼰的使⽤⼼得。所⽤的⽰例数据diabetes是Efron在其论⽂中“LeastAngle

Regression”中⽤到的，可以在加载lars包后直接获得

library(lars)

data(diabetes)

attach(diabetes)

该数据中含有三个变量x,x2,y,其中x是⼀个有422X10维的矩阵，y是⼀个422维的向量，x2是由x得到的422X64维矩阵

（compressive）.

1.求解路径solutionpath

lars(x,y,type=c(lasso,lar,forward.stagewise,stepwise),trace=FALSE,normalize=TRUE,intercept=TRUE,Gram,eps=.Machine$double.eps,max.steps,

use.Gram=TRUE)

该函数提供了通过回归变量x和因变量y求解其回归解路径的功能。其中，

type表⽰所使⽤的回归⽅法，包括（lasso,lar,forward.stagewise,stepwise），选择不同的回归⽅法将得到不同的解路径；

normalize表⽰是否对变量进⾏归⼀化，为TRUE时，程序将对x和y进⾏L2正则化；

intercept表⽰是否对变量进⾏中⼼化，为TRUE时，程序将对x和y分别减去其均值。

下⾯使⽤四种不同的回归⽅法对其进⾏回归分析

object1-lars(x,y,type=lasso)

object2-lars(x,y,type=lar)

object3-lars(x,y,type=forward.stagewise)

object4-lars(x,y,type=stepwise)

返回参数是⼀个list，其中包含了每次迭代得到的回归系数beta以及lambda等16个返回值。

可以分别对返回参数⽤plot()画出其solutionpath的图像.

可以看到lars算法，算法的步数较少即迭代次数较少，且与参数个数相同，数据维数⾮常⾼的时候lars算法相较于其他回归算法速度⾮常

快。

2.利利⽤⽤交交叉叉验验证证(CrossValidtion)确确认认参参数数

在上⼀步我们可以看到lars⼀次给了其solutionpath上的所有解，我们需要确定其中哪个解是我们真正要⽤到的.在lasso模型中，约束项

由参数lambda进⾏控制，给定了lambda，模型才能够确定下来。⼀个好的回归模型，需要给定⼀个合适的lambda，但是lamda的范围

往往⽐较⼤。注意到lars算法给出的解路径上的解个数是有限的，不同的解即不同的beta就对应了不同的lambda,从solutionpath的图可

以看到，我们可以通过选定算法的step步数或者选定beta饱和度|beta|/max|beta|（此处||表⽰⼀范数，饱和度同样也表征了解的稀疏

度）来选定模型的参数.

此时就需要⽤到lars包中的cv.lars函数，

cv.lars(x,y,K=10,index,trace=FALSE,plot.it=TRUE,se=TRUE,type=c(lasso,lar,forward.stagewise,stepwise),mode=c(fraction,step),...)

K表⽰在进⾏交叉验证时，将数据随机分为K份，每次使⽤其中K-1份作为训练数据，⽤剩下的⼀份进⾏验证，最后计算这K次验证的

均⽅误差;

mode表⽰⽤到的参数指标，step即按步数step去选择所需的参数，fraction即按照path中的横坐标|