机器学习-集成学习_加水印.pdfVIP

集成学习思想 5 在机器学 习 中 ，基于这种组 合思想来提高模型精度的方法被 称 为 集 成 学 习 （E n s e m b l e Learning ）。俗话说 “三个臭皮 匠 ，赛过诸葛亮” ，这句话就完 美阐述了集成学习的潜在思想— —通过构建并结合多个学习器来 完成学习任务 ，通过将多个模型 结合在一起来提高整体的泛化能 力。 1.集成学习方法概述 6 01 集成学习方法概述 02 随机森林算法 03 AdaBoost和GBDT算法 04 XGBoost 基本概念 7 集成学习 （ensemble learning），并不是一个单独的机器学习算法 ，而是通过构建并 结合多个机器学习器 （基学习器 ，Base learner）来完成学习任务。集成学习往往被 视为一种元算法 （meta-algorithm）。 集成学习可以用于分类问题集成 ，回归问题集成 ，特征选取集成 ，异常点检测集成等 等 ，可以说所有的机器学习领域都可以看到集成学习的身影。 对于训练集数据 ，我们通过训练若干个个体弱学习器 （weak learner），通过一定的 结合策略，就可以最终形成一个强学习器 （strong learner），以达到博采众长的目的 。 基本概念 8 学习器 强学习器 ：Strong learner ，相对于弱学习器而言的概念 ，强学习器指的是可以预测相当准确结果的学 习算法。 弱学习器 ：Weak learner ，相对于强学习器而言 ，通常这些弱学习器预测的结果只比随机结果稍好一 些。 基学习器 ：Base Learner ，集成学习中的个体学习器 ，基学习器经常是弱学习器 ，但是并非必须是弱 学习器。 基学习算法 ：Base Learning Algorithm ，基学习器所基于的算法 ，基学习器基于基学习算法生成 ，比 如通过不同的训练集 ，经过训练之后 ，生成的不同参数的机器学习模型。 同质基学习器 ：Homogeneous Base Learner，指使用同样的基学习算法生成的基学习器 异质基学习器 ：Heterogeneous Base Learner，指使用不同的基学习算法生成的基学习器。 基本概念 9 集成学习算法 通常来说 ，生成一个完整的集成学习算法的步骤可以大致分为以下两步 ： • 构建基学习器 ：生成一系列基学习器 ，这个过程可以是并行的 （Parallel）也 可以是顺序的 （Sequential） （在顺序型的生成过程中，前期生成的基学习器 会对后续生成的学习器有影响） • 组合基学习器 ：这些基学习器被组合起来使用 ，最常见的组合方法比如用于分 类的多数投票 （maj ority voting），以及用于回归的权重平均 （weighted averaging）。 基本概念 10 集成学习的构建方法可以分为两类 ： •并行方法 ： ü构建多个独立的学习器 ，取他们的预测结果的平均 ü个体学习器之间不存在强依赖关系 ，一系列个体学习器可以并行生成 ü通常是同质的弱学习器 ü代表算法是Bagging和随机森林 （Random Forest）系列算法。 •顺序化方法 ： ü多个学习器是依次构建的 ü个体学习器之间存在强依赖关系 ，因为一系列个体学习器需要串行生成 ü通常是异质的学习器 ü代表算法是Boosting系列算法 ，比如AdaBoost ，梯度提升树等 基本概念 11 p 如何定义一个完整的集成学习算法 ，有几个问题需要考虑 ： ü 如何生成若干个基学习器 ü 如何选择一种组