- 1、本文档共39页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
第7章数据预测建模:集成学习集成学习概述基于重抽样自举法的集成学习从弱模型到强模型的构建:提升法梯度提升决策树XGBoost算法
集成学习概述第7章数据预测建模:集成学习决策树有一种“天然”的高方差特征解决较大树深度模型预测性能的途径:集成学习(EnsembleLearning)不剪枝:通过集成平均消除预测的波动性剪枝:通过弱模型的集成提高预测性能集成学习的基本思路:建模阶段:基于一组独立的训练集,分别建立与之对应的一组回归或分类预测模型。称这里的每个预测模型为基础学习器(BaseLearner,基学习器)预测阶段:基础学习器将分别给出各自的预测结果。对各预测结果进行平均(回归)或投票(分类),确定最终的预测结果(均值或众数)集成学习:解决预测模型的高方差问题将一组弱模型联合起来使其成为一个强模型
集成学习:解决高方差问题
?第7章数据预测建模:集成学习
?基于重抽样自举法的集成学习:袋装法?第7章数据预测建模:集成学习
????第7章数据预测建模:集成学习
?基于重抽样自举法的集成学习:袋装法第7章数据预测建模:集成学习
基于重抽样自举法的集成学习:随机森林
??随机森林通过减少预测值的相关性,即通过降低树间的相似性(高相似的决策树给出高相关的预测值)的策略降低方差随N(这里是B)增加第二项趋于0,主要取决第一项第7章数据预测建模:集成学习
随机森林降低树间相似性(使多棵树“看上去不相同”)的基本出发点:多样性增强:在学习过程中增加随机性扰动,包括:对训练数据增加随机性扰动对输入变量增加随机性扰动对算法参数增加随机性扰动,等随机森林多样性增加的策略:对训练数据增加随机性扰动:重抽样自举对输入变量增加随机性扰动:决策树建立过程中的当前“最佳”分组变量,是来自输入变量的一个随机子集?b中的变量基于重抽样自举法的集成学习:随机森林
第7章数据预测建模:集成学习
?基于重抽样自举法的集成学习:随机森林第7章数据预测建模:集成学习
?第7章数据预测建模:集成学习
基于重抽样自举法的集成学习应用示例:PM2.5的回归预测?Chapter7-1.ipynb第7章数据预测建模:集成学习
集成学习:从弱模型到强模型的构建
?第7章数据预测建模:集成学习
??从弱模型到强模型的构建:Boosting
通过B次迭代建立多个弱模型第7章数据预测建模:集成学习
示例观察:弱模型的组合可以成为强模型弱模型的“联合委员会”有着较高的预测性能Chapter7-2.ipynb第7章数据预测建模:集成学习
?AdaBoost.M1算法根据误差(损失)对权重做非线性更新第7章数据预测建模:集成学习
?AdaBoost.M1算法第7章数据预测建模:集成学习
??????第7章数据预测建模:集成学习
AdaBoost.M1算法实现:图形化展示不同迭代次数下各样本观测的权重变化Chapter7-3.ipynb较大的点都是之前的弱模型没有正确预测的点,基本集中在两类的边界处第7章数据预测建模:集成学习
从弱模型到强模型的构建:Boosting
???第7章数据预测建模:集成学习
?????????第7章数据预测建模:集成学习
???第7章数据预测建模:集成学习
从弱模型到强模型的构建:Boosting
?第7章数据预测建模:集成学习
从弱模型到强模型的构建:Boosting
?第7章数据预测建模:集成学习
从弱模型到强模型的构建:梯度提升算法
梯度提升树:GradientBoostedDecisionTree,GBDT当下最为流行的集成学习算法之一,梯度提升算法的典型代表梯度提升树采用向前式分步可加建模方式迭代过程中模型成员不断进入“联合委员会”先前进入“联合委员会”的模型不受后续进入模型的影响,且每次迭代仅需估计当前模型迭代过程中基于损失函数,采用梯度下降法,找到使损失函数下降最快的模型(基础学习器或弱模型)梯度提升算法第一,提升的含义第二,梯度下降和模型参数第三,梯度提升算法的参数优化过程第7章数据预测建模:集成学习
?从弱模型到强模型的构建:梯度提升算法
???第7章数据预测建模:集成学习
?????????第7章数据预测建模:集成学习
????已知?第7章数据预测建模:集成学习
?????第7章数据预测建模:集成学习
????找到对当前伪响应变量(残差)拟合最好下的回归树第7章数据预测建模:集成学习
????????第7章数据预测建模:集成学习
梯度提升树和AdaBoost回归树的对比一定迭代次数后,AadBoost集成学习策略的训练误差下降不明显基本保持不变梯度提升树的训练误差呈持续降低的趋势提高梯度提升算法中基础学习器复杂(树深度等于3),误差在迭代次数较少时就快速下降到较低水平Chap
您可能关注的文档
- 中式烹调师(技师、高级技师) 课件 项目6、7 宴会主理、菜肴制作与装饰.pptx
- 中式烹调师(技师、高级技师) 课件 项目8、9 厨房管理、培训指导 .pptx
- 中式烹调师(技师、高级技师) 课件 项目1--3 原料鉴别与初加工---菜肴制作与装饰.pptx
- 中式烹调师(技师、高级技师) 课件 项目4、5 厨房管理、培训指导 .pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 - 第4--6章 数据预测建模:贝叶斯分类器---数据预测建模:决策树.pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 -第8、9章 数据预测建模:人工神经网络、数据预测建模:支持向量机.pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 -第10--12章 特征选择:过滤、包裹和嵌入策略---揭示数据内在结构:聚类分析 .pptx
- GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管.pdf
- 中国国家标准 GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管.pdf
- 《GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管》.pdf
- GB/T 32151.38-2024温室气体排放核算与报告要求 第38 部分:水泥制品生产企业.pdf
- 中国国家标准 GB/T 32151.38-2024温室气体排放核算与报告要求 第38 部分:水泥制品生产企业.pdf
- 《GB/T 22069-2024燃气发动机驱动空调(热泵)机组》.pdf
- GB/T 22069-2024燃气发动机驱动空调(热泵)机组.pdf
- 中国国家标准 GB/T 22069-2024燃气发动机驱动空调(热泵)机组.pdf
- 中国国家标准 GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法.pdf
- GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法.pdf
- 《GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法》.pdf
- GB/T 1148-2024内燃机 铝活塞.pdf
- 中国国家标准 GB/T 1148-2024内燃机 铝活塞.pdf
文档评论(0)