机器学习课件14 机器学习总结.pptVIP

***机器学习*提纲机器学习应用需要厘清的问题*机器学习应用需要厘清的问题1.学习=表示+评价+优化2.泛化3.仅有数据还不够4.过拟合5.维数灾难6.特征工程7.理论分析8.更多数据胜过聪明的算法9.学习多个模型*1.学习=表示+评价+优化表示：选择一种特定的学习器（如分类器）集合（假设空间）评价：目标函数评价学习器的优劣优化：搜索方法，能够在假设空间中找到目标函数得分最高的学习器。*常用分类算法的三个组成部分*2.泛化很重要机器学习的基本目标是对训练集合中样本的泛化。训练样本与测试样本要不同。交叉验证：将训练数据随机地等分成若干份（如10份），其中每一份都作一次测试集，而其它剩下的数据用作训练。通常将泛化误差分解为偏差和方差。偏差度量了学习器倾向于一直学习相同错误的程度，而方差度量了学习器倾向于忽略真实信号、学习随机事物的程度。*方差与偏差例子*泛化误差*3.仅有数据还不够每个学习器都必须包含一些数据之外的领域知识或者假设才能将数据有效泛化。选择不同表示的关键标准之一是，它比较易于表达什么类型的知识。例如，如果我们拥有大量关于在我们领域是什么造成样本相似的知识，可以选择实例的方法。学习器将知识和数据相结合。*4.过拟合训练时准确率很高，但测试时准确率却很差。过拟合往往由于学习模型比较复杂，而导致学习结果的方差变大。对策：（1）交叉验证：利用交叉验证预先确定模型参数（2）正则化：对目标函数增加一个正则化项，以惩罚复杂结构的学习器我们会很容易在避免过拟合时，造成另外一个相反的错误——欠拟合*过拟合和欠拟合要学习一个完美的分类器来同时避免过拟合和欠拟合*正则化Letxbethemodelparametertobeestimated.Acommonlyemployedmodelforestimatingxisminloss(x)+λ×penalty(x)损失函数：度量估计值与真实值之间的差异LeastsquaresLogisticlossHingeloss…L1L2L1/2*损失函数HingelossshowninblueLogisticregressionloss,rescaledbyafactorof1/ln(2)showninred.MisclassificationerrorinblackSquarederroringreen.*5.维数灾难许多在低维空间表现很好的算法，当输入是高维度的时候，就变得计算不可行（intractable）了；在大多数应用中，样例在空间中并非均匀分布，而是集中在一个低维流形（manifold）上面或附近。学习器可以隐式地充分利用这个有效的更低维空间，也可以显式地进行降维。*不相关特征Thefigureontheleftshowstwoclasseswellseparatedontheverticalaxis.Thefigureontherightaddsanirrelevanthorizontalaxiswhichdestroysthegroupingandmakesmanypointsnearestneighborsoftheoppositeclass.*6.特征工程是关键有的机器学习项目成功了而有的则失败了。这是什么原因造成的呢？无疑最重要的因素是所利用的特征。特征设计需要经历多少试验和错误。特征工程往往是领域相关（domain-specific）的当然，机器学习的一个终极目标就是将特征工程过程越来越多地自动化。现在经常采用的一种方式是先自动产生大量的候选特征，然后选择最好的特征。*特征工程-特征相关性*7.更多的数据胜过聪明的算法当构建了最好的特征集，要进一步提高学习器性能有两个选择：（1）设计更好的学习算法（研究人员关注）（2）收集更多的数据（从业人员）有大量数据的笨算法要胜过数据量较少的聪明算法。目前，我们有海量数据，从理论上说，更多数据意味着我们可以学习更复杂的分类器，但在实践中由于复杂分类器需要更多的学习时间。一个解决方案是对复杂分类器提出快速学习算法。首先尝试简单的学习器总是有好处的（例如应该在逻辑斯特回归之前先尝试朴素贝叶斯，在支持向量机之前先尝试近邻）。**