《机器学习项目案例开发》课件 15.支持向量机.pptx

人工智能技术与应用

6.支持向量机;;线性可分支持向量机;支持向量机(SupportVectorMachine)：

求解决策边界：选出来离雷区最远的（雷区就是边界上的点，要LargeMargin）;线性可分支持向量机：

;距离的计算：

目的：

让机器学习效果;数据标签定义：

数据集：(X1,Y1)(X2,Y2)…(Xn,Yn)

Y为样本的类别：当X为正例时候Y=+1当X为负例时候Y=-1

决策方程：;优化目标：（实际问题转为数学问题，优化化简）

通俗解释：找到一个条线（w和b），使得离该线最近的点（雷区）能够最远

将点到直线的距离化简得：

（由于所以将绝对值展开原始依旧成立）

;目标函数：（实际问题转为数学问题，优化化简）

放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值|Y|=1：

优化目标：min求最近的点，在找什么样的w和b使得距离最大

由于，只需要考虑

;目标函数：（实际问题转为数学问题，优化化简）

当前目标：

约束条件：

将求解极大值问题转换成极小值问题

如何求解：应用拉格朗日乘子法求解

;线性支持向量机：（soft-margin）

软间隔：有时候数据中有一些噪音点，如果考虑它们咱们的线就不太好了：

之前的方法要求要把两类点完全分得开，这个要求有点过于严格了，我们来放松一点！

为了解决该问题，引入松弛因子;线性支持向量机：（soft-margin）

当数据线性不可分，则增加松弛因子，使得函数间隔加上松弛变量大于等于1，这样，约束条件变成

目标函数

当C趋近于很大时：意味着分类严格不能有错误

当C趋近于很小时：意味着可以有更大的错误容忍

C是我们需要指定的一个参数！;损失函数

;非线性支持向量机：核函数

;非线性支持向量机：核函数

;非线性支持向量机：

高斯核函数

;非线性支持向量机：

LR与SVM的异同

;敬请指导！