李宏毅机器学习笔记.pdf

李宏毅机器学习笔记 截图来 ⾃李宏毅2020机器学习深度学习。 1. 有监督学习supervise learning需要提供⼀些有 ⽬标值的数据给机器去学习。⽤loss来判断函数的好坏，loss越⼩函数越符合我们的 期待。 2. reinforcement learning强化学习，机器 ⾃主进⾏学习。 （Alpha Go是supervise learning + reinforcement learning） 3. unsupervise learning⽆监督学习，给机器提供⼀些⽆ ⽬标值的数据去学习。 4. meta learning：让机器学习如何去学习 ⽂章 ⽬录 ⼀、Regression Regression应⽤ ：股票预测、⽆⼈驾驶、推荐系统。 （⼀）建模过程 步骤 ： （1）构建模型 （函数的集合，即同⼀函数式，但是有不同的权重和偏置） ； （2）收集训练数据 ；有了训练数据然后通过⼀个Loss function （参数为函数，⽤于判断函数的好坏程度，⽽函数⼜是由权重和偏置 来决定的，所以其实也是⽤来判断⼀组参数的好坏程度） Loss function能够 ⾃⼰定义，常使⽤的⼀种定义如下 ：给定⼀个函数，即给定⼀个线性函数的权重和偏置，计算每⼀个训练数据根据 该函数计算出来的y值与实际y值之间的偏差再求和。 （最⼩⼆乘法） （w和b就是权重和偏置，y^就是实际值，n代表第n个值，并不是 n次⽅，cp不⽤管，是题 ⽬⾥的⼀个下标） （3）从函数集合中挑选出最好的⼀个函数，即Loss值最⼩的函数，也即找到使得Loss值最⼩的⼀组权重和偏置。 求解最好的⼀组权重和偏置的⼀种好⽅法是Gra ient Descent，梯度下降，只要Loss函数是可微分的，Gra ient Descent就能够帮助找 到较好的参数。 ⽐如Loss函数是⼀个参数的，可以穷举Loss函数的所有可能的情况，然后取随机值 （取Loss函数上某⼀个点），计算微分 （其实就是计算 导数），根据计算结果⼤⼩即正负决定下⼀个值取在哪 （事先规定⼀个 η决定移动距离的远近），迭代多次，当导数结果为0时，则求得较 好的参数，但可能是局部最优解 （在线性回归中不会出现局部最优解这种情况，不会因为取随机值的不同⽽产⽣结果不同）。 当Loss函数是两个参数时，其实也差不多，仍然取随机的⼀组参数，然后分别计算对每个参数的偏微分 （偏导数），然后再更新着两个参 数，迭代多次找到较好的⼀组参数。 Gra ient其实就是将求得的偏微分排成⼀个列向量。 实际例⼦ ： （4）找出⼀组较好的参数后，也即确定了我们的模型，利⽤测试集来测试模型的效果，然后根据测试的效果再对模型进⾏调整优化，甚⾄ 是重新设计。 （并不⼀定要设计过于复杂的模型，过于复杂的模型可能会导致过拟合现象，在训练集的表现很好，到测试集的表现就拉跨） 因此我们要重新回到第⼀步，根据前⾯得到的模型，重新设置我们的函数集合。 （5）有了新的函数集合后，也要重新设计Loss函数，⽐如在原先的基础上加上⽤于Regularization （正则化）的⼀项⽤于平滑函数 （λ后 期要进⾏调整，平滑函数⼀般都只跟权重w 有关，跟偏置b⽆关，因为偏置b只是让函数上下移动0）。 （⽐较平滑的函数在收到⾮正常输⼊ i 的时候会受到较少的影响，在测试集上的表现可能会更好，但注意不能过于平滑） （⼆）误差来源 我们构建出来的模型与实际存在误差的主要原因来源于偏差bias和⽅差variance。我们⽐较喜欢的模型就是低偏差和低⽅差的模型，偏 差越⼩点距离中⼼就越近，⽅差越⼩数据就越集中。 较简单的模型的⽅差⼀般会⽐较⼩，因为不容易受到样本数据的影响，模型越复杂，⽅差就可能越⼤。 较简单的模型的偏差⼀般会⽐较⼤，⽽较复杂的模型偏差可能会⽐较⼩。较简单的模型包含的结果范围会⽐较⼩，可能并没有把中⼼值 （实 际值）包含进去，⽽较复杂的模型包含的结果范围会⽐较⼤，把中⼼值 （实际值）包含进去的可能性更⼤。 可以看到，偏差随着模型的复杂程度上升⽽下降，⽅差随着模型的复杂程度上升⽽上升，由⽅差过⼤所引起的错误就是过拟合现象，由偏差 过⼤所引起的错误就是⽋拟合现象。 如果你的模型⽆法拟合你的训练集，那么可能你的模型的bias是⼤的，代