回归及工程应用经验.pdf

线性回归与逻辑回归 七月算法 寒老师 2016 年5月7日 主要内容 n  线性回归 1.定义与问题引入 2.损失函数 3.梯度下降 4.过拟合与正则化 n  逻辑回归 1.定义与问题引入 2.损失函数 3.梯度下降与正则化及示例 n  工程应用经验 1.优缺点和应用场景 2.样本处理 3.特征处理 4.算法调优 七⽉算法机器学习 线性回归 o  何为线性回归 n  有监督学习 = 学习样本为 n  输出/预测的结果y 为连续值变量 i n  需要学习映射 n  假定输入x和输出y之间有线性相关关系 o   测试/预测阶段 n  对于给定的x，预测其输出 七⽉算法机器学习 线性回归 o  思考一个简单的例子 o  你让一个六年级的孩子在不问同学具体体重 多少的情况 下，把班上的同学按照体重从轻到重排队。这个孩子会 怎么做呢？ o  他有可能会通过观察大家的身高和体格来排队。 七⽉算法机器学习 线性回归 面积 价格 (x ，平方英尺) (y ，千美元) 2104 460 1416 232 1534 315 852 178 … … 七⽉算法机器学习 线性回归 七⽉算法机器学习 七⽉算法机器学习 线性回归 七⽉算法机器学习 线性回归 七⽉算法机器学习 线性回归 o  损失函数（loss function） o  我们要找到最好的权重/参数[ ]= o  怎么去衡量“最好”？ o  我们把x到y的映射函数f记作 的函数 o  定义损失函数为： 3 2 1 0 七⽉算法机器学习 0 1 2 3 线性回归