等价核或平滑矩阵.PPT

面向回归的线性模型 PRML第三章 线性基函数模型 例子： 线性基函数模型 一般形式： 这里 是基函数，且经常有 ； 如果 ，则对应于最简单的线性回归 多项式基函数 一般形式： 高斯基函数 一般形式 问题：高斯核与多项式核的主要区别是什么？参数s对于模型有何影响？ Sigmoidal核 定义： 这里 问题：你能否建议几种其他可能的基函数？ 最大似然估计和最小平方误差 假设数据生成模型如下： 等价于 由此，基于给定数据X和t的似然函数如下： 最大似然估计和最小平方误差 取log，获得 这里 最大似然估计和最小平方误差 令梯度为0，有 解得 这里 最大似然估计和最小平方误差 问题：矩阵的行数、列数、行秩和列秩有何关系？ 问题： 必然可逆吗？为什么？ 最小平方的几何结构 考虑： S由 张成 wML寻找t在S上的 投影，以最小化y 与t之间的距离 顺序学习 最小均方（LMS）算法：每次考虑一个样本点 问题：如何选择η？ 收敛性问题 最小平方规则化 定义误差函数： 应用sum-of-square误差和二次规则化，得到 对应的解为 更一般的规则化 更一般的规则化项 更一般的规则化 相比于二次规则化，Lasso规则化倾向于生成更稀疏的解 更一般的规则化 作业：说明无约束优化问题 等价于选择合适η的约束优化问题： 目标函数 s.t. 多输出 类似于单输出： 由此，log似然函数为 多输出 最大似然解 对于单个目标变量t，有 这里 ，类似于单输出情形 偏差方差分解 回忆期望平方损失（expected square loss） 等式右边的第二项对应于t的内在噪声；如何理解第一项？ 作业：证明上式。 偏差方差分解 假定我们有多个规模为N的数据集，则其中任何一个数据集D对应一个特定的回归函数y(x;D)，且有 注：对D求期望，则最后一项为0 偏差方差分解 对D求期望，有 偏差方差分解 因此有： 这里： 偏差方差分解 例子：采样于正弦曲线的25个数据集，规则化参数λ采用不同的取值 偏差方差分解 偏差和方差的trade-off 问题：结合上述图示中的过拟合和欠拟合现象。并说明你认为应该如何选择模型。 过规则化模型 vs 欠规则化模型 贝叶斯线性回归 回忆定义线性模型的似然函数 假设β为常数，则w的共轭先验为 问题：为何w的共轭先验是高斯分布？ 贝叶斯线性回归 将共轭先验与似然函数组合在一起，并使用第2章中式（2.113）－（2.117），有 这里 贝叶斯线性回归 一种通常的先验 对于如上的先验，有 作业：验证上式 贝叶斯线性回归 模型： 数据生成：yn=0.5xn-0.3，xn服从U(-1,1)；tn=yn+N(0,0.04) 0数据：先验和6个采样于先验的模型 贝叶斯线性回归 1个数据（似然、后验和6个采样于后验的模型） 贝叶斯线性回归 2个数据点（似然、后验和6个采样于后验的模型 贝叶斯线性回归 20个数据点（似然、后验和6个采样于后验的模型） 贝叶斯线性回归 作业：仿照上页，使用matlab软件，生成20个数据点的似然函数和后验概率图示。 注：可能用到如下函数 rand、randn、pdf、surf... 预测分布 给定新的x，通过对w的积分来预测t 第2个等号利用了式（2.115）的结果，其中 预测分布 例子：正弦数据，9个高斯基函数，一个数据点 预测分布 例子：正弦数据，9个高斯基函数，两个数据点 预测分布 例子：正弦数据，9个高斯基函数，四个数据点 预测分布 例子：正弦数据，9个高斯基函数，25个数据点 等价核 将后验权值的均值式（3.53）代入预测式（3.3），则预测均值可写为： 注：上式可以解释为训练目标值的权重和 等价核 tn的权重依赖于xn与x的距离，距离小则权重大 等价核 非局域基函数有局域的等价核 等价核 等价核作为协方差函数： 作业：证明上式中第2个等号（注：w是随机向量） 可以不使用基函数，直接定义核函数来实现回归（或分类），即高斯过程（第6章） 等价核 对于所有的xn，有 注1：上式可相当直觉地证明 注2：等价核可能为负 等价核 等价核可写为内积的形式 这里 作业：证明上式 贝叶斯模型比较 如何选择正确的模型？ 假定基于数