《Python机器学习：原理与实践(第2版)》课件 薛薇 -第8、9章 数据预测建模：人工神经网络、数据预测建模：支持向量机.pptx

第8章数据预测建模：人工神经网络人工神经网络的基本概念感知机网络多层感知机网络B-P反向传播算法人工神经网络的Python应用实践

导言

第8章数据预测建模：人工神经网络人工神经网络（ArtificialNeuralNetwork,ANN）是一种人脑的抽象计算模型，是一种模拟人脑思维的计算机建模方式通过类似于生物神经元的处理单元，以及处理单元之间的有机连接，解决现实世界的模式识别、联想记忆、优化计算等复杂问题

人工神经网络的基本概念

人工神经网络的基本构成人工神经网络由相互连接的神经元，称为节点或处理单元组成人脑神经元的连接和连接强弱，在人工神经网络中体现为节点间的连线，称为连接或边，以及连接权重的大小上根据网络的层数，从拓扑结构上神经网络可分为：两层神经网络、三层及以上的多层神经网络这种方向性连接的网络也称前馈式网络各层的节点之间是全连接的，是一种全连接网络感知机网络多层感知机网络第8章数据预测建模：人工神经网络

?第8章数据预测建模：人工神经网络

感知机网络感知机：一种最基本的前馈式两层神经网络模型，仅由输入层和输出层构成感知机网络中的节点生物神经元会对不同类型和强度的刺激信号呈现出不同的反映状态（State）或激活水平（ActivityLevel）。同理，感知机的节点也会对不同的输入给出不同的输出由加法器和激活函数组成第8章数据预测建模：人工神经网络

????感知机网络第8章数据预测建模：人工神经网络

??感知机网络第8章数据预测建模：人工神经网络

??感知机网络?第8章数据预测建模：人工神经网络

???感知机网络第8章数据预测建模：人工神经网络

?感知机网络?第8章数据预测建模：人工神经网络

感知机节点中的激活函数连续型激活函数双曲正切函数：ReLU(RectifiedlinearUnit，ReLU)激活函数:感知机网络第8章数据预测建模：人工神经网络

感知机节点中的激活函数[0,1]型阶跃函数在分类预测中的作用感知机网络?第8章数据预测建模：人工神经网络

感知机节点中的激活函数Logistic激活函数在分类预测中的作用感知机网络???第8章数据预测建模：人工神经网络

Python模拟和启示：认识激活函数加法器：Chapter8-1.ipynb第8章数据预测建模：人工神经网络

?感知机网络第8章数据预测建模：人工神经网络

感知机的迭代步骤：第一步，计算各节点的加法器和激活函数，给出节点的输出结果，即样本观测的预测值。第二步，计算样本观测的预测值与实际值间的误差，根据误差重新调整各连接权重会反复执行上述两步。需经过多个周期的学习。直到满足迭代终止条件为止迭代结束后将得到一组合理的连接权重和其对应的理想超平面。后续将依据超平面进行预测涉及的问题包括：第一，如何度量误差第二，如何通过迭代逐步调整网络权重如何度量误差：回归预测的损失函数：最优的网络权重：分类预测的损失函数：不适用于阶跃函数的情况，采用以下损失函数???第8章数据预测建模：人工神经网络

??????第8章数据预测建模：人工神经网络

如何通过迭代逐步调整网络权重：梯度下降法机器学习中常用的实现参数优化的方法参数优化的目标：对特定模型M，利用数据D，得到损失函数最小时的最优模型参数wopt通常模型参数w为向量如：回归模型中w为回归系数和截距项；人工神经网络中w为网络权重损失函数的复杂程度取决于：损失函数L的形式；模型结构如：模型是关于参数W的线性函数，损失函数L为平方损失，L是w的二次函数参数优化较简单：单峰（存在唯一最值）求L对w的偏导数，并令偏导g(w)=0；求解方程组(最小二乘法)感知机网络---权重训练?第8章数据预测建模：人工神经网络

参数优化的目标：如果模型形式较为复杂，则L可能不是关于w的简单平滑函数，如：多峰通常求解L(w)最小的参数w等价在高维空间中最小化一个多元复杂函数采用梯度下降法，通过迭代，利用关于L曲率的局部信息，引导在L曲面上进行局部搜索??第8章数据预测建模：人工神经网络

???感知机网络第8章数据预测建模：人工神经网络

第三步骤具体为：对于回归预测中的平方损失函数：有：对分类预测中的损失函数：有：???????感知机网络?第8章数据预测建模：人工神经网络

?第8章数据预测建模：人工神经网络

????感知机网络第8章数据预测建模：人工神经网络

说明：连接权重和偏差权重的初始值是随机的，相同迭代策略下迭代结束时的权重最终值可能是不等的，有些可能是最优解有些可能仅是局部最优解一般可通过迭代的多次重启动方式解决这个问题感知机网络第8章数据预测建模：人工神经网络

?感知机网络第8章数据预测建模：人工神经网络

?感知机网络?第8章数据预测建模：人工神经网络

?多层感知机网络??第8