金准数据 神经网络及深度学习研究报告.docx

金准数据 第PAGE28页 金准数据 神经网络与深度学习研究报告  编制机构：金准数据 发稿时间：2017-9-29 在人工智能深层神经网络一系列惊人的学习中，从识别系统和推理逻辑图像中，随着任务和网络架构变得越来越复杂，神经网络在越来越多的现实世界应用中的使用，了解其原理就越来越重要。 实际上，深度学习（Deep Learning）就是现代人工智能的核心技术。谷歌、微软与百度是现代人工智能领域的“三巨头”。它们拥有海量数据以及DNN技术，比如：2012年11月，微软（中国）在天津的一次会议上公开演示了一个全自动的“同声传译”系统，讲演者用英文演讲，后台的计算机一气呵成，完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。微软使用的就是深度神经网络技术。 金准数据将通过两篇连载报告带您了解神经网络和深度学习的关系。 一、感知器与神经元 1、感知器(Perceptrons) 感知器工作原理：接收一系列二进制输入，经过特定的规则计算之后，输出一个简单的二进制。 计算规则：通过引入权重(weights)表示每个输入对于输出的重要性，则有 ?记w?x=∑jwjxj，b=-threshold，则有 ?其w是权重，b是偏差。 2、 Sigmoid神经元(Sigmoid Neurons) 为了使学习变得可能，需要具备的【学习特征】：权重或偏差有较小的变化，导致输出也有较小的变化。如下图所示： 感知器网络存在的缺陷是：某个感知器较小的权重或偏差变化，可能导致输出在0与1之间进行翻转。所以包含感知器的网络不具备【学习特征】。 ???幸运的是：Sigmoid神经元具有此【学习特征】，即其较小的权重或偏差变化，导致其输出变化较小。 Sigmoid函数： Sigmoid神经元输出： ?感知器与sigmoid神经元的差别： · 感知器只输出0或1 · sigmoid神经元不只输出0或1，而可输出[0,1]之间的任意值 二、神经网络架构 1、 手写数字识别 训练图像大小为28x28，每个训练图像有一个手写数字。 在输出层，如果第一个神经元被激活(即其输出接近1)，则此网络认为此手写数字为0；如果第二个神经元被激活(即其输出接近1)，则此网络认为此手写数字???1；其它以此类推。 2、算法描述 设x表示训练图像，则x是一个28x28=784维列向量。 表示输入图片x是数字6 ??。 ????需要寻找一个算法来发现w和b，使其输出接近标签值，为了量化接近程序，定义如下成本函数： 此成本函数中，w和b为变量 注：hidden layers和output layer中的每个神经元对应一个组w、b。 （1）学习目标 如何找到满足要求的w和b：答案是梯度下降法(Gradient Descent)： · 最小化二次成本函数 · 检测分类的准确性 ?学习目标：在训练神经网络中，找到使二次成本最小的w和b的集合。 （2） 梯度下降更新规则 此规则用于在神经网络中学习参数w和b （3）算法推导（梯度下降法： gradient descent） 要求极小值，先讨论具有2个变量的简单情况，然后再推广： ?为梯度向量，则有： 总之，梯度下降法是：重复计算梯度，然后向相反的方向移动（即下坡最快最陡的方向），如下图所示： 上面讨论了只有两个变量的情况，现在推广到m个变量的情况，对应公式如下： （4） 随机梯度下降法(Stochastic Gradient Descent) 为不减少计算量，把n个学习样本分成很多组，每组有m个学习样本，每次只计算一个组，则有如下推导： 则w和b的更新规则为： 注：如果m=1，则为在线学习。 （5） w和b的数量 对于hidden layers和输出层的神经元，每个神经元对应一个w向量和一个b，w向量的维数是其输入神经元的数量。第一层神经元没有w和b，其值直接输出。 第一层就表示原始图像数据，这些数据不经任何处理，直接作为Xj参与第二层的运算，第二层首先基于每个Xj，计算其z(z=wx+b)，然后计算出sigmoid(z)，以此类推。直到最后一层，利用BP算法，先计算最后一层w和b的梯度，然后以此向前，直到计算出第二层的梯度为止。 三、BP算法(反向传播算法) BP(Backpropagation Algorithm) ：是一个计算成本函数梯度的算法。 需要基于每个训练样本计算每一层的w和b的梯度，从而更新每一层的w和b。 BP的真正目标：是计算每个样本的偏导数： （1） 定义标记符号 则有激活值的如下公式： 函数向量化有如下形式： 即函数对向量的每个元素分别计算，然后生成对应的向量。 则上面的函数向量表示为： 2、?公式推导过程 （1） 计算激活值 （2）最后一层(L层)的二次成本函数 （3