神经网络算法专家讲座.pptxVIP

算法发展历史1943年，心理学家McCulloch和数学家Pitts参考了生物神经元结构，发表了抽象神经元模型MP.1949年，心理学家Hebb提出了Hebb学习率，认为人脑神经细胞突触（也就是连接）上强度上能够改变。1958年，计算科学家Rosenblatt提出了由两层神经元组成神经网络。1969年，Minsky出版了一本叫《Perceptron》书，里面用详细数学证实了感知器弱点，尤其是感知器对XOR（异或）这么简单分类任务都无法处理。1986年，Rumelhar和Hinton等人提出了反向传输（Backpropagation，BP）算法，处理了两层神经网络所需要复杂计算量问题。年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度信念网络”概念。神经网络算法专家讲座第1页

MP模型 权重是已知，不能进行学习，只能处理简单线性问题。神经网络算法专家讲座第2页

两层神经元网络两层神经元网络，又称感受器，起初得到热捧。神经网络算法专家讲座第3页

感知器作用和缺点 感受器能够方便地处理线性问题，不过无法有效处理与或非问题神经网络算法专家讲座第4页

BP神经网络 即使增加层数能够处理与或非问题，不过计算量是一个巨大问题。向后计算法（BP）出现，处理了计算量问题，使神经网络算法得到了推广。神经网络算法专家讲座第5页

BP模型对数据处理结果 不过BP模型计算时间太长受到了诟病，很快被支持向量机取代。神经网络算法专家讲座第6页

多层神经网络 首先，经过预训练，得到靠近最优解权重，这么能够节约计算时间。 再者，多层网络学习能够比普通网络容纳更多参数，结果能够更准确。神经网络算法专家讲座第7页

神经网络BP模型算法原理信号处理激活函数数据训练——向后传递法神经网络算法专家讲座第8页

信号处理归一化处理1.最大-最小标准化2.Z-score标准化 通常是为了把数据限制在[0，1]范围内，而且也是为了减小奇异数据对整体影响。神经网络算法专家讲座第9页

激活函数 激活函数就是人工神经元处理输入信息并信息传递机制。选择使用非线性函数，能够更适用特定学习任务。神经网络算法专家讲座第10页

数据训练 向后算法——经过输出信号与真实值差异，修改权重来减小误差。其中利用梯度下降法，是利用每一个神经元激活函数来确定输入方向上权重，以找到适当权重该变量。神经网络算法专家讲座第11页

实例讲解——基于论文“anextensibleneuralnetworkpotentialwithDFTaccuracyatforcefieldcomputationalcost”原理对水分子分析神经网络算法专家讲座第12页

数据处理 输入数据是不一样状态下分子中各原子坐标，以此得到表示不一样原子环境向量Gi。f函数是一类终止函数，减小半径过大异常数据对结果而影响，以及舍去半径超出Rc，默认不成共价键数据。神经网络算法专家讲座第13页

激活函数 半径对称函数，其中η是改变高斯分布宽度参数，Rs是分布位移参数。角度对称函数，ζ是改变高度参数，θs是角度位移参数。神经网络算法专家讲座第14页

Model神经网络算法专家讲座第15页

神经网络算法训练之后得到数据与计算化学中算法（DFT，泛函理论）之间拟合程度。神经网络算法专家讲座第16页

意义 能够看出神经网络算法在计算化学中有着主要前景，它有效地填补如今DFT（泛函理论），SE（半经验算法）不足。另外，已经有化学家想经过深度学习来扩大计算机算法在化学中应用，比如有研究人员多层神经网络实现对有机全合成预测。未来，神经网络会在化学领域有更大应用。我们这次工作努力是为了探究神经网络算法，复现论文中算法在水分子能量计算应用。只是可惜受限于水平，无法复制论文中用蒙特卡洛法改变分子模型得到随机数据程序，只能用50组数据象征性地训练一下。神经网络算法专家讲座第17页

Reference:1.数据归一化处理——/acdreamers/article/details经网络与深度学习之激活函数anextensibleneuralnetworkpotentialwithDFTaccuracyatforcefieldcomputationalcost——ChemicalScience,,8(4):3192-3203.神经网络浅讲：从神经元到深度学习神经网络-梯度下降神经网络算法专家讲座第18页