神经网络基础概念和术语.docxVIP

神经网络基础概念和术语 神经网络基础概念和术语 神经网络基础概念和术语 1. 神经网络基础（Basics of Neural Networks） 1）神经元（Neuron ）——在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。 2）权重（Weights ）——当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入将具有分配给它的一个关联权重。我们随机初始化权重，并在模型训练过程中更新这些权重。为零的权重则表示特定的特征是微不足道的。假设输入为a ，且与其相关联的权重为W1，那么在通过节点后，输入变为a * W1。 3）偏差（Bias ）——除了权重之外，另一个被应用于输入的线性分量被称为偏差。它被加到权重与输入相乘的结果中。添加偏差的目的是改变权重与输入相乘所得结果的范围的。添加偏差后，结果将看起来像a* W1 +偏差。这是输入变换的最终线性分量。 4）激活函数（Activation Function）——将线性分量应用于输入，会需要应用一个非线性函数。这通过将激活函数应用于线性组合完成。激活函数将输入信号转换为输出信号。应用激活函数后的输出看起来像f （a * W1 + b ），其中f （）就是激活函数。U =ΣW* X+ b 激活函数被应用于u ，即 f(u)，从神经元接收最终输出，如yk = f （u ）。 常用激活函数（Common Activation Functions） a ） Sigmoid ——最常用的激活函数之一是Sigmoid ，它被定义为： Sigmoid 变换产生一个值为0到1之间更平滑的范围。我们可能 需要观察在输入值略有变化时输出值中发生的变化。光滑的曲线 使我们能够做到这一点，因此优于阶跃函数。 b ） ReLU （整流线性单位）——最近的网络更喜欢使用ReLu 激活函数来处理隐藏层。该函数定义为：f(x)=max(x,0) 当X0时，函数的输出值为X ；当X 用ReLU 函数最主要的好处是对于大于0的所有输入来说，它都 有一个不变的导数值。常数导数值有助于网络训练进行得更快。 c ） Softmax ——Softmax 激活函数通常用于输出层，用于分类问题。 它与sigmoid 函数很类似，唯一的区别就是输出被归一化为总和为1。Sigmoid 函数将发挥作用以防我们有一个二进制输出，但是如果我们有一个多类分类问题，softmax 函数使为每个类分配值这种操作变得相当简单。 假设你正在尝试识别一个可能看起来像8的6。该函数将为每 个数字分配值如下。我们可以很容易地看出，最高概率被分配 给6，而下一个最高概率分配给8，依此类推?? 5）神经网络（Neural Network ）——神经网络构由相互联系的神经元形成。这些神经元有权重和在网络训练期间根据错误进行更新的偏差。激活函数将非线性变换置于线性组合，而这个线性组合稍后会生成输出。激活的神经元的组合会给出输出值。 6）输入/输出/隐藏层（Input / Output / Hidden Layer）——输入层是接收输入那一层，本质上是网络的第一层。而输出层是生成输出的那一层，也可以说是网络的最终层。处理层是网络中的隐藏层。这些隐藏层是对传入数据执行特定任务并将其生成的输出传递到下一层的那些层。输入和输出层是我们可见的，而中间层则是隐藏的。 7）MLP （多层感知器）——在最简单的网络中，我们将有一个输入层、一个隐藏层和一个输出层。每个层都有多个神经元，并且每个层中的所有神经元都连接到下一层的所有神经元。这些网络也可以被称为完全连接的网络。 8）正向传播（Forward Propagation）——正向传播是指输入通过隐藏层到输出层的运动。在正向传播中，信息沿着一个单一方向前进。输入层将输入提供给隐藏层，然后生成输出。这过程中是没有反向运动的。 12）反向传播（Backpropagation ）——使用成本函数的梯度的权重的更新被称为反向传播。当定义神经网络时，我们为节点分配随机权重和偏差值。一旦收到单次迭代的输出，我们就可以计算出网络的错误。然后将该错误与成本函数的梯度一起从外层通过隐藏层流回，以更新网络的权重。 最后更新这些权重，以便减少后续迭代中的错误。 9）成本函数（Cost Function ）——当建立一个网络时，网络试图将输出预测得尽可能靠近实际值。我们使用成本/损失函数来衡量网络的准确性。提高我们的预测精度并减少误差，从而最大限度地降低成