机器学习相关理论与技术.pdfVIP

机器学习相关理论与技术

机器学习理论

神经网络和深度学习是近几年计算机科学和技术行业中的热点研究方向，目前它

们为信号处理、大数据分析等许多问题提供了很好的解决方案。

神经元及其数学模型

在神经科学中，通常认为神经元(Nerual)是大脑的基本计算单位。在人的神经系

统中，大约可以发现八百六十亿个神经元，它们与大约到个突触是互相连接的。

图（2.1）和图（2.2）分别展示了生物系统中神经元的示意图和神经元的数学模

型示意图。

神经元连接示意图和神经元数学模型示意图

在深度学习方法的神经网络概念中，基本的计算单位是神经元，也称之为节点或

单位。其从其他一些节点或外部源接收一组输入，并计算相应的输出。每个输入

都有一套权重（通常用W表示），权重是根据其相对于其他输入的相对重要性来

分配的。权重(Weight)是可学习的，并且可以控制它的影响强度和方向：一个神

经元对另一个神经元的兴奋性（正重）或抑制性（负重）。在基本模型中，树突

将信号传递到细胞体，然后对它们全部进行求和操作。如果最终总和超过某个阈

值，则神经元可以激活，沿其轴突发送尖峰。在计算模型中，我们假设尖峰的精

确定时无关紧要，并且仅触发频率传达信息。在计算机程序中，我们会使用激活

函数来模拟神经元的放电率，该函数表示沿轴突的尖峰频率。

神经网络的组成

神经网络是由神经元组成的，从生物学上讲，神经元是通过信息流通过的突触连

接的（计算模型的权重），当我们训练神经网络时，我们希望神经元在学习到特

定的信息时就触发从数据中找出模式，然后使用激活函数对发射率进行建模。

基本的神经网络构成包括以下几个部分：

（1）输入层

在此层中没有进行任何计算，输入层只是将信息传递到下一层（大多数情况下是

隐藏层）。

（2）隐藏层

在进行中间处理或计算的隐藏层中，它们执行计算，然后将权重（信号或信息）

从输入层传输到下一层（另一个隐藏层或输出层）。可能有一个没有隐藏层的神

经网络。

（3）输出层

输出层为神经网络的最终输出。

（4）连接和权重

网络由连接组成，每个连接将神经元i的输出传递到神经元j的输入。从这个意

义上说，i是j的前继者，j是i的后继者。每个连接都分配有权重Wij。

（5）激活函数

给定一个输入或一组输入，节点的激活函数定义该节点的输出。可以将标准计算

机芯片电路视为带有激活功能的数字网络，根据输入的不同，激活功能可以是

“ON”（1）或“OFF”（0）。这类似于线性感知器在神经网络中的行为，在

人工神经网络中，此函数也被称为传递函数。

神经网络的类型

神经网络有很多类，这些类也有子类，本文在此介绍最常用的神经网络形式。

前馈神经网络

前馈神经网络是一种单元之间的连接不形成循环的人工神经网络。在此网络中，

信息仅在一个方向上移动，即从输入节点向前经过隐藏节点（如果有）并到达输

出节点。网络中没有周期或循环。

（1）单层感知机（Single-layerPerceptron）

这是最简单的前馈神经网络，不包含任何隐藏层，这意味着它仅由单层输出节点

组成。之所以说这是单一的，是因为当我们对层进行计数时，我们不包括输入层，

原因是因为在输入层没有进行任何计算，输入是通过一系列权重直接馈送到输出

的。

（2）多层感知机（Multi-layerperceptron，MLP）

此类网络由多层计算单元组成，通常以前馈方式互连。一层中的每个神经元都直

接连接到下一层的神经元。在许多应用中，这些网络的单元将S形函数用作激活

函数。MLP非常有用，一个很好的理由是，它们能够学习非线性表示（在大多数

情况下，提供给我们的数据不是线性可分离的）。

卷积神经网络（ConvolutionalNeuralNetwork，CNN）

卷积神经网络与普通神经网络非常相似，它们由具有可学习的权重和偏见的神经

元组成。在卷积神经网络（CNN或ConvNet或位移不变或空间不变）中，单位连

通性模式受视觉皮层组织的启发，单位在有限的空间区域（称为感受野）中对刺

激做出反应。感受野部分重叠，覆盖了整个视野。单位响应可以通过卷积运算在

数学上近似。它们是使用最少预处理的多层感知器的变体。它们的广泛应用表现

在图像和视频识别、推荐系统和自然语言处理。同时CNN需要大量数据进行训练。

循环神经网络（Recurrentneuralnetwork，RNN）

在递归神经网络（RNN）中，单元之间的连接形成有向循环（它们将数据从较晚

的处理阶