R语言数据分析与挖掘-神经网络与支持向量机.pptxVIP

理解神经网络01102神经网络的R语言实现010103理解支持向量机0104支持向量机的R语言实现 理解神经网络201 PAGE3理解神经网络3人工神经网络对一组输入信号和一组输出信号之间的关系建模，使用的模型来源于人类大脑对来自感觉输入的刺激是如何反应的理解。就像大脑使用一个称为神经元(neuron)的相互连接的细胞网络来创建一个巨大的并行处理器一样，人工神经网络使用人工神经元或者节点（node）的网络来解决学习问题。从广义上讲，人工神经网络可应用于分类、数值预测，甚至是无监督的模式识别。人工神经网络最好应用于下列问题：输入数据和输出数据都很好理解或者至少相对简单，但其涉及输入到输出的过程是及其复杂的。作为一种黑箱方法，对于这些类型的黑箱问题，它们运行得很好。虽然有很多种不同的神经网络，但是每一种都可以由下面的特征来定义： （1）激活函数（activation function）：将神经元的净输入信号转换成单一的输出信号，以便进一步在网路中传播。 （2）网络拓扑（network topology）（或结构）：描述了模型中神经元的数量以及层数和它们连接的方式。 （3）训练算法（training algorithm）：指定如何设置连接权重，以便抑制或者增加神经元在输入信号中的比重。 PAGE4激活函数4激活函数是人工神经元处理信息并将信息传递到整个网络的机制。激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效对实际环境中非线性分布的数据建模。加入（非线性）激活函数之后，神经网络才具备了分层的非线性映射学习能力。因此，激活函数是深度神经网络中不可或缺的部分。常用激活函数有Identity（恒等函数）、Binary step（单位跳跃函数）、Sigmoid（“S”形函数）、TanH（双曲正切函数）、ReLU（整流线性单元函数）等。接下来，我们详细了解下Sigmoid、TanH和ReLU激活函数的基本原理。 PAGE5网络结构5神经网络的学习能力来源于它的拓扑结构（topology），或者相互连接的神经元的模式与结构。虽然有无数的网络结构形式，但是它们可以通过3个关键特征来区分： （1）层的数目。 （2）网络中的信息是否允许向后传播。 （3）网络中每一层内的节点数。拓扑结构决定了可以通过网络进行学习任务的复杂性。一般来说，更大、更复杂的网络能够识别更复杂的决策边界。然而，神经网络的效能不仅是一个网络规模的函数，也取决于其构成元素的组织方式。在一个神经网络中通常会分成这样几层：输入层（input layer）、隐藏层（hidden layer）和输出层（output layer）。 神经网络的R语言实现602 PAGE7神经网络的R语言实现7目前使用R语言构建神经网络主要包括nnet、neuralnet、AMOTE及RSNNS扩展包，这些扩展包均可以通过install.packages()命令进行在线安装。其中nnet提供了最常见的前馈反向传播神经网络算法；neuralnet提供了弹性反向传播算法和更多的激活函数形式；AMOTE则更进一步提供了更为丰富的控制参数，并可以增加多个隐藏层。前面三个扩展包主要基于BP神经网络，并未涉及到神经网络中的其他拓扑结构和网络模型。而RSNNS扩展包则提供了更多的神经网络模型。 PAGE8nnet扩展包8nnet扩展包的nnet()函数实现了单隐藏层的前馈神经网络和多项对数线性模型。nnet()函数基本表达形式为： nnet(x, y, weights, size, Wts, mask, linout = FALSE, entropy = FALSE, softmax = FALSE, censored = FALSE, skip = FALSE, rang = 0.7, decay = 0, maxit = 100, Hess = FALSE, trace = TRUE, MaxNWts = 1000, abstol = 1.0e-4, reltol = 1.0e-8, ...)参数参数说明size隐藏层中的神经元数，设置为0时，表示没有隐藏层Wts初始系数，如果不设定，则使用随机数设定linout如果等于TRUE，则模型的输出为连续实数，一般用于回归分析（目标变量为连续型）；如果等于FALSE（默认取值），则模型输出为逻辑数据，一般用于分类分析（目标变量为离散型）。entropy损失函数是否采用交叉熵，FALSE（默认）表示损失函数采用误差平方和的形式rang初始