机器学习 -深度学习.pdfVIP

机器学习- 深度学习 本章学习目标 n 了解人脑神经元的结构及特点，熟悉人工神经元模型。 n 掌握感知机的基本原理，熟悉前馈神经网络的特征以及反向传播的思想。 n 熟悉Sigmoid、Tanh、ReLU、LReLU等激活函数的特点及应用。 n 熟悉卷积神经网络的基本结构以及局部连接和权重共享等特点，掌握卷积、 池化操作。 n 了解LSTM 中的输入门、遗忘门和输出门的工作机制和作用。 n 了解生成式对抗网络的基本原理，熟悉生成器和判别器的作用。 n 了解原始GAN 的优缺点以及各种衍生模型的特点及应用。 第13章 深度学习 机器学习 n 机器学习 （Machine Learning）是一 门专门研 究计算机怎样模拟或实现人类的学习行为， 以获取新的知识或技能，重新组织已有的知 识结构 不断改善 自身的性能的学科 ，简单地 说 ，机器学习就是通过算法，使得机器能从 大量的历史数据 中学习规律 ，从而对新的样 本做智能识别或预测未来。 n 机器学习在 图像识别、语音识别、 自然语言 理解、天气预测、基 因表达、 内容推荐等很 多方面的发展还存在着没有 良好解决的问题。 特征的自学习 传统的模 式识别方法： 通过传感器获取数据 ，然后经过预处理、特征提取、特征选 择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确 定性 齐 了非常关键 的 作 用。而特征 的样 式 目前一般都是靠人工提取特征 。而手工 选取特征 费时费力，需要专业知识 ，很 大程度上靠经验和运 气，那 么机器能不能 自动的学习特征呢？深度学习的出现就 这个 问题提 出了一种解决方案。 深度学习 n 自2006年 ，深度学习 （Deep Learning） 已经成为机器学习研 究中的一个新兴领域 ，通常也被叫做深层结构学习或分层 学习。其动机在 于建立、模拟人脑进行分析学习的神经网 络 ，它模拟人脑的机制来解释数据 ，例如 图像 ，声音和文 本，深度学习是监督学习的一种。 n 深度学习的概念源于人工神经网络的研 究，含 多隐层的多 层感知 器就是一种深度学习结构 。深度学习通过组合低层 特征形成更加抽 象的高层表示属性类别或特征 ，以发现数 据 的分布 式特征表示。 人脑的视觉机理 1981年的诺 贝尔医学奖获得者 David Hubel和Torsten Wiesel发 现 了视 觉系统的信 息处理机制 ，他们发现了一种被称为 “方 向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边 缘，而且这个边缘指向某个方向时，这种神经元细胞就会活 跃。 由此可知人的视 觉系统的信 息处理是分级的，高层的 特征是低层特征 的组合，从低层到高层的特征表示越来越抽 象，越来越能表现语 义或者意图，抽 象层面越 高，存在 的可 能猜测就越 少，就越利于分类。 浅层学习与深度学习 n 传统机器学习和信号处理技术探索仅含单层非线性 变换的 浅层学习结构 。浅层模型的一个共性是仅含单个将原始输 入信号转换到特定问题 空间特征 的简单结构 。典型的浅层 学习结构 包括传统隐马尔科夫模型(HMM) 、条件随机场 (CRFs) 、最大熵模型(Max Ent) 、支持 向量机(SVM) 、核 回归 及仅含单隐层的多层感知 器(MLP) 等。 n 浅层结构 的局 限性在 于有限的样本和计算单元情况下对复 杂的函数表示能力有限，针对复杂分类问题其泛化能力受 到一定的制约。 n 受到大脑结构分层的启发 ，神经网络的研 究发现 多隐层的人工神经网络具有优异的特征 学习能力， 学习得到的特征对数据有更本质 的刻画，从而有 利于可视化或分类；而深度神经网络在训练上的 难度 ，可以通过 “逐层初始化”来有效克服。 n 深度学习可以通过学习一种深层非线性 网络结构 ， 实现复杂函数逼近 ，表征输入数据分布 式表示， 并展现 了强大的从少数样本中集中学习数据及本 质特征 的能力。 n 深度学习的实质 n 通过构建具有很 多隐层的机器学习模型和海量的训练数据 ，来学 习更有用的特征 ，从而最终提升分类或预测的准确性。因此， “深度模型”是手段 ， “特征 学习”是