神经网络与深度学习-3小时---复旦大学.pptx

神经网络与深度学习;大纲;从人工智能开始;如何开发一个人工智能系统？;What’s the Rule;如何开发一个人工智能系统？;A Big Picture;机器学习概述;机器学习 ≈ 构建一个映射函数;芒果机器学习;芒果机器学习;机器学习概览;机器学习的三要素;常见的机器学习类型;参数学习;优化：梯度下降法;随机梯度下降法;机器学习 = 优化？;泛化错误;PAC学习 Probably ;样本复杂度;如何减少泛化错误？;正则化（regularizat;如何选择一个合适的模型？;模型选择：偏差与方差;集成模型：有效的降低方差的方法;线性模型;线性模型;应用：图像分类;应用：文本分类;感知器;两类感知器算法;感知器参数学习的更新过程;直接建模条件概率p_θ (y|;交叉熵损失;Logistic回归;扩展到多类;Softmax回归;几种不同的线性模型对比;不同损失函数的对比;如何处理非线性可分问题？;特征工程问题;深度学习;深度学习的数学描述;如果解决贡献度分配问题？;深度学习;为什么现在才显式威力？;神经网络;生物神经元;人工神经元;人工神经网络;人工神经网络;前馈神经网络;网络结构;通用近似定理;应用到机器学习;计算图与自动微分;TensorFlow中的计算图;常用的深度学习框架;深度学习的三个步骤;Getting started;实现非常简单！;优化问题;激活函数;卷积神经网络;卷积神经网络;卷积;一维卷积;两维卷积;二维卷积;卷积作为特征提取器;用卷积来代替全连接;引入多组滤波器;卷积层;汇聚层;表示学习;卷积网络结构;转置卷积/微步卷积;空洞卷积;典型的卷积网络;Large Scale Vis;AlexNet;Inception网络;Inception v1的模块;ResNet;一个简单的残差单元结构;文本序列的卷积模型;卷积的应用;AlphaGo;Mask RCNN;图像生成;Deep Dream;画风迁移;对抗样本;循环神经网络;前馈网络的一些不足;循环神经网络;循环神经网络;简单循环网络;长期依赖问题;长期依赖问题;长短时记忆神经网络：LSTM;堆叠循环神经网络;双向循环神经网络;循环神经网络的扩展;递归神经网络 Recursiv;递归神经网络;图网络;图网络;循环网络应用;序列到类别;同步的序列到序列模式;异步的序列到序列模式;看图说话;看图说话;生成LINUX内核代码;作诗;写字;优化与正则化;神经网络的参数学习;随机梯度下降;如何改进？;优化;超参数???化;重新思考泛化性;正则化（regularizat;正则化;Dropout;经验;注意力与记忆机制;通用近似定理;大脑中的注意力;注意力示例;如何实现？;注意力分布;注意力的变种;如何增加网络容量？;外部记忆;记忆网络的结构;端到端记忆网络;神经图灵机;不严格的类比;无监督学习;无监督学习;自编码器;概率图模型;概率图模型;概率图模型;贝叶斯网络;局部马尔可夫性质;常见的有向图模型;马尔可夫随机场;马尔可夫网络;常见的无向图模型;模型对比;推断（inference）;推断方法;参数学习;EM算法;EM算法;高斯混合模型;高斯混合模型的参数学习;概率图模型;玻尔兹曼机;玻尔兹曼机（Boltzmann;玻尔兹曼机的推断;玻尔兹曼机的参数学习;玻尔兹曼机的参数学习;受限玻尔兹曼机（Restric;深度信念网络;深度信念网络（Deep Bel;训练深度信念网络-逐层训练;深度生成模型;深度生成模型;生成模型;变分自编码器;EM算法回顾;变分自编码器(VAE);变分自编码器;模型汇总;再参数化;变分自编码器的训练过程;变分自编码器学习到的隐变量流形;生成对抗网络;显式密度模型和隐式密度模型;生成对抗网络;MinMax Game;MinMax Game;一个具体的模型：DCGANs;训练过程;例子;不稳定性;模型坍塌;Earth Mover’s D;Kantorovich-Rub;Wasserstein GAN;梯度问题;PowerPoint 演示文稿;深度强化学习;强化学习;马尔可夫决策过程;策略π(a|s);总回报;强化学习目标函数;深度强化学习;不同强化学习算法之间的关系;汇总;汇总;推荐课程;推荐材料;PowerPoint 演示文稿