深度学习鱼书笔记.pdf

深度学习鱼书笔记 What I cannot create, I do not understand.—— Richard Phillips Feynman 本书不使⽤任何现有的深度学习框架，尽可能仅使⽤最基本的数学知识和Python 库，从零讲解深度学习核⼼问题的数学原理，从零创建⼀ 个经典的深度学习⽹络。 ⽂章⽬录 1-python基础 python基础 numpy库的使⽤ matplotlib库的使⽤ 2-朴素感知机（⼈⼯神经元） 感知机是深度学习的起源算法，学习感知机的构造就是学习深度学习的⼀种重要思想。这⼀章讲述的是单层的感知机。 2-1 感知机是什么 感知机接收多个输⼊信号，输出⼀个信号。 输⼊ 权重 输出 阈值 输⼊信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。神经元会计算传送过来的信号的总和当输出超过阈值时，才会输 出信号。这也称为“神经元被激活”。 [外链图⽚转存失败,源站可能有防盗链机制,建议将图⽚保存下来直接上传(img-1xkdMcXq-1582985168073)(en- resource://database/1101:1)] 感知机的多个输⼊信号都有各⾃固有的权重，这些权重发挥着控制各个信号的重要性的作⽤。也就是说，权重越⼤，对应该权重的信号的重 要性就越⾼。 2-2 简单的逻辑电路 与门、与⾮门、或门的感知机构造是⼀样的。实际上，3 个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需 通过适当地调整参数的值，就可以像“变⾊龙演员”表演不同的⾓⾊⼀样，变⾝为与门、与⾮门、或门。 2-3 感知机的实现 简单的代码实现 导⼊权重和偏置 **权重：**不同信号对神经元的影响程度，⽤于控制各个信号的重要程度。 **偏置：**偏置是调整神经元被激活的容易程度（输出信号为1 的程度）的参数。 偏置的值决定了神经元被激活的容易程度。 使⽤权重和偏置的实现 2-4 感知机的局限性 感知机可以实现与门、与⾮门、或门三种逻辑电路。当时感知机不能实现异或门（XOR gete） 异或门⼜被称作逻辑异或电路 线性和⾮线性： [外链图⽚转存失败,源站可能有防盗链机制,建议将图⽚保存下来直接上传(img-SnZtlwxB-1582985168075)(en- resource://database/1103:1)] 2-5 多层感知机 单层感知机不能实现异或门，但是我们可以多层感知机来实现异或门。因此下⼀章我们将学到神经⽹络。 3-神经⽹络 前⾯提到的感知机是朴素感知机，神经⽹络是多层感知机。 朴素感知机： 单层⽹络，指的是激活函数使⽤了阶跃函数的模型。（阶跃函数是指⼀旦输⼊超过阈值，就切换输出的函数。） 多层感知机： 是指神经⽹络，即使⽤sigmoid函数（后述）等平滑的激活函数的多层⽹络。 实际上，上⼀章介绍的感知机和接下来要介绍的神经⽹络的主要区别就在于这个激活函数。其他⽅⾯，⽐如神经元的多层连接的构造、信号 的传递⽅法等，基本上和感知机是⼀样的。 3-1 激活函数 激活函数： 将输⼊信号的总和转换为输出信号。先计算输⼊信号的加权总和，然后⽤激活函数转换这⼀总和。激活函数是连接感知机和神 经⽹络的桥梁。 a = b + w1x1 + w2x2 y = h(a) 其中 函数h就是激活函数 计算加权输⼊信号和偏置的总和，记为a。然后⽤h()函数将a转换为输出y。 [外链图⽚转存失败,源站可能有防盗链机制,建议将图⽚保存下来直接上传(img-ifGtuU3B-1582985168077)(en- resource://database/1105:1)] 表⽰神经元的○中明确显⽰了激活函数的计算过程，即信号的加权总和为节点a，然后节点a被激活函数h() 转换成节点y。 [外链图⽚转存失败,源站可能有防盗链机制,建议将图⽚保存下来直接上传(img-jKMDkHZI-1582985168081)(en- resource://database/1107:1)] 3-2 阶跃函数和sigmoid函数以及Relu函数 阶跃函数： 表⽰的激活函数以阈值为界，⼀旦输⼊超过阈值，就切换输出。 在激活函数的众多候选函数中，感知机使⽤了阶跃函数。如果感知机使⽤其他函数作为激活函数的话会怎么样呢？实际上，如果将激活函数 从阶跃函数换成其他函数，就可以进⼊神经⽹络的世界了。下⾯我们就来介绍⼀下神经⽹络使⽤的激活函数。 3-2-1 sigmoid函数 h(x)=1/(1+e^{-x}) e是纳⽪尔常数2.