吴恩达人工智能学习笔记.pdfVIP

吴恩达⼈⼯智能学习笔记

第⼀部分

第三周浅层神经⽹络

3.6激活函数

1.默认⽤ReLU，学习速度更快。

2.⼀般⽤tanh代替sigmoid。

3.⼆分类时，输出端为(0,1)，可以⽤sigmoid。

4.ReLU缺点是负数梯度为0，在实践中⽆影响，因为有⾜够多z0的节点，保证ReLU的梯度存在。

5.可⽤leakyReLU修正。

3.7为什么需要⾮线性的激活函数

1.这样输出就是输⼊的线性组合。

2.回归问题的输出层，可以⽤线性激活函数。若⾮负，也可以⽤ReLU代替。

3.和压缩有关的⼀些⾮常特殊的情况，会在隐藏层⽤输出函数。

3.8激活函数的导数

˙

(

1.sigmoid函数的导数是σ(z)1−σ(z))。

2

2.tanh函数的导数是1−tanh(z)。

3.对于sigmoid和tanh函数，当z⾮常⼤时，导数趋于零。

4.ReLU函数的导数是(0ifz0)(1ifz0)

5.LeakyReLU函数的导数是(0.01ifz0)(1ifz0)

3.9神经⽹络中的梯度下降法

1.没太看懂

2.⽤np.sum(dz,axis=1,keepdim=True),keepdim防⽌将维度降⾄奇怪的(n,)⽤np.sum(dz,axis=1,keepdim=True),keepdim防⽌将

维度降⾄奇怪的(n,)

3.

3.10直观理解反向传播

1.从误差函数开始，求每个参数对误差函数的导数。

2.没有学完

3.11随机初始化

1.如果将所有参数w初始为0，反向传播将失效。

2.因为同层的隐藏单元做同样的事情。

3.w_1=np.random.randn((2,2))*0.01

4.b_1=np.zeros((2,1))

5.通常把权重矩阵w初始化成⼀个⾮常⼩的数，因为当⽤sigmoid激活函数时，可以获得较⼤梯度值。

6.如果⽹络中没有sigmoid激活函数，则可以⽤较⼤数初始化w。

7.当神经⽹络很深的时候，会选⽤0.01之外的常数。

第四周深层神经⽹络

4.1深层神经⽹络

1.神经⽹络的层数只算隐藏层，不算输出层。

2.L：表⽰层数

n[L]：表⽰每层的节点数

a[L]：表⽰每层的激活函数

[0]表⽰输⼊特征

x=a：

4.2深层⽹络中的前向传播

1.和浅层前向传播⼀样，每⼀层的节点⽤向量化技术（矩阵）技术，层到层之间只能⽤for循环。

4.3核对矩阵的维数

1.debug时，在纸上写⼀遍算法中所以矩阵的维数

[l][l][l][l−1]

2.dw=w=(n,n)

[l][l][l]

3.db=b=(n,1)

[l][l][l]

4.z=a=(n,1)未使⽤向量化技术

[l][l][l]

5.Z=A=(n,m)使⽤向量化技术，m是样本个数

[l][l][l]

6.dZ=dA=(n,m)

4.4为什么使⽤深层表⽰

⼈脸识别中：

1.第⼀层可以是特征检测器，或边缘检测器，每⼀个单元对应不同⽅向的边缘。

2.第⼆层可以识别各个器官，每⼀个单元对应眼睛，嘴巴，⿐⼦等等。

3.第三层把这些不同的器官放到⼀起，就组成了不同的⼈脸。

语⾳识别：

1.第⼀层探测低层次的⾳频波形的特征，⽐如⾳调变⾼低，⽩噪声还是吱吱声。

2.第⼆层探测声位，⽐如a,i,o…第⼆层探测声位，⽐如a,i,o…

3.第三层可以识别单词，第四层识别词组…知道完整的句⼦

电路理论：浅层需要指数级2n的节点，深层需要log(n)

遇到⼀个问题时，从浅层开始，把层数当成⼀个参数或者超参数调试。

4.5搭建深层神经⽹络块

1.前向传播：