(强推)李宏毅2021春机器学习课程
1.local minima and sddle point, critical point
类神经网络训练不起来怎么办(一) 局部最小值 (local mi... P11 - 02:01
2.
类神经网络训练不起来怎么办(二) 批次 (batch... P12 - 00:07
batch and momentum (批次和动量）
3.不同的batch的比较
类神经网络训练不起来怎么办(二) 批次 (batch... P12 - 14:53
4.momentum结合物理
5.vanilla Gradient Descent
6.Gradient Descent + Momentum
类神经网络训练不起来怎么办(二) 批次 (batch... P12 - 26:23
Learning Rate
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 00:06
1.
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 09:55
2.计算方式，根方均
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 12:40
3.RMSProp 自适应调整
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 19:49
4.Adam
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 23:53
5.Learning Rate Scheduling
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 28:26
6.总结
类神经网络训练不起来怎么办(三) 自动调整学习率... P13 - 34:59
P14 classification
类神经网络训练不起来怎么办(四) 损失函... P14 - 00:17
TO Learn More
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 03:08
1.SGD
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 09:47
2.SGDM
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 10:34
3.Adagrad
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 15:57
4.RMSProp
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 16:48
5.Adam
(选修)To Learn More - Optimization for Deep Learning (1_2) P16 - 18:38
CNN
第三节 卷积神经网络(CNN) P22 - 00:08
1.CNN
第三节 卷积神经网络(CNN) P22 - 11:27
2.经典的filed
第三节 卷积神经网络(CNN) P22 - 16:42
3.共享参数
第三节 卷积神经网络(CNN) P22 - 25:04
3.1. 共享的方式
第三节 卷积神经网络(CNN) P22 - 25:54
4.CNN的优点
5.Pooling
第三节 卷积神经网络(CNN) P22 - 41:23
6.整个CNN架构
第三节 卷积神经网络(CNN) P22 - 44:35
P23
自注意力机制(Self-attention)(上) P23 - 00:08
1.解决的问题
每个输入的长度不一样
2.输出
自注意力机制(Self-attention)(上) P23 - 11:30
3.Sequence Labeling
自注意力机制(Self-attention)(上) P23 - 12:30
6.self-attention
自注意力机制(Self-attention)(上) P23 - 16:28
6.1 产生b1
自注意力机制(Self-attention)(上) P23 - 21:16
GAN
1.Algorithm
第六节 生成式对抗网络(GAN) (一)... P40 - 24:34
step1
step2
step3
