欢迎光临散文网 会员登陆 & 注册

29.2 ResNet为什么能训练出1000层的模型【动手学深度学习v2】

2023-07-29 16:15 作者:月芜SA  | 我要投稿

ResNet为什么能训练出1000层的模型?不会梯度消失吗?

在梯度消失那一节也有说过,若层间的连接方式是相加,会减弱梯度消失问题。

梯度消失回顾:如果上层拟合数据较好,那么梯度就越小,反向传播乘到最后的时候,底下的那些层的梯度变得很小,就更新不动了。



29.2 ResNet为什么能训练出1000层的模型【动手学深度学习v2】的评论 (共 条)

分享到微博请遵守国家法律