过拟合

• 对于这一点答案是显然的，因为过拟合会让网络在训练集上表现得很好，而从上图我们可以看出，无论是在训练集还是测试集中，拥有更深层次的网络表现均比浅层次的网络差，那显然就不是过拟合导致的。

梯度消失/爆炸

• 我们先简单回顾一下概念：梯度消失/爆炸是因为神经网络在反向传播的时候，反向连乘的梯度小于1（或大于1），导致连乘的次数多了之后（网络层数加深），传回首层的梯度过小甚至为0（过大甚至无穷大），这就是梯度消失/爆炸的概念。

• 但我们知道，如今我们已经习惯加入BN层（Batch Normalize），他可以通过规整数据的分布基本解决梯度消失/爆炸的问题，所以这个问题也不是导致深层网络退化的原因。