3D视觉自动驾驶中的深度学习模型部署实战

1 为什么加深可以提升性能

Bengio和LeCun在2017年的文章[1]中有这么一句话，"We claim that most functions that can be represented compactly by deep architectures cannot be represented by a compact shallow architecture"，大体意思就是大多数函数如果用一个深层结构刚刚好解决问题，那么就不可能用一个更浅的同样紧凑的结构来解决。

要解决比较复杂的问题，要么增加深度，要么增加宽度，而增加宽度的代价往往远高于深度。

Ronen Eldan等人甚至设计了一个能被小的3层网络表示，而不能被任意的2层网络表示的函数。总之，一定的深度是必要的。

那么随着模型的加深，到底有哪些好处呢？

1.1、更好拟合特征。

现在的深度学习网络结构的主要模块是卷积，池化，激活，这是一个标准的非线性变换模块。更深的模型，意味着更好的非线性表达能力，可以学习更加复杂的变换，从而可以拟合更加复杂的特征输入。

看下面的一个对比图[2]，实线是一个只有一层，20个神经元的模型，虚线是一个2层，每一层10个神经元的模型。从图中可以看出，2层的网络有更好的拟合能力，这个特性也适用于更深的网络。