深度之眼神经网络基础知识

2000年左右，俄罗斯科学家提出一套新理论：统计学习理论，大意是：我们的模型一定要与待解决的问题相匹配，如果模型过于简单，而问题本身的复杂度很高，就无法得到预期的精度。反过来，若问题本身简单，而模型过于复杂，那么模型就会比较僵死，不能举一反三，即“过拟合”。很类似于哲学界的奥卡姆剃刀原理：如果对于同一个问题有不同的解决方案，那么我们应该挑选其中最简单的一个。神经网络模型或者其他机器学习模型也应该遵循类似的原理，只有当模型的复杂度与所解决的问题相符匹配的时候，才能让模型更好的发挥作用。
然而统计学理论也有很大局限性，理论的严格分析仅仅限于一类特殊的神经网络模型：支持向量机，而对于更一般的神经网络，人们还未找到统一的分析方法。所以说连接学派的科学家们虽然会向