智源论坛 | 林伟：维数的灾难？维数的祝福！

019 年 5 月 9 日，由北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）主办的“智源论坛——人工智能的数理基础”系列报告第一场开锣。论坛当日，北京⼤学研究员林伟分享了其在人工智能数理基础领域的研究探索。

查看林伟完整报告视频请点击此处《破解机器学习中的维数灾难：从可辨识性谈起》

青年千人计划⼊选者，北京大学研究员，国内统计学习领域的⻘年学术带头⼈林伟的报告主题为《破解机器学习中的维数灾难：从可辨识性谈起》，重点分析了高维统计比较关心的一个核心的问题。近年来，以深度学习为代表的“黑箱”机器学习算法在应用中获得了巨⼤成功，但缺乏可解释性和严格的理论基础。⽽可辨识性和维数灾难的概念是从统计学⻆度理解深度学习与机器学习算法的关键。

所谓维数灾难，就是说深度神经网络可以看成是一类过参数化的模型，数据相对于参数来说少得多，或者反过来说，参数相对于数据来说多得多。这通常会被认为是一个灾难，而林伟在报告开篇便站到了另外的一个角度，不谈维数的灾难，反过来强调了维数的“祝福”。

而所谓可辨识性，林伟也做出了阐释：f 是密度函数、分布函数，如果两个参数 θ1、θ2 所对应的数据分布是一样的，那么能够推出一定是同一个参数，这就是可辨识性。也就是说从可以观测到的数据，能够辨识出参数应该是哪一个，或者可以说它的逆否命题也是对的，如果两个参数值不一样，那么它所导致的可观测数据的分布也不可能一样。

这很关键，如果不具有可辨识性，就没办法确定真实参数是什么，因为有两个不同的参数导致同样的分布。这种情况下，若是用一个算法去优化找这个参数，有时候可能跑到 θ1，有时候比较接近 θ2，就会非常不稳定，所以不可辨识模型也就面临着诸多缺点：

• 解释性差：如果你不确定 θ1、θ2 到底哪一个是对的，自然无法解释 θ1 是什么意思；

• 预测（泛化）能力不稳定：正确性难以保证；

• 理论保证难：如果没有可辨识性，就根本不知道目标在哪儿，没有努力的方向，也不知道要保证什么。

这里的困难在于，如果一个模型是过参数化的，一般就不具有 identifiability。因为当参数个数远大于样本量时，最多进行到二层就无以为继了，因为没办法解，这个方程组有无穷多个解，特别是这个模型非常复杂，像 Deep Learning 这种有非常多的隐含层的时候，就更不知道中间的这些参数到底是不是唯一确定的了。

为了保证可辨识性，可以采取稀疏和低秩两种方法，事实上后者也属于稀疏性。这在高维统计已经做得非常成熟了，很多情况下我们提的条件中都隐含了可辨识性。但如果不能满足精确可辨识，是不是就无计可施了？我们去看一下文献，因果推断理论有很多情况实际上是不可辨识的，因为因果推断实际上极其难，无法给出点估计，但可以定界。因而便引出了近似可辨识性这样一种新的理论框架。

而可辨识性和维数灾难的概念正是从统计学角度理解深度学习与机器学习算法的关键。

关于主办方