智源论坛 | 史作强：从数据到高维空间中的点云
当前人工智能面临如下重大的理论挑战：可计算性、可解释性、泛化性，以及稳定性。围绕这些基础问题，北京智源人工智能研究院从数学、统计和计算的角度，设立了“人工智能的数理基础”重大研究方向，并在该方向首先启动了三方面研究（可解释性的新型人工智能模型，新型的机器学习算法，深度学习的基础理论），以期打破基于计算机实验和神经科学的人工智能的惯用建模范式，建立以数学与统计理论为第一原理的新一代人工智能方法论。
2019 年 5 月 13 日，“智源论坛（第2期）——人工智能的数理基础”系列报告第二场再度如约而至。本次论坛在北京大学教授、智源研究项⽬经理夏壁灿的主持下正式开始。清华大学副教授史作强分享了他在人工智能数理基础领域的研究探索。
史作强是国内计算数学领域数学科学方面的青年学术带头人，他带来了《基于流形和偏微分方程的机器学习建模》的主题报告。在各类机器学习问题中，数据往往具有非常高的维数，但是人们普遍认为数据中蕴含着低维结构。微分流形是描述高维空间中低维结构的重要数学工具。史作强团队的研究主要是利用流形和偏微分方程理解数据的内蕴结构，为机器学习建立数学模型。
下图为其工作的一个整体框架，很多数据都可以比较容易或自然地表示成一个高维空间中的点云：
如果我们有很多文本和文章，这些可能不能直接表现成点云，但可以借助字典，比如有中文的好多篇文章，可以把新华字典拿出来，从中挑选 5000 个常用字。然后可以针对每一篇文章，统计每个字在该文本中出现的频率，通过字典，就可以把一篇文章转化成五千维的一个向量，这个向量每个维数就代表这个字典里面的字在这篇文章中出现的频率。
除此之外，在自然语言处理中，我们也可以把一个词转化成一个向量。通过各种方法，很多数据都可以轻松转化成高维空间中的点云（所谓“点云”就是一堆点），但是这个维数可能会非常高，几千维、上万维，甚至上百万维都有可能。维数非常高，就意味着我们难于直接理解。现在我们总说大数据，但是在高维空间里面，所有大数据都是小数据。所以说，如果在高维空间中得到一个点云，要加以理解的前提，是其中必须包含某种低维结构，不可能是完全的高维结构。
为了描述这样一个高维空间中的低维的结构，数学上有一个非常重要的工具，就是所谓的流形，这是数学上一个非常成熟的的概念。我们主要的想法就是我们用流形来对高维点云进行建模，假设这个点云可能落在低维流形的附近。但流形在很高维的空间里，我们人很难直接想象，可能其结构也非常复杂，难有直接的手段描述。比如我们知道一个最直接的手段，就是对其进行参数化，但是我们在高维空间很难找到流形的一个合适的参数化表示。因此必须用间接手段对其进行研究。
基于个人研究背景，史作强团队用偏微分方程作为工具来研究流形——找一个偏微方程，看这个偏微方程在流形上面的解，通过个偏微方程的解反过来告诉这个流形有怎样的结构，这个流形的结构就可以告诉我们数据里面有什么样的结构。
事实上，这里用 PDE 来研究流形也并非首创，著名数学家丘成桐的重要贡献之一，就是就是开创了用 PDE 研究微分流形的这么一种方法，即现在被称为几何分析的领域。所以在纯数学中用 PDE 研究微分流形是一个非常重要的研究领域，有很多相关工作。对于我们而言，这也有着独特的困难：
① 流形在非常高维的空间里，首先要找到一个合适的 PDE 来对其进行建模，这是一个数学建模的问题。虽然众所周知 PDE 有无穷多种，但并不一定所有 PDE 都适合研究这样的数据中产生的流形。
② 就算已经找到认为合适的一个 PDE，下面的问题是怎样在这个流形求解这个 PDE。有时候并不知道流形解析的具体表达形式，比如是一个球面或是一个双曲面。唯一知道的，就是这个数据告诉我的这一堆点，我们假设这一堆点是流形一个离散，这堆点的分布可能非常乱，因为其来自数据而非我们的自主选择。所以我们就是要在高维空间里面一堆杂乱无章的点上设计数学方法来求解你给定的 PDE 模型。
这就是下面我们要面临的两个主要问题，一是建模问题——找到合适的 PDE；另外一个是要针对该 PDE 设计一种合适的数字方法，来离散这个 PDE，来求解它。
史作强及其团队利用微分流形、偏微分方程等数学工具，对于高维数据的偏微分方程模型的数学建模、计算方法和理论基础进行了系统的研究并取得了丰富的成果：
① 数学建模：提出了低维流形模型（Low Dimensional Manifold Model），并将其成功应用到图像处理、矩阵恢复、地震信号处理等问题中。将深度残差网络（ResNet）建模为对流方程的控制问题并提出了对流扩散方程模型。将 Laplace 方程与深层神经网络相结合，学习流形上最优的度量。提出了机器学习中偏微分方程建模的一般理论框架，利用数据基本的不变性等先验信息和偏微分方程基本的稳定性、正则性等要求对数据进行建模。
② 计算方法：提出了在高维点云上求解偏微分方程的点积分方法和加权非局部 Laplacian 方法（Weighted Nonlocal Laplacian），并将其用于低维流形模型的求解和高维点云上插值函数的计算。
③ 理论分析：对于二阶椭圆方程证明了点积分方法具有对称性、强制性、极值原理等优良的理论性质，在此基础上证明了点积分方法的收敛性并给出了收敛精度估计。证明了加权非局部 Laplacian 方法的收敛性。
关于主办方
北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府推动成立，依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。
