近期，普林斯顿大学和EleutherAI等研究者为解决数学问题训练了一个特定领域的语言模型。他们认为数学推理是AI的核心任务，且能够进行强数学推理的语言模型是许多研究课题的上游。他们提出的方法，通过对Proof-Pile-2进行持续的预训练，使语言模型适应数学，从而得到了LLEMMA：7B和34B的基础语言模型，其数学能力大幅提高。LLEMMA 7B的性能远超谷歌Minerva 8B，而LLEMMA 34B在参数少近一半的情况下性能逼近Minerva 62B。

论文链接：https://arxiv.org/pdf/2310.10631.pdf

Readpaper链接：https://readpaper.com/paper/2008650305127561472

Github链接：https://github.com/EleutherAI/math-lm

详细介绍：

数据集：Proof-Pile-2 是为培训或微调特定领域的大型语言模型而创建的，专门用于一般数学任务。数据集由纯文本文档组成，每个实例都是一个纯文本文档，伴随着其原始分割和文件名或位置的元数据。而且，数据集也是开源的！

在 MATH 基准测试中，LLEMMA 的表现超越了所有已知的开放基模型。此外，LLEMMA 能够使用工具并进行正式的定理证明，而无需进一步的微调。

应用：该数据集已被用于训练 LLEMMA 语言模型作为一个领域适应和持续预训练语料库。它特别针对数学领域的高质量语言建模语料库，但也可能对通用语言建模或其他未预见的下游用途有用。

观点：

从学术角度看，这种模型为数学研究提供了一个强大的工具，可以帮助研究人员更快地解决问题和验证理论。而且，也提供了一个数据集，可以让大家继续在这上面进行深度的挖掘。

从商业角度看，LLEMMA 可以被集成到各种应用中，如教育软件、自动化工具和研究平台，为用户提供即时的数学解决方案。而且，这种公开透明的模型也容易被大家接受，而不是嘴上说着领先却没有任何说明的模型。

特邀作者：日本早稻田大学计算机系博士  王军杰