【AI杂谈】影实与大模型研究

熟悉我的人可能知道，我这人非常喜欢把事物联系起来（胡乱）思考，对于影实，也在动态等各种地方尝试和大模型建立联系了。这次我们来谈谈影实战力问题。

很久之前，有一个从小就拥有极其恐怖能力的女孩，世人称之为灾厄魔女奥罗拉，后来因为魔力失控，被称为魔人迪亚波罗，三英雄合力封印了魔人迪亚波罗，但是胜利果实却被迪亚波罗斯教团（当然，从一开始奥罗拉和三英雄也都是某个组织的实验体了，这个团体基本认为是教团的前身）窃取，他们了垄断迪亚波罗斯之滴，拥有了恐怖的实力。三英雄也是移植了魔人细胞的实验体，她们的女性后代也收到血脉的约束，魔力随时可能暴走（一支表现为恶魔凭依，一支表现为吸血鬼，主要是前者），但一旦她们能够控制住自己的魔力，将会成为教团的潜在威胁，所以教团一方面散布“恶魔凭依者”是邪恶的象征、是一种诅咒的言论，一边雇佣“盗贼”从各地把这些恶魔凭依收集起来，防止她们搞事情（所以可以看出来，至少三英雄应该是从教团前身脱身并诞生了不少后代的）。同时，教团也观测其他世界，可以看到，即使是教团圆桌干部，很多人的强度依然有限，还是要靠各种“召唤物”。

总之，奥罗拉和教团主打一个大力砖飞。

教团几乎是从胜利走向胜利，他们在逐渐控制各个王国的王族和贵族，然后一个中二、魔怔、神经病、但是对自己的目标坚定不移的纯粹之人转生到了这个世界，他的身体素质并不出众，魔力量甚至还不及某个“完美超人”，但正如他前世一直在做的那样——认清自己的优势和劣势，找到一条最适合自己的出路，于是创立了凡人之剑（虽然最强的还是空手格斗技）、魔力压缩、魔力控制三个流派，每个流派都是理论上任何人都可以学得来的，但每一个都千锤百炼。

他的经典战斗方法分为两个阶段：优化阶段和展示阶段。优化阶段的目标是在交战中完全认清对手，然后找到一个使用最小代价（最小的斩击幅度、最小的魔力使用量等）战胜对手的方法，然后在对手开始“只不过技术强而已”这样嘴硬的时候再展示让对手望尘莫及的逆天魔力量（就是把压缩的魔力解压缩出去），只能说，确实很装。

OK，回归大模型的事情，我们研究大模型究竟在研究什么呢？

我们知道目前ChatGPT和GPT-4依然是第一梯队的模型，目前仍然没有一个模型能够在综合实力上战胜它们（某些领域模型能战胜是很正常的），庞大的参数量依然是一个很重要的秘诀，毕竟GPT-3本身从技术上来说并不复杂，也没有用很先进的优化技术。

当然，也不是说参数量上去模型就一定强的，现在我已知最大模型有10T的参数量，比GPT-3高两个数量级，但不是最强的模型。其中涉及到的东西很多，包括超参数的调试、并行训练优化等等

当然大部分人和实验室是训练不起那么大的模型的（没错，就是本人啊），所以能做的就是不断优化大模型训练的技术，探索如何使用更少的训练数据、更优秀的训练技巧等来提升模型的表现。这些技术通常是有很长的延后性的，所以不能直接用到更大的模型中，但仍然能提供很好的方法库。

然后再说说压缩（这里说了就不单独发专栏了，不愧是我），现在，语言模型训练的压缩视角是比较火的，就是说语言模型在做的很重要的一件事情就是“压缩知识”，我们知道，一般大模型的训练语料是比语言模型的参数量还要大几个数量级的，模型只有能找到一个有效的方法压缩这些知识，才能做到流畅的输出，现在很多大模型优化方法也都是在找一种更高效压缩的方法，这样才能在尽可能小的模型中塞进去更多的知识。

据说10.24星火和文心一言都有更新，文心一言4.0更是直言要对标GPT-4，结果如何我们就拭目以待吧