无需从头开始：六种可组合的转换方法实现Transformer模型的高效扩展与训练

Transformer做大或者是做深，都是非常困难的，而且每一次我们重新训练模型都会产生巨大的开销，为什么我们不能使用保留已有的能力的情况下接着训练呢？

这篇论文提出了六种可组合的转换方法，用于在保留功能的同时增加基于Transformer的神经网络的大小。这些转换允许扩展模型的容量，而无需从头开始重新训练。作者为每种转换提供了精确功能保留的证明。所提出的方法旨在通过在训练过程中逐渐扩展架构，实现更大、更强大模型的高效训练流程。

下面论文中提到的6种可组合的转换：

1. MLP内部表示的大小 (Size of MLP Internal Representation)：

这种转换涉及改变MLP（多层感知器）内部表示的维度。通过增加或减少隐藏层的大小，可以改变模型的容量和复杂性。

2. 注意力头的数量 (Number of Attention Heads)：

在多头注意力机制中，这种转换涉及改变并行执行的注意力运算的数量。增加头数可以增加模型捕捉不同类型信息的能力。

3. 注意力头输出表示的大小 (Size of the Attention Heads Output Representation)：

这种转换涉及改变每个注意力头的输出表示的维度。这可以影响每个头捕捉的信息的复杂性和丰富性。

4. 注意力输入表示的大小 (Size of the Attention Input Representation)：

这种转换涉及改变注意力机制的输入表示的维度。这可以影响模型对输入信息的解释和处理方式。

5. Transformer层输入/输出表示的大小 (Size of the Transformer Layers Input/Output Representations)：

这种转换涉及改变Transformer层的输入和输出表示的维度。这可以影响信息在模型的不同层之间的流动和处理方式。

6. 层数 (Number of Layers)：

这种转换涉及改变模型的层数。增加层数可以增加模型的深度和容量，允许模型捕捉更复杂的特征和模式。

论文链接：https://readpaper.com/paper/4788609939601883137?channel=bilibili

特邀作者：早稻田大学计算机系在读博士王军杰