编码器-解码器框架

  在Transformers模型之前，LSTM等递归架构是NLP中最先进的技术。 这些架构在网络连接中包含一个反馈回路，允许信息从一个步骤传播到另一个步骤，使它们成为模拟文本等顺序数据的理想选择。 如图1-2左侧所示，RNN接收一些输入（可能是一个词或字符），通过网络输入，并输出一个称为隐藏状态的矢量。 同时，模型通过反馈回路将一些信息反馈给自己，然后可以在下一步使用。 如果我们 "解开 "循环，可以更清楚地看到这一点，如图1-2右侧所示。 RNN将其每一步的状态信息传递给序列中的下一个操作。 这使得RNN可以跟踪以前步骤的信息，并将其用于输出预测。