深度学习Prompt learning-前沿讲解
2023-02-25 17:17 作者:bili_1361983162 | 我要投稿
在阶段①中，我认为work的本质是特征，即特征的选取、衍生、侧重上的针对性工程。而在阶段②中更多的是对数据集与结构的抽象化构建，无论是使用Conv还是Attention，大家总能讲出来为什么work的好故事。阶段③中的本质就是无监督方法了，无论是像BERT一样构建MLM/NSP，还是各种变体(PLM，DAE)也都是在如何更好的训练预训练模型这一问题上下足了功夫。
在阶段④中，Prompt真正的不同是把焦点放在了让下游任务来适应语言模型，而不是上述三个阶段中的魔改语言模型来适应下游任务的变化。至于为什么这么做？我想可能有以下两点原因：
