【NLP搬砖】之生成式数学推理任务

1.传统自回归解码器与树结构解码器 传统自回归形式更适合COT(chain of thought)形式，树结构解码器更适合只给solution的形式，大体上看，树结构解码器更像可变区间长度的自回归的变体解码器。 2.解码策略 贪婪式解码较为古老，beamsearch式解码还是主流(不知道openai是不是也选择这个，因为已经是closeai了)，强化学习式解码策略可能难收敛但需要看是具体是学一个价值网络还是学一个策略网络，今年self-thinking中蒙特卡罗树搜索式比较新颖但有点像rl的形式，system1(快速反应)和system2(深思熟虑)的角度有点东西。 3.数据集 目前除了openai的gsm8k和prm800k，以及古老的math，其他的做的都不太好。 4.珍爱生命，远离生成 生成式真的难顶，小的组还是听师兄师姐的话远离生成吧。再碰生成，腿给你打断。