【莫得门槛】别光顾着玩，让我来告诉你ChatGPT的原理！

奖赏模型根据排序高低选择输出，奖赏模型的损失函数要让被打了勾的回答尽可能高，让被打叉的回答尽可能低。

如此，实现了根据用户偏好关系来训练奖赏模型。