【hsxz】【水专栏】ChatGPT的bias

此专栏来源于我的QQ说说。

两个月前我就担心过有人会拿ChatGPT来搞事，没想到又预言中了

确实，ChatGPT会生成双标的内容，会有bias，但这些不是人为操作的。ChatGPT设计大模型，训练大模型要大数据，而要对这个体量的训练数据全部人工标注或全部审核是不可能的，只能标冰山一角。虽然也有不少辅助手段筛掉很多机器判定的低质量样本，但总体上ChatGPT的bias是来源于训练数据中不可根除和隐藏的bias，所以ChatGPT是将自己建模成一个美国人的。ChatGPT是端到端的，它甚至不像lamda有很多辅助工具，本质只是一群数据以一定的形式组合的黑箱

其次，RLHF技术就是为了使得ChatGPT整体输出的内容更绅士，不然我们是很容易教ChatGPT学坏的

再者，由于ChatGPT吃历史输入和PUA，人是可以半定向地修改ChatGPT输出的内容的

最后，ChatGPT是大模型，想要在训练好后人为让它有bias很难的，就像在大海中滴几滴柠檬汁一样，基本不会影响大海的基本性质，要达到目的你还需要收集大量数据，又要花很多钱（真的很多）微调。当然，不是说完全没有这种可能，但openai还要训练GPT-4这个吸钱无底洞，我不认为他们还有闲暇这么干

不过对于不了解ChatGPT机制的人来说，确实看几张截图就有可能被带节奏

当然以上是个人目前对大模型的认知，可能有一些不足的地方