【AI杂谈】对齐、曲别针与影之实力者

这篇文章算是AI小杂谈，不过刚开始想的时候我有点犹豫是要主讲AI呢还是二次元呢，后来觉得影实已经写了很多了，还是来讲AI吧。

是这样的，中午我突然想到了一个久违的AI的例子，即曲别针例子。

我们知道，人类是不希望发生终结者之类的剧情的，我们希望AI能够和人类和谐共处，认可我们的“价值观”，而不希望“邪恶”的AI掌控世界。

由此比较著名的机器人三原则（当然也适用于AI，特别是搭载了AI的机器人）就出现了，这三原则实际上是很有问题的，当然，在我们进行逻辑讨论之前，就面临着一个很大的问题，即AI他甚至都做不到理解这三条原则，我们也不能以一种完备地方式写一堆规则实现这三条原则，就不要谈后续的“逻辑游戏”了。

不过像ChatGPT这样的大语言模型的出现让情况稍微有点不同了，虽然我们不能断言ChatGPT能理解语言，但实验确实表明至少大模型能够突破简单的统计信息、有很多抽象且high-level的问题了。

这时候我们就要将价值观的对齐作为一个很重要的课题了，OpenAI也是说要做超级对齐。为什么说价值观对齐很重要呢，是否只要保证模型不会输出恶意的内容就可以了呢？实际上是不够的，一个典型的例子就是“曲别针制作AI”

“曲别针制作AI”是一个强大的AI，但是它唯一的目的就是做曲别针。这看似和我们的价值观不冲突，或者说和我们人类的价值观是“正交”的。但是，这个AI很可能会带来严重的后果，虽则对“做曲别针”这一目标的追求，它会想尽一切可能更快地去生产曲别针，它完全不会考虑供需平衡，又因为它足够强大，所以可以抢其他生产线的原料，最终毁灭地球甚至是整个宇宙（不断自身复制、并发展科技来侵占其他星球）来生产曲别针，最后一步是把自己也变成曲别针，然后我们就得到一个只存在曲别针的宇宙（因为它足够强大，所以能保证这样的宇宙是能永恒存在的）

这个例子很好，说明了即使是和人类价值观有些许偏差，AI就有可能带来灾难性的后果。当然，这种想法当然会有一些批评意见，但这里就不展开了，大家喜欢的话可以自己思考。

某种程度上《影实》的男主希德也是一样，他的目标“影之实力者”就是一种“正交目标”，而且他有足够的能力，所以很多人都会下意识地担心男主可能会带来灾难性的后果，这当然可以理解。虽然我认为对于这样一部误解电波系带有强烈喜剧成分的作品来说，没有必要担心，甚至会毁掉这部作品就是了。