关于暂停超大人工智能模型实验的公开信

我们呼吁所有人工智能实验室立刻暂停训练比GPT-4更为强大的人工智能系统，为期至少六个月。

顶级人工智能实验室公认、由广泛研究证实的是：能与人类竞争的人工智能系统可能对社会与全人类带来重大风险。正如阿西洛马人工智能原则所指出的，成熟的人工智能可能是地球生命史上的一个重大转折点，因此应给予相称的关注和资源进行规划与管理。近几个月，人工智能实验室在开发和部署愈发强大的数字智能方面陷入了一场失控的竞赛，没有人——甚至连开发者们都无法理解、预测和可靠地掌控这些智能。遗憾的是，即使如此，我们仍然缺乏足够的规划和管理。

现代人工智能系统正逐渐获得在通用任务上挑战人类的能力，而我们必须扪心自问：是否应该让机器充斥我们的信息渠道，散播宣传和谎言？是否应该让自动化消灭所有的工作，即使这些工作本身能带来成就感？是否应该开发最终将在数量和智力上淘汰并取代我们的智能？我们是否愿意承担文明失控的风险？这些问题不应由非民选的科技巨头决定。我们应该仅在确信强大的人工智能系统具有积极作用且风险可控的情况下进行开发。这种信心必须被充分论证，并随着系统潜在影响的增大而加强。OpenAI最近关于通用人工智能的声明指出：有一天，对训练新系统进行独立审查以及限制前沿工作创造新模型时所用算力的增长可能会变得尤其重要。我们同意。这一天已经到来。

因此，我们呼吁所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统，为期至少六个月。暂停应当是公开的、可验证的，涵盖所有关键人员。如果无法迅速地达成暂停，政府应该介入并颁布中止令。

人工智能实验室和独立专家应利用这段时间共同制定并实施一套共享的安全协议，以指导先进人工智能的设计和开发。协议应由独立的外部专家严格审查和监督，确保遵守协议的系统在安全方面排除怀疑。这并不意味着暂停人工智能总体的发展，而只是从竞相开发日益庞大、不可预测、具有涌现能力的黑箱模型的危险竞赛中后退一步。

人工智能研究和开发应重新关注如何使现有的强大而先进的系统更准确、安全、可解释、透明、健壮、一致、可信和忠诚。

同时，人工智能开发者必须与政策制定者合作，大力加快建设健全的人工智能监管体系。这至少包括：一个全新且具有充分能力的专责人工智能监管机构；对强大的人工智能系统和大型算力池的监管和跟踪；健全的审计和认证系统；对人工智能造成损害的问责机制；对人工智能技术安全研究的强有力的公共资金支持；以及应对人工智能带来的巨大经济和政治颠覆（尤其是对民主）的资源充足的机构。

借助人工智能的帮助，人类可以享受繁荣的未来。我们成功创造了强大的人工智能系统，因而现在可以享受一个硕果累累的“AI盛夏”，为所有人的明确福祉设计这些系统，给社会一个适应的机会。在其他可能给社会带来灾难性后果的技术上，人类曾经按下过暂停键。我们现在也可以做到。让我们享受一个持久的“AI盛夏”，而非毫无准备地迎接秋天的到来。

原文及签名地址：https://futureoflife.org/open-letter/pause-giant-ai-experiments/

截止发布，该公开信已由Yoshua Bengio (计算机科学家，因在深度学习上的贡献获2018年图灵奖)、Elon Musk、Steve Wozniak (苹果联合创始人)、Julien Billot (Scale AI CEO)等逾千名计算机科学家、工程师及政商界领袖联署，全部名单见原文。

本人仅进行翻译及转载，内容以原文为准，相关文献引用请参考原文。