ChatGPT 写科研文章的摘要

研究人员不能总是区分人工智能生成的摘要和原始摘要。

根据12月底在bioRxiv服务器上发布的一篇预印本，一个人工智能（AI）聊天机器人可以写出如此有说服力的假研究论文摘要，以至于科学家们常常无法发现它们。研究人员对其对科学的影响存在分歧。

"英国牛津大学研究技术和监管的Sandra Wachter说："我非常担心，他没有参与这项研究。"她补充说："如果我们现在处于专家无法确定真假的情况下，我们就会失去我们迫切需要的指导我们解决复杂话题的中间人。

聊天机器人ChatGPT可以根据用户的提示创造出逼真的、听起来很智能的文本。它是一个 "大型语言模型"，一个基于神经网络的系统，通过消化大量现有的人类生成的文本来学习执行一项任务。位于加州旧金山的软件公司OpenAI于11月30日发布了该工具，并且可以免费使用。

自其发布以来，研究人员一直在努力解决围绕其使用的道德问题，因为其输出的许多内容可能难以与人类书写的文本区分。科学家们已经发表了一篇预印本2和一篇由ChatGPT撰写的社论3。现在，伊利诺伊州芝加哥西北大学的Catherine Gao领导的小组用ChatGPT生成人工研究论文摘要，以测试科学家是否能发现它们。

研究人员要求聊天机器人根据发表在《美国医学会杂志》、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》和《自然医学》上的精选文章编写50份医学研究摘要。然后，他们通过抄袭检测器和人工智能输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员发现编造的摘要。

ChatGPT生成的摘要顺利通过了抄袭检查器：原创性得分的中位数为100%，这表明没有发现抄袭行为。人工智能输出检测器发现了66%的生成摘要。但是人类审稿人的表现并没有好到哪里去：他们只正确识别了68%的生成摘要和86%的真实摘要。他们错误地识别了32%的生成的摘要是真实的，14%的真实摘要是生成的。

"ChatGPT写出了可信的科学摘要，"Gao及其同事在预印本中说。"道德和可接受的使用大型语言模型来帮助科学写作的界限仍有待确定"。

Wachter说，如果科学家不能确定研究是否真实，可能会有 "可怕的后果"。除了对研究人员来说是个问题，他们可能被拉到有缺陷的调查路线上，因为他们正在阅读的研究是伪造的，还有 "对整个社会的影响，因为科学研究在我们的社会中发挥着如此巨大的作用"。她补充说，例如，这可能意味着有研究依据的政策决定是不正确的。

但新泽西州普林斯顿大学的计算机科学家Arvind Narayanan说："任何严肃的科学家都不太可能使用ChatGPT来生成摘要"。他补充说，生成的摘要是否能被检测出来 "无关紧要"。"问题是这个工具是否能生成一个准确和令人信服的摘要。他说："它不能，所以使用ChatGPT的好处是微不足道的，而坏处是很大的。

总部设在纽约和巴黎的人工智能公司Hugging Face研究人工智能的社会影响的Irene Solaiman对任何依赖大型语言模型的科学思维表示担忧。"她补充说："这些模型是根据过去的信息训练出来的，而社会和科学的进步往往可以来自于与过去不同的思考方式，或开放的思考方式。

作者建议，那些评估科学传播的机构，如研究论文和会议记录，应该制定政策，杜绝使用人工智能生成的文本。如果机构选择允许在某些情况下使用该技术，他们应该围绕披露问题制定明确的规则。本月早些时候，将于7月在夏威夷檀香山举行的大型人工智能会议--第四十届国际机器学习会议宣布，它已禁止使用ChatGPT和其他人工智能语言工具撰写论文。

索拉伊曼补充说，在虚假信息可能危及人们安全的领域，如医学，期刊可能必须采取更严格的方法来验证信息是否准确。

Narayanan说，这些问题的解决方案不应该集中在聊天工具本身，"而是导致这种行为的不正当激励，比如大学通过计算论文来进行聘用和晋升审查，而不考虑其质量或影响"。