论文简要 :

• 本文提出了FACTOOL，这是一个用于检测生成AI中文本事实性错误的任务和领域不可知框架。通过在四个不同任务上的实验，证明了该方法的有效性。

背景信息:

• 论文背景: 随着生成预训练模型的出现，高质量文本的合成变得更加容易，但也带来了在生成文本中识别事实错误的挑战。

• 过去方案: 过去的研究主要集中在特定任务上的事实性错误检测，缺乏对多任务和多领域情况下的综合性检测框架。

• 论文的Motivation: 鉴于大型语言模型处理的任务和领域的多样性，本文提出了一个通用的事实性检测框架，旨在解决生成AI中的事实性错误问题。

方法:

• a. 理论背景:

• 本文提出了一个名为FACTOOL的框架，用于检测大型语言模型生成的文本中的事实错误。随着生成式预训练模型的出现，文本合成的质量得到了提高，但也增加了包含事实错误的风险。挑战包括更广泛的任务面临错误风险，生成文本中的长度和未定义的细粒度，以及事实检查的明确证据的稀缺性。FACTOOL框架是任务和领域无关的，并利用各种工具收集有关生成内容事实性的证据。在基于知识的问答、代码生成、数学推理和科学文献综述任务上的实验证明了该方法的有效性。本文还提供了一个基准，并将FACTOOL与其他方法在生成的响应和声称方面进行了比较，并声称根据收集的证据进行了验证。本文的贡献包括重新审视事实性检测任务，将工具使用与事实性检测联系起来，并使用FACTOOL评估现代聊天机器人的事实性。本文还讨论了自然语言处理中事实性检测和大型预训练语言模型中工具使用的相关工作。

• b. 技术路线:

• 本文讨论了生成式人工智能中的事实性概念，并提出了一个统一的框架来解决超越文本领域的事实性问题。事实性可以在不同粒度的级别上进行评估，例如句子和文档，并且可以用于准确定位不准确之处并改进生成系统。本文在不同场景中呈现了事实性的实例，包括基于知识的问答、代码生成、数学问题解决和科学文献综述写作。作者提出了一种工具增强的框架来检测事实错误，其中包括主张提取、查询生成、工具查询、证据收集和一致性验证。主张提取过程由大型语言模型（LLMs）指导，并具有减少注释和训练成本的优势。该框架可以通过利用领域特定工具和LLMs的指令跟随能力应用于各种任务。

• c.模型工作流程：

• 首先，它从生成的文本中提取出需要验证的声明，比如一个事实、一段代码、一个数学表达式或一个文献引用。

• 然后，它根据不同的任务和领域，生成一系列查询，用于向外部工具（如Google搜索、Python解释器、Google学术等）请求相关的证据。

• 它利用收集到的证据和大型语言模型的推理能力，对每个声明进行验证，判断其是否正确或支持。

• 最后，它给出每个声明和整个文本的事实性标签，并在有错误时尝试提供解释和纠正。

结果:

• a. 详细的实验设置:

• 本文在基于知识的问答、代码生成、数学推理和科学文献综述任务上进行了实验。实验中使用了FACTOOL框架来检测生成内容的事实性，并收集了相关证据。

• b. 详细的实验结果:

• 实验结果表明，FACTOOL方法在各个任务中都取得了良好的效果。与其他方法相比，FACTOOL在生成的响应和声称方面表现出更高的准确性，并根据收集的证据进行了验证。