Title: Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method (基于LLM的分层逐步提示方法的新闻事实验证)

论文简要 :

本研究提出了一种基于LLM的分层逐步提示方法，用于新闻事实验证，通过将声明分解为多个子声明，并逐步进行多次问答步骤来验证每个子声明，从而提高了验证的性能和解释能力。

背景信息:

论文背景: 在信息错误领域，大型预训练语言模型（LLMs）在各种自然语言处理任务中展现出了令人印象深刻的能力，但在错误信息领域仍然不够深入探索。

过去方案: 过去的研究主要集中在使用深度神经网络进行错误信息检测和事实验证，但对于LLMs的应用仍然较少。

论文的Motivation: 本研究旨在探索LLMs在新闻事实验证中的能力，并提出了一种分层逐步提示方法（HiSS），通过将声明分解为子声明并逐步验证，以提高验证性能和解释能力。

方法:

a. 理论背景:

本文探讨了使用大型预训练语言模型（LLMs）与上下文学习（ICL）进行新闻主张验证的方法。作者发现，仅使用4个示范示例，几种提示方法可以达到与先前监督模型相当的性能。他们引入了一种分层逐步（HiSS）提示方法，通过将复杂主张分解为子主张并逐步验证每个子主张，进一步提高了性能。在两个公开的错误信息数据集上的实验结果表明，HiSS提示优于最先进的完全监督方法和强有力的少样本ICL启用基线。

b. 技术路线:

本文评估了三种经典的ICL方法用于新闻主张验证：标准提示、基于CoT的提示和香草CoT提示。标准提示方法涉及将新闻主张输入LLM并获得其事实判断。基于CoT的提示在事实判断之外还生成中间的口头推理步骤。作者发现，标准提示与强有力的监督基线相比表现相当好，但香草CoT提示比标准提示更差。他们确定了香草CoT的两个主要问题：主张中必要思想的省略和事实幻觉。为了解决这些问题，作者提出了分层逐步（HiSS）提示方法，该方法涉及将复杂主张分解为较小的子主张，并使用搜索引擎查找相关证据逐步验证每个子主张。

• HiSS提示方法分为三个过程：

• 断言分解：将一个复杂的断言分解为若干个子断言，每个子断言包含一个需要检查的显式点。

• 子断言逐步验证：对每个子断言，生成一系列探索性问题，每个问题对应一个隐含的检查点。根据LLM自身的置信度，决定是否使用搜索引擎获取相关的外部知识来回答问题。

• 最终预测：在验证完所有子断言后，根据给定的标签集合，输出断言的真实性判断。

结果:

a. 详细的实验设置:

本文在两个公开的错误信息数据集RAWFC和LIAR上进行了实验。HiSS提示的LLMs在宏平均F1得分上比传统的完全监督模型平均提高了4.95%。HiSS提示的LLMs还在少样本新闻主张验证方面取得了最新的最先进水平。作者强调，HiSS提示的LLMs提供的解释更加细致和易于理解，基于自动和人工评估。