• Title: FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking (FactLLaMA: 利用外部知识优化指令跟随语言模型以进行自动事实检查)

  
  

论文简要 :

• 本研究通过结合外部证据检索和指令跟随语言模型，提出了一种优化自动事实检查的方法，以增强其性能。通过利用搜索引擎检索相关证据，并将其用于指导预训练语言模型，该方法能够更准确地预测输入声明的真实性，并在事实检查任务中取得了最先进的性能。

背景信息:

• 论文背景: 随着社交媒体和在线交流的不断增长，我们面临着通过这些渠道获取大量信息的挑战，迫切需要区分事实和虚构。自动事实检查是一种应对这一问题的方法，可以自动验证事实的准确性，快速传播准确信息。然而，现有的语言模型往往依赖于预先存在的知识，这可能导致事实检查的不准确性。因此，有必要考虑外部知识源以提供最新和可靠的信息。

• 过去方案: 过去的研究主要集中在机器学习、深度学习和变压器模型等方法上，用于自动事实检查。然而，这些方法往往受限于其内部知识，无法及时更新或提供足够的上下文信息，从而影响了其准确性和可靠性。

• 论文的Motivation: 为了解决现有方法的局限性，本研究提出了一种结合外部证据的方法，以增强指令跟随语言模型的事实检查能力。通过利用搜索引擎检索相关证据，并将其用于指导预训练语言模型，我们的方法能够填补模型知识与最新上下文之间的差距，从而提高事实检查的准确性和可靠性。

方法:

• a. 理论背景:

• 本文介绍了自动事实检验在打击虚假信息传播中的必要性。随着社交媒体和在线沟通平台作为虚假信息来源的兴起，本文提出了使用大型语言模型（LLMs）和指令跟随变体来解决这个问题。然而，本文承认这些模型可能并不总是具有最新或足够的知识，从而导致事实检验的不准确性。为了克服这个限制，本文建议将指令跟随语言模型与从搜索引擎中检索的外部证据相结合，以提高事实检验的性能。目标是弥合模型知识与最新和足够的上下文之间的差距，从而改善事实检验结果。本文还提到，所提出的方法在事实检验任务中实现了最先进的性能，并对打击虚假信息和促进准确信息在在线平台上传播具有重要意义。

• b. 技术路线:

• 方法包括两个关键组成部分：生成指令-证据-输入样本和使用这些样本对生成预训练语言模型（LLaMA）进行指令调整。指令-证据-输入样本通过将指令、证据和输入声明组合成一个序列来创建。指令提供了关于如何将证据纳入事实检验的指导，而证据则是使用Google API从搜索引擎中检索的。输入声明表示需要进行事实检验的声明。然后使用低秩适应（LORA）算法对LLaMA模型进行指令调整，该算法将模型参数压缩到较低维度空间中，同时保留原始信息。这样可以使用更少的目标样本对模型进行更高效和有效的微调。

结果:

• a. 详细的实验设置:

• 通过RAWFC和LIAR数据集的评估结果表明，先进的模型在事实检验任务中优于传统的机器学习方法。指令调整方法，特别是与外部知识相结合，始终实现最高的F1分数。在指令调整过程中引入外部证据可以提高性能，其中LLaMA、指令调整和外部知识的F1分数为0.3044。

• b. 详细的实验结果:

• 这些发现强调了利用先进技术并及时更新最新信息以有效打击虚假信息的重要性。