论文简要 :

• 本研究介绍了AVERITEC，这是一个包含来自网络证据的真实世界主张验证数据集，通过多轮注释过程，避免了常见的问题，并取得了显著的注释者一致性，为验证主张提供了基线和评估方案。

背景信息:

• 论文背景: 事实检查是限制错误信息影响的关键任务，但手动事实检查的资源有限。自动事实检查被提出作为辅助工具，以简化事实检查人员、调解员和公民记者的工作流程。

• 过去方案: 现有的数据集存在一些限制，如依赖人工构造的主张、缺乏证据和中间推理的注释，或包含主张发布后的证据。这些问题限制了自动事实检查的发展。

• 论文的Motivation: 本研究的动机是解决现有数据集的限制，并提供一个包含真实世界主张和来自网络的真实证据的数据集，同时提供中间步骤的注释和合理的验证结果解释。通过避免上下文依赖、证据不足和时间泄漏等问题，提高了数据集的质量和可用性。

方法:

• a. 理论背景:

• 本文介绍了AVERITEC，这是一个用于自动事实核查的新数据集。该数据集包含4568个真实世界的主张，来自50个不同的组织。每个主张都有问题-答案对和来自网络的证据的注释，以及解释证据如何导致裁决的文本证明。AVERITEC的目标是解决现有数据集的局限性，如人工主张、缺乏证据注释以及包括主张之后发布的证据。本文还强调了事实核查在打击错误信息中的重要性，以及自动事实核查工具在协助手动事实核查工作方面的需求。

• b. 技术路线:

• 该数据集包含4568个真实世界的主张。每个主张都有问题-答案对，表示证据，一个真实性标签，描述证据如何支持标签的文本证明，以及几个相关的元数据。证据通过问题和答案来表示，允许多个答案以显示不同意见。问题可以参考以前的问题进行多跳推理。答案必须由链接到网络文档的源URL支持。真实性标签使用三元方案（支持、反驳、没有足够的证据）和一个用于冲突证据/挑拣的额外类别。提供文本证明来解释如何从证据中得出标签，包括通过常识或归纳推理支持的逻辑跳跃。数据集还包括演讲者、发布者、日期和相关主张的位置等元数据。

结果:

• a. 详细的实验设置:

• 在证据充分性检查阶段，将主张的裁决结果与两个注释者进行比较。新的注释者不会看到事实核查文章，必须仅根据主张来做出裁决。如果两个注释者之间存在分歧，将生成更多的问题来收集额外的证据。这种策略有助于通过识别缺乏足够证据的主张来确保高质量的注释。证据充分性检查注释者还提供将问题-答案对组合成所选裁决的文本证明，特别是在主张可能由于挑拣等因素而具有误导性的情况下。

• b. 详细的实验结果:

• 数据集被分为训练、验证和测试数据。总共有3068个主张，其中500个主张用于验证，1000个主张用于测试。其余的主张用于训练。平均每个问题有1.07个答案。大多数答案是抽取式的（53%），其次是抽象式的（26%）和布尔式的（17%）答案。由于缺乏可用证据，有一小部分问题（4%）被标记为无法回答。数据集包括来自50个事实核查网站的主张，从较旧的网站（如Africa Check和PolitiFact）到较新的网站的代表性发生了变化。