• Title: FIN-FACT: A Benchmark Dataset for Multimodal Financial Fact Checking and Explanation Generation (金融事实核查和解释生成的多模态基准数据集)

  
  

论文简要 :

• 本研究提出了FIN-FACT，一个用于金融领域多模态事实核查和解释生成的基准数据集，旨在解决金融领域事实核查的挑战，提供专业的事实核查和解释，增强事实性分析，促进金融信息的透明度和可信度。

背景信息:

• 论文背景: 在信息传播迅速扩散和虚假新闻泛滥的时代，事实核查成为确保信息准确性和可靠性的关键工具。金融领域的事实核查面临着特殊的困难，需要定制化的数据来满足其独特的要求和细微差别。

• 过去方案: 过去的研究主要集中在预测来自不同来源的声明的准确性，但缺乏针对金融领域的特定需求的数据集。现有的金融虚假信息数据集缺乏清晰的标注和解释，存在结果可靠性的问题。

• 论文的Motivation: 鉴于金融领域事实核查的挑战和现有数据集的不足，本研究旨在构建一个全面的金融文本数据集，准确地代表金融信息和背景，并提供专业的事实核查和解释，以促进金融领域的事实核查研究和应用。

方法:

• a. 理论背景:

• 本文介绍了FIN-FACT，这是一个用于金融领域多模态事实核查的基准数据集。它包含专业事实核查员的注释和证明，提供专业知识和可信度。该数据集旨在打击金融领域的错误信息，促进透明度，并建立对财务报告和新闻传播的信任。

• b. 技术路线:

• 利用PolitiFact和FactCheck这两个专业的在线平台，收集财经领域的文本和图片，以及对应的真实性标签、证据、来源和解释。

• 构建FIN-FACT数据集，包含3,562个财经领域的断言，每个断言都有专业的事实核查者的注释和解释。

• 使用自然语言推理（NLI）模型，如ELECTRA、BART、RoBERTa和GPT-2，对FIN-FACT数据集进行事实核查和真实性预测。

• 使用BART模型，根据事实核查者的解释，生成对断言真实性的解释，使用GLUE和ROUGE指标进行评估。

结果:

• a. 详细的实验设置:

• 本文的实验重点是评估自然语言推理（NLI）模型在事实核查任务中的准确性。评估的模型包括ELECTRA、BART、RoBERTa和GPT-2。这些模型在FIN-FACT数据集上的准确性结果如下：ELECTRA - 29%，BART-Large - 33%，RoBERTa-Large - 32%，GPT-2 - 43%。这些结果突出了模型在金融事实核查领域中的性能差异。

• b. 详细的实验结果:

• FIN-FACT数据集包含3,562个金融领域的声明，涵盖收入、金融、经济、预算、税收和债务等领域。数据集包括1,807个“真实”声明，1,315个“虚假”声明和440个“NEI”实例，其中没有足够的信息来确定声明的真实性。这个全面的数据集为金融领域事实核查模型的开发和评估提供了坚实的基础。