XFEVER: 跨语言事实验证的探索

Basic Information:

Title: XFEVER: Exploring Fact Verification across Languages (XFEVER: 跨语言事实验证的探索)

url：https://arxiv.org/abs/2310.16278v1

论文简要 :

本文介绍了用于在不同语言之间进行事实验证模型基准测试的跨语言事实提取和验证（XFEVER）数据集。通过将Thorne等人（2018）发布的Fact Extraction and VERification（FEVER）数据集的声明和证据文本翻译成六种语言，我们构建了该数据集。使用XFEVER数据集，我们定义了两种跨语言事实验证场景：零样本学习和翻译训练学习，并在本文中提出了每个场景的基线模型。实验结果表明，多语言语言模型可以有效地构建不同语言的事实验证模型，但性能在不同语言之间存在差异，并且在英语案例中略逊一筹。我们还发现，通过考虑英语和目标语言之间的预测相似性，可以有效地减轻模型的误校准问题。

背景信息:

论文背景: 自动化事实验证是事实核查任务的一部分，旨在验证给定声明是否与文本来源数据库相符。本文旨在探索如何在不同语言之间构建事实验证模型，以应对不同语言的事实核查需求。

过去方案: 过去的方法主要集中在英语语境下，如FEVER数据集。然而，构建大规模的非英语数据集非常耗时和昂贵，因此需要一种更高效的方法来构建其他语言的事实验证模型。

论文的Motivation: 本文的动机是基于一个假设：事实不受语言的影响。作者认为，如果我们有一个完美的翻译器，可以将英文文本准确地翻译成其他语言，那么在不同语言之间，特定的声明-证据对之间的关系应该是相同的。基于这个假设，作者构建了XFEVER数据集，并定义了两种跨语言事实验证场景，旨在探索如何在其他语言上构建事实验证模型。通过实验结果，作者证明了多语言语言模型在不同语言上构建事实验证模型的有效性，并提出了一种减轻模型误校准问题的方法。

方法:

a. 理论背景:

本文介绍了XFEVER数据集，该数据集旨在为不同语言的事实验证模型提供基准。该数据集是通过将FEVER数据集的主张和证据文本翻译成六种语言来构建的。使用XFEVER数据集定义了两种跨语言事实验证场景，即零-shot学习和翻译-训练学习，并提出了每种场景的基准模型。

b. 技术路线:

作者使用了多语言预训练语言模型（PLM），如mBERT和XLM-R，作为基线模型的主要组件。本文介绍了两种跨语言事实验证的场景：zero-shot学习和翻译-训练学习。在zero-shot学习场景中，仅使用英语训练和开发集来训练和评估所有语言的测试集上的模型。在翻译-训练学习场景中，假设有机器翻译的数据，并使用所有语言的训练和开发集同时构建模型。作者描述了两种场景的框架，并讨论了用于强制实施跨语言一致性的正则化函数。

结果:

a. 详细的实验设置:

作者进行了初步实验，并发现默认的λ = 1在J散度和XLM-R-large上效果良好。他们将λ降低到0.25以减轻这个问题。表8和表9分别显示了XLM-R-large在测试集上的准确率和ECE分数。

b. 详细的实验结果:

实验结果表明，多语言语言模型可以有效地用于构建不同语言的事实验证模型。然而，性能因语言而异，并且在英语案例下略逊一筹。作者还发现，通过考虑英语和目标语言之间的预测相似性，可以有效地减轻模型的误判问题。