论文简要 :

• 本文提出了一种名为PASTA的新颖框架，通过使用合成的句子-表格填空问题进行预训练，实现了基于表格的事实验证。实验结果表明，PASTA在两个表格事实验证基准数据集上取得了新的最优性能。

背景信息:

• 论文背景: 近年来，事实验证引起了广泛的研究关注，因为在线上的错误信息和虚假信息可能会影响人们的观点和行为。尤其是基于表格的事实验证近年来成为一个重要且不断发展的研究领域。

• 过去方案: 以往的工作主要依赖于预训练的语言模型，但由于这些模型忽视了表格操作，因此进展受限。另一些方法尝试通过生成逻辑形式来明确捕捉表格操作，但由于语义解析中的弱监督信号，这些方法面临“虚假程序”的问题。

• 论文的Motivation: 鉴于以往方法的局限性，本文提出了PASTA框架，通过设计一种新颖的句子-表格填空预训练策略，使语言模型能够更好地理解表格操作。通过自动合成句子-表格填空问题，PASTA在大规模语料库上进行预训练，并在两个表格事实验证基准数据集上取得了新的最优结果。

方法:

• a. 理论背景:

• 事实验证在新闻报道和政策制定等领域非常重要，以打击错误信息和虚假信息。基于表格的事实验证因可靠信息在表格中的可用性而受到关注。然而，由于缺乏用于预训练语言模型（LMs）了解表格操作的数据集，该领域的进展受到限制。本文作者介绍了一种名为PASTA的基于表格的事实验证框架，该框架使用合成的句子-表格填空问题对LMs进行预训练。PASTA在两个基准数据集TabFact和SEM-TAB-FACTS上取得了最先进的性能。

• b. 技术路线:

• PASTA模型利用了一个表格操作感知的预训练任务，引导模型理解句子中表格操作的表达。预训练任务涉及在句子中屏蔽操作感知的标记，并训练模型通过对表格进行推理来预测这些标记。每个句子中屏蔽六种不同类型的操作感知标记，对应于各种操作类型，如过滤、聚合、最高级、比较、序数和唯一。预训练任务的目标是通过预测屏蔽标记来重构原始句子。

结果:

• a. 详细的实验设置:

• PASTA模型基于Transformer架构实现。它使用DebertAV3-Large检查点进行预训练，并使用Adam优化器进行优化。预训练过程运行400K步，批量大小为16，学习率为1 × 10^-6。完整的预训练过程在2个RTX A6000 GPU上大约需要3天时间。对于微调，模型运行300K步，批量大小为8，学习率为5 × 10^-6。

• b. 详细的实验结果:

• PASTA在TabFact数据集上取得了最先进的结果，在所有划分上都优于先前的方法。在复杂集上，它的准确率达到了85.6%，比先前的最先进方法高出4.7个百分点。PASTA还在测试集上比DeBERTAV3模型高出3.1个百分点，展示了其优越的句子-表格推理能力。