基于逻辑级证据检索和基于图的验证网络的表格事实验证
Title: Logic-level Evidence Retrieval and Graph-based Verification Network for Table-based Fact Verification
论文简要 :
本文提出了一种基于逻辑级证据检索和基于图的验证网络的表格事实验证方法，通过检索逻辑级程序样式的证据并构建逻辑级图进行推理，实现对给定表格和陈述的逻辑推理和事实验证。
背景信息:
论文背景: 在互联网上存在大量半结构化表格，如何对这些表格进行推理对于人们理解现实世界中的不同类型信息至关重要。表格事实验证任务是其中的一个重要任务，它通过给定的表格验证给定陈述的正确性，需要进行语言推理和符号推理。
过去方案: 过去的方法主要使用包含丰富逻辑信息的程序来进行符号推理，但由于在程序生成过程中缺乏完全监督信号，可能会导致生成和使用虚假程序，从而无法捕捉有用的逻辑操作。
论文的Motivation: 为了解决上述问题，本文将表格事实验证任务作为一个证据检索和推理框架来进行建模，提出了基于逻辑级证据检索和基于图的验证网络的方法。通过从给定的表格和陈述中检索逻辑级程序样式的证据，并构建逻辑级图来捕捉证据中实体和函数之间的逻辑关系，从而进行逻辑级图推理并分类最终的蕴涵关系。实验结果表明，所提出的方法在大规模基准数据集TABFACT上取得了良好的效果。
方法:
a. 理论背景:
本文介绍了基于表格的事实验证任务，旨在根据半结构化表格验证给定陈述的正确性。该任务需要进行语言推理和符号推理，逻辑操作起着关键作用。现有方法使用从表格和陈述中导出的程序来增强验证过程。然而，这些方法可能会生成虚假的程序，导致模型无法捕捉有用的逻辑操作。为了解决这个问题，本文提出了逻辑级证据检索和基于图的验证网络（LERGV），将任务形式化为证据检索和推理框架。LERGV模型从表格和陈述中检索逻辑级程序样式的证据，构建逻辑级图以捕捉逻辑关系，并进行基于图的推理以分类最终的蕴涵关系。在TABFACT数据集上的实验结果证明了所提方法的有效性。
b. 技术路线:
本文提出了逻辑级证据检索和基于图的验证网络（LERGV）作为基于表格的事实验证的方法。LERGV模型包括三个主要模块：程序合成、证据检索和事实验证。程序合成模块使用潜在程序搜索算法（LPA）根据表格和陈述生成可能的程序。证据检索模块通过应用基于规则的方法从程序中选择有价值的逻辑级证据。事实验证模块根据证据构建逻辑级图，并进行基于图的推理以分类蕴涵关系。LERGV模型结合了语言推理和符号推理，以提高验证过程的效果。在TABFACT数据集上的实验结果证明了所提方法的有效性。
模型的工作流程：
假设用户输入的陈述是：“这篇论文的模型是基于图注意力网络的。”
首先，模型会用潜在程序算法（LPA）从给定的表格和陈述中合成一组可能的程序，每个程序都是一种逻辑形式，包含了一些预定义的函数，如“eq”、“min”等。
然后，模型会用一个基于规则的方法从合成的程序中选择、分解和过滤一些有价值的逻辑层面的证据，作为表格的补充信息。例如，一个可能的证据是“eq { graph attention network ; hop { filter_eq { all_rows ; model ; LERGV } ; method } } = True”，表示表格中有一行的“model”列是“LERGV”，而“method”列是“graph attention network”。
接着，模型会根据得到的证据构建一个图，把每个函数和实体作为一个节点，并根据程序的结构添加边来表示逻辑关系。例如，“eq”节点会和它的两个参数节点相连，“hop”节点会和它的三个参数节点相连。
最后，模型会用一个图注意力网络来对图进行推理，并结合表格和陈述的语义信息来预测最终的标签。例如，模型会注意到“graph attention network”和“基于图注意力网络”的语义相似性，并且证据中有一条支持这一点，所以模型会预测标签为“ENTAILED”。
结果:
a. 详细的实验设置:
本文使用TABFACT数据集进行实验评估，该数据集用于基于表格的事实验证任务。实验中采用了LERGV模型作为基准模型，并与其他基线系统进行比较。
b. 详细的实验结果:
在测试集上，本文的模型实现了75.5%的准确率，超过了所有基线系统。与LPA、Table-BERT和SAT相比，本文的模型表现出较大的优势，证明了将语言推理和符号推理相结合的优势。与基于语义解析的方法（如LogicalFactChecker、HeterTFV和ProgVGAT）相比，本文的模型在性能上提高了1.1%至3.8%。这表明了本文所提方法在理解半结构化表格和捕捉实体和函数之间的逻辑关系方面的有效性。在复杂测试集上，本文的模型还比ProgVGAT高出近2个百分点，展示了其处理复杂陈述的能力。总体而言，这些结果证明了本文所提方法在基于表格的事实验证中的实用性。
