Prompt-Based Social Alignment for Few-Shot Fake News Detection
Title: Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News Detection (Prompt-and-Align: 基于提示的社交对齐用于少样本假新闻检测)
论文简要 :
本研究提出了一种基于提示的社交对齐方法，用于少样本假新闻检测，通过结合预训练语言模型和社交上下文拓扑，显著提高了假新闻检测的性能。
背景信息:
论文背景: 随着假新闻在网络上的泛滥，准确检测假新闻对于人类认知和社会发展至关重要。然而，由于新闻的及时性，如何在有限的事实核查基础上有效预测新闻文章的真实性仍然是一个关键问题。
过去方案: 过去的方法通常遵循“从头训练”的范式，但这种方法受限于大规模标注数据的可用性。虽然预训练语言模型（PLMs）已经被应用于“预训练和微调”的方式，但预训练和下游任务之间的不一致性也需要昂贵的任务特定监督。此外，现有方法通常需要大规模标记的新闻文章和辅助信息，这些信息往往难以获取，导致在标签稀缺的情况下存在泛化问题。
论文的Motivation: 针对上述问题，本研究提出了一种名为“Prompt-and-Align”（P&A）的新方法，通过在任务相关的文本提示中包装新闻文章，利用预训练语言模型直接引出任务特定的知识。同时，通过观察社交用户的真实性一致性，构建了新闻接近性图来捕捉共享读者中真实性一致的信号，并以置信度为基础对提示预测进行对齐。通过这种方法，本研究在三个真实世界基准测试中取得了显著的性能提升。
方法:
a. 理论背景:
本文提出了一种新的基于提示的范式，称为Prompt-and-Align（P&A），用于少样本假新闻检测。P&A将预训练语言模型（PLMs）与社交上下文拓扑结构相结合，根据有限的事实检查来预测新闻文章的真实性。该方法将新闻文章包装在与任务相关的文本提示中，PLM处理该提示以引出任务特定的知识。此外，构建了一个新闻接近度图，以捕获共享读者中与真实性一致的信号，并且在图的边缘上对提示的预测进行对齐。实验结果表明，P&A在少样本假新闻检测方面取得了最先进的性能。
b. 技术路线:
P&A范式由两个主要组成部分组成。第一个组成部分是“Prompt”组件，它从预训练语言模型（PLM）中引出任务特定的知识，以预测新闻文章的真实性。这是通过将假新闻检测问题重新定义为掩码标记预测问题，并使用提示来查询PLM以获取最可能适合掩码位置的标记。第二个组成部分是“Align”组件，它利用信息丰富的新闻读者模式，通过自信度感知的社交图对提示的预测进行增强。通过考虑用户在传播新闻文章时的真实性一致性来执行对齐。整体方法旨在解决少样本假新闻检测中的泛化挑战，并通过整合社交图信息来缓解标签稀缺问题。
假设我们想要判断一篇新闻文章是否是真实的，但是我们只有少量的已经被事实核查的新闻样本。我们可以使用以下的步骤：
首先，我们使用一个预训练的语言模型（PLM），比如BERT，来学习新闻文章的语义信息。我们不需要为这个任务设计特定的神经网络结构，而是通过一个自然语言提示（prompt）来引导PLM进行任务相关的推理。例如，我们可以把新闻文章前面加上一个掩码（[MASK]）符号，然后让PLM预测这个掩码应该填入“news”还是“rumor”。
然后，我们利用社交媒体用户的转发行为来构建一个新闻相似性图（news proximity graph），其中每个节点代表一篇新闻，每条边代表两篇新闻有共同的读者群。我们观察到，社交媒体用户倾向于转发同一真实性类型（真或假）的新闻，因此这个图可以反映出新闻之间的真实性一致性信号。
最后，我们根据PLM的预测结果和新闻相似性图来对每篇新闻进行真实性对齐（veracity alignment），即让相似的新闻有相似的真实性标签。我们首先选择一些高置信度的预测结果作为伪标签（pseudo label），然后在图上进行信息传播，使得未标注的新闻能够从已标注或高置信度的新闻中获得真实性指导。
结果:
a. 详细的实验设置:
作者通过实证实验评估了他们的P&A范式，以回答五个研究问题。这些问题包括评估P&A在少样本假新闻检测中的有效性，了解新闻内容和社交图结构对P&A性能的贡献，分析P&A对不同对齐步骤、伪标签百分位数和用户参与阈值的敏感性，评估提示设计对不同文本提示下P&A有效性的影响，并通过中间结果进行案例研究来解释P&A的预测。
b. 详细的实验结果:
作者在三个真实世界基准数据集上进行了评估：FakeNewsNet，包括PolitiFact和GossipCop数据集，以及FANG数据集。这些数据集包含从事实检查网站收集的新闻文章和从Twitter检索到的相关社交用户参与。数据集被分为训练集和测试集，训练集大小不同（16、32、64、128），假新闻和真实新闻的比例为1:1。
作者将P&A与十种代表性的基线方法进行了比较，包括“从头开始训练”的方法和基于PLM的方法。他们使用PyTorch和预训练的BERT-base权重实现了P&A及其变体。设置了最大序列长度、批量大小和学习率，并对模型进行了特定数量的微调。作者还提供了实验中使用的对齐步骤、伪标签阈值和用户参与阈值的详细信息。
实验结果显示，P&A在假新闻检测准确性方面优于基线方法。P&A在不同训练集大小下始终取得显著的性能提升。结果还证明了提示方法在利用PLM的任务特定知识方面的有效性。
