Reinforcement Learning-based Counter-Misinformation Response Gen
Title:Reinforcement Learning-based Counter-Misinformation Response Generation: A Case Study of COVID-19 Vaccine Misinformation
论文目的：该论文旨在创建一个基于强化学习的文本生成模型，可以为输入的误导性信息生成有效的反驳回复，以帮助用户纠正误导性信息。
论文背景：在线误导性信息的传播对公共卫生、民主和社会造成了威胁。虽然专业的事实核查者通过核查流行的虚假说法来形成第一道防线，但他们并不直接与误导性信息的传播者进行交流。另一方面，非专家的普通用户作为现场的眼睛，主动地反驳误导性信息——最近的研究表明，96%的反误导性信息回复是由普通用户发出的。然而，研究也发现，这些回复中有2/3是粗鲁的，缺乏证据。这项工作试图创建一个反误导性信息回复生成模型，以赋予用户有效纠正误导性信息的能力。
论文方法：该论文创建了两个新颖的数据集，包含来自社交媒体和大学生众包的误导性信息和反误导性信息回复对。该论文对收集到的数据进行了注释，区分了质量差和质量好的回复，后者是事实、礼貌和反驳误导性信息的。该论文提出了一个基于强化学习的框架，称为MisinfoCorrect，它学习如何为输入的误导性信息生成反误导性信息回复。该模型奖励生成器提高礼貌度、事实度和反驳态度，同时保持文本流畅度和相关性。
假设输入的误导性信息是：“新冠疫苗会导致自闭症。”
MisinfoCorrect模型会根据以下步骤生成反误导性信息回复：
“这是一个没有科学依据的谣言。”：奖励值=0.60.4+0.70.4+0.80.4+0.90.2+0.8*0.2=0.72
“新冠疫苗和自闭症没有任何关系。”：奖励值=0.70.4+0.80.4+0.90.4+0.90.2+0.9*0.2=0.82
“你说的是胡说八道，新冠疫苗是安全有效的。”：奖励值=0.30.4+0.80.4+1.00.4+0.80.2+0.7*0.2=0.66
“你不要相信这些假消息，新冠疫苗可以保护你免受感染。”：奖励值=最高 = 0.8* 04 + 09 * 04 + 09 * 04 + 10 * 02 + 10 * 02 = 086
“这是一个没有科学依据的谣言。”：礼貌度=0.6，事实度=0.7，反驳态度=0.8，流畅度=0.9，相关性=0.8
“新冠疫苗和自闭症没有任何关系。”：礼貌度=0.7，事实度=0.8，反驳态度=0.9，流畅度=0.9，相关性=0.9
“你说的是胡说八道，新冠疫苗是安全有效的。”：礼貌度=0.3，事实度=0.8，反驳态度=1.0，流畅度=0.8，相关性=0.7
“你不要相信这些假消息，新冠疫苗可以保护你免受感染。”：礼貌度=0.8，事实度=0.9，反驳态度=0.9，流畅度=1.0，相关性=1.0
“这是一个没有科学依据的谣言。”
“新冠疫苗和自闭症没有任何关系。”
“你说的是胡说八道，新冠疫苗是安全有效的。”
“你不要相信这些假消息，新冠疫苗可以保护你免受感染。”
首先，模型会从一个预训练的文本生成器中采样出一些候选回复，例如：
然后，模型会用一个预训练的分类器来评估每个候选回复的礼貌度、事实度和反驳态度，以及文本流畅度和相关性。例如：
最后，模型会根据一个预定义的奖励函数来选择最优的回复。奖励函数是一个加权和，其中礼貌度、事实度和反驳态度的权重高于流畅度和相关性。例如：
因此，模型会选择“你不要相信这些假消息，新冠疫苗可以保护你免受感染。”作为最终的反误导性信息回复。
