论文简要 :

• 本研究提出了一种新的相似度度量方法，称为“surprise score”，该方法考虑了人类感知中的对比效应，通过对零样本和少样本文档分类任务的评估，发现相比于原始的余弦相似度，该方法在分类性能上有10-15%的提升。

背景信息:

• 论文背景: 在自然语言处理、信息检索和分类任务中，准确评估对象向量嵌入的相似度非常重要。

• 过去方案: 传统的相似度度量方法（如余弦相似度）基于嵌入向量对，忽略了对象抽样分布的影响。而人类对对象相似度的感知很大程度上取决于对象出现的上下文。

• 论文的Motivation: 本研究旨在解决传统相似度度量方法无法考虑上下文影响的问题，通过引入“surprise score”这一新的相似度度量方法，可以更好地模拟人类感知中的对比效应，从而提高零样本和少样本文档分类任务的性能。

方法:

• a. 理论背景:

• 本文讨论了在自然语言处理任务中准确评估对象向量嵌入的相似性的重要性。它提到，流行的相似性评分（如余弦相似度）没有考虑到从中抽取对象的集合的分布。人类对对象相似性的感知受到对象出现的上下文的影响。本文提出了一种新的相似度度量方法，称为“惊喜分数”，它捕捉到人类感知的对比效应，并提高了分类性能。惊喜分数量化了在对成对的集合相似性进行比较时，发现给定相似性在两个元素之间的惊喜程度。作者在零/少样本分类和聚类任务上评估了这个度量方法，并发现与原始余弦相似度相比，性能更好。

• b. 技术路线:

• 本文讨论了在文本分类任务中使用惊喜分数的方法。惊喜分数基于用于估计文档集合中相似性分布的统计模型。作者提出了一种重新缩放的相似性分数，它在纯相似性分数和惊喜分数之间进行插值。他们还建议使用基于集合大小的插值函数来确定是使用纯相似性还是惊喜分数进行排名。惊喜分数与纯余弦相似度分数和SetFit模型在使用不同数据集和嵌入模型的分类实验中进行了比较。还描述了少样本分类的训练过程，其中涉及形成键和查询对，并为正负对分配权重。

• 惊讶分数是基于一种简单的相似度度量（例如余弦相似度）和一个集合（例如训练数据）来计算的，它表示给定的两个对象之间的相似度比随机从集合中选择的一个对象和查询对象之间的相似度更高的概率。

• 惊讶分数可以模拟心理学中的对比效应（contrast effect），即人们会根据周围的对象来调整对目标对象的评价，而不仅仅是根据目标对象本身的特征。

结果:

• a. 详细的实验设置:

• 本文在表3中报告了不同数据集的F1分数。这些分数在不同数据集之间有所变化，在大多数情况下，惊喜分数取得了最高分。在某些情况下，惊喜分数在某些情况下比余弦相似度得分高出很多。

• b. 详细的实验结果:

• 本文引入了一种称为惊喜分数的新的相似度评分方法，它考虑了对象出现的上下文。该分数旨在通过模拟心理学中的对比效应准确表示主观人类相似性的概念。惊喜分数基于纯相似度分数进行计算，并测量了键和查询之间的相似性高于查询和从上下文中随机选择的元素之间相似性的概率。作者使用惊喜分数进行了各种实验，并将其性能与纯余弦相似度进行了比较。他们还将惊喜分数与SetFit模型在零样本和少样本文本分类任务中进行了比较。结果一致表明，惊喜分数在某些文本分类任务中优于其他方法。少样本实验使用的训练过程也是新颖的。