方法:

• a. 理论背景:

• 本文提出了一种用于开放领域问答的密集检索方法，称为Dense Passage Retriever（DPR）。该方法使用双编码器架构将段落和问题编码为密集向量。

• b. 技术路线:

• 使用BERT预训练模型对问题和段落进行编码。

• 使用度量学习来优化问题和段落之间的点积相似度函数。

• 使用FAISS对段落嵌入进行预计算和索引，以便在推理时进行检索。

• 通过在训练中考虑不同类型的负面段落，使用批内负面方法获得最佳性能的模型。

结果:

• a. 详细的实验设置:

• 在训练中，从BM25或DPR检索系统返回的前100个段落中，对每个问题采样一个正面段落和m-1个负面段落。

• 训练目标是最大化正面段落中所有正确答案范围的边际对数似然，以及正面段落被选择的对数似然。

• b. 详细的实验结果:

• DPR在五个问答数据集上的表现优于之前的模型，其中四个数据集的检索准确性得到了显著提高。

• DPR可以处理每个问题的最多100个段落，并且在检索准确性方面优于TF-IDF或BM25等稀疏向量空间模型。

• 使用密集向量而不是稀疏向量可以显著提高问答性能。

• 作者证明了一个简单但有效的解决方案可以展现更强的实证性能，而无需依赖额外的预训练或复杂的联合训练方案。