#BERT_Dot

本项目提供了一个基于DistilBERT的密集文本检索模型，采用双编码器结构和点积评分机制。该模型使用平衡主题感知采样(TAS-B)方法在MS MARCO数据集上训练，可用于候选集重排序或直接进行向量索引密集检索。模型在多个测试集上展现出优于BM25基线的检索性能。其特点包括高效训练（单GPU 48小时内完成）和保留原始DistilBERT的6层架构。这一方案为高效密集检索提供了新的解决思路。