Github
Huggingface
论文项目介绍：SPECTER
项目概述
SPECTER是一种预训练的语言模型，旨在生成文档级别的嵌入（embedding）。它通过文档间引用关系的图谱进行预训练，提供了一种强大的文档相关性信号。与现有的预训练语言模型不同，SPECTER不需要特定任务的微调就可以应用于下游任务。
功能与特点
- 文档嵌入生成：SPECTER能够高效生成文档级别的嵌入，适合需要文档表示的应用场景。
- 无需微调：这个模型可以直接用于下游任务，而不需要根据特定任务进行微调，大大简化了使用流程。
- 基于引用关系的学习：通过利用文档间的引用关系，SPECTER可以更准确地捕捉文档之间的相关性。
数据集与评测标准
SPECTER在SciDocs数据集上进行了评测。主要使用F1、准确率、平均精度（map）以及归一化贴近度（ndcg）来评价其性能。
进一步发展
目前，SPECTER已被SPECTER2取代，建议有相关需求的用户使用SPECTER2来获取更好的效果。
学术论文与资源
有关SPECTER的详细信息可在论文SPECTER: Document-level Representation Learning using Citation-informed Transformers中查阅，原始代码库则可在Github上获取。
作者团队
该项目由Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, Daniel S. Weld等人共同开发完成。
