访问官网
Github
Huggingface
文档
论文SPECTER2: 革新科学文献表示的先进模型
SPECTER2是一个强大的科学文献表示模型，它是SPECTER的继任者。这个模型能够为科学任务生成特定任务的嵌入表示，特别是当与适配器配对使用时。SPECTER2的主要功能是根据科学论文的标题和摘要或简短的文本查询，生成有效的嵌入表示，这些嵌入可以在下游应用中发挥重要作用。
模型特点
- SPECTER2基于allenai/scibert模型进行了微调。
- 它采用了bert-base-uncased架构，并结合了适配器技术。
- 模型遵循Apache 2.0许可协议。
- 由Allen AI的研究团队开发和分享。
训练数据和过程
SPECTER2的训练过程分为两个阶段：
-
基础模型训练：
- 使用超过600万个科学论文引用三元组进行训练。
- 训练参数包括批量大小1024，最大输入长度512，学习率2e-5，训练2个epoch，预热步骤10%。
-
适配器训练：
- 在SciRepEval数据集的训练任务上训练特定任务格式的适配器。
- 训练参数包括批量大小256，最大输入长度512，学习率1e-4，训练6个epoch，预热1000步。
模型用途
SPECTER2可以用于多种科学文献相关的任务，包括：
- 近似性任务：用于链接预测和最近邻搜索。
- 即席查询：编码短文本查询以用于搜索任务。
- 分类：为线性分类器提供特征。
- 回归：为线性回归器提供特征。
性能评估
SPECTER2在多个科学文献表示基准上取得了优异的成绩：
- 在SciRepEval基准测试中，SPECTER2-Adapters在训练内和训练外任务上都取得了最佳性能。
- 在MDCR引用推荐基准测试中，SPECTER2-Adapters建立了新的最先进水平。
使用方法
使用SPECTER2非常简单，只需几行代码即可：
- 加载模型和分词器
- 加载所需的适配器
- 准备输入数据
- 生成嵌入表示
结论
SPECTER2代表了科学文献表示领域的重要进展。通过其强大的基础模型和灵活的适配器系统，它为各种科学文献相关任务提供了高质量的嵌入表示。无论是进行文献检索、分类还是回归任务，SPECTER2都能提供出色的性能，为科研工作者和开发者提供了一个强大的工具。
