Github
Huggingface
文档
论文ruRoPEBert-e5-base-2k项目介绍
项目概述
ruRoPEBert-e5-base-2k是由Tochka AI团队开发的一个基于RoPEBert架构的俄语句子编码模型。该模型采用了Tochka AI团队在Habr上发表的文章中描述的克隆方法进行训练。项目利用CulturaX数据集进行训练，以hivaze/ru-e5-base模型为基础进行改进。根据encodechka基准测试的S+W评分，该模型在创建时超越了所有其他模型的性能。
模型特点
- 支持最大2048个token的上下文长度，但也可用于更长的上下文。
- 提供了两种注意力实现方式:基本使用和高效注意力(SDPA)。
- 内置了均值池化器，可以根据注意力掩码对嵌入进行平均。
- 支持RoPE缩放，允许扩展模型的上下文窗口。
- 可用作分类器，支持添加可训练的分类头。
使用方法
使用该模型时，需要注意以下几点：
- 建议使用transformers 4.37.2及以上版本。
- 加载模型时需要启用
trust_remote_code=True选项。 - 可以选择使用基本注意力或高效注意力(SDPA)实现。
- 获取嵌入时，模型内置了正确的池化器。
- 支持使用RoPE缩放来扩展上下文窗口。
性能评估
在encodechka基准测试中，ruRoPEBert-e5-base-2k模型表现出色：
- 平均S分数（不包括NE）：0.759
- 平均S+W分数（包括NE）：0.689
这些分数优于其他同类模型，包括intfloat/multilingual-e5-base。
应用场景
该模型可以应用于多种自然语言处理任务，特别适用于：
- 句子相似度计算
- 文本分类
- 语义搜索
- 信息检索
- 其他需要高质量俄语句子表示的任务
未来展望
随着模型的不断优化和改进，ruRoPEBert-e5-base-2k有望在更多的俄语自然语言处理任务中发挥重要作用。研究人员和开发者可以基于此模型进行进一步的微调和应用，以满足特定领域的需求。
致谢
该项目由Tochka AI团队的Sergei Bratchikov和Maxim Afanasiev开发。他们的创新工作为俄语自然语言处理领域带来了重要贡献。
