Github
Huggingface项目概述
bce-embedding-base_v1是由网易有道开发的一款双语和跨语种语义表征模型。该项目旨在解决中英双语环境下的语义检索和RAG(检索增强生成)场景中的问题，为用户提供高效、精准的语义表征解决方案。
核心特性
双语与跨语言能力
该模型具备出色的中英双语和跨语种语义表征能力，能够有效消除中英语言之间的差异。依托有道翻译引擎的强大实力，模型在单语、双语和跨语种场景中都表现优异。
RAG场景优化
专门针对RAG应用场景进行了优化，可以适配翻译、摘要和问答等多种任务类型。在问题理解方面做了特别优化，使其更适合真实业务场景的需求。
高效检索架构
采用双重检索机制:
- 首阶段使用EmbeddingModel进行高效的语义向量检索
- 次阶段使用RerankerModel进行精确的语义顺序重排序
易用性设计
- 无需复杂的指令设计
- 使用简单，不需要为不同任务设计特定的指令前缀
- 支持与langchain和llamaindex等主流框架的便捷集成
技术优势
模型架构
- EmbeddingModel：采用双编码器架构，专注于生成语义向量
- RerankerModel：使用交叉编码器架构，负责优化搜索结果的排序
应用实践
- 已在有道速读、有道翻译等多个实际产品中得到验证
- 支持教育、法律、金融、医疗、文学等多个专业领域
- 提供meaningful的重排序分数，有助于过滤无关文本
使用建议
最佳实践流程
- 使用bce-embedding-base_v1模型进行初步检索，获取top50-100条结果
- 使用bce-reranker-base_v1对检索结果进行精排，最终获取top5-10条最相关的内容
应用场景
- 语义搜索系统
- 智能问答系统
- 文档检索系统
- 跨语言信息检索
- RAG应用开发
技术规格
- 参数量：279M
- 支持语言：
- EmbeddingModel支持中文和英文
- RerankerModel支持中文、英文、日文和韩文
- 开源协议：Apache-2.0
