Project Icon

bge-m3-korean

多语言句子相似度与文本分析模型

该模型基于BAAI/bge-m3,通过KorSTS和KorNLI进行微调,支持多语言语义相似性分析与文本分类等任务,利用Sentence Transformer将句子和段落映射为1024维稠密向量,适用于多种文本嵌入应用。

bge-m3-korean项目介绍

项目背景

bge-m3-korean模型是从BAAI/bge-m3基础模型进行优化和微调的结果。这个模型的设计初衷是为了将句子和段落映射到一个1024维的稠密向量空间,应用于自然语言处理中的多种任务,包括语义文本相似性、语义搜索、同义句挖掘、文本分类和聚类等。

模型详细信息

模型类型

  • 句子转换模型(Sentence Transformer)

基础模型

最大序列长度

  • 8192个标记

输出维度

  • 1024个标记

相似性函数

  • 余弦相似度

模型架构

bge-m3-korean的架构使用了一个XLMRobertaModel的句子转换器,其架构包括:

  • 一个带有最大序列长度8192的转换器
  • 一个池化层,负责将句子的词嵌入平均化处理

使用方法

如何安装

用户需要首先安装Sentence Transformers库,以便加载和使用模型:

pip install -U sentence-transformers

使用示例

使用Sentence Transformers库加载模型并进行语句嵌入和相似性计算:

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("upskyy/bge-m3-korean")

# 进行推断
sentences = [
    '아이를 가진 엄마가 해변을 걷는다.',
    '두 사람이 해변을 걷는다.',
    '한 남자가 해변에서 개를 산책시킨다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)

评价方法

bge-m3-korean模型在语义相似性任务中提供了多种评价指标:

  • Pearson Cosine: 0.874
  • Spearman Cosine: 0.8724
  • Pearson Manhattan: 0.8593
  • Spearman Manhattan: 0.8688
  • Pearson Euclidean: 0.8598
  • Spearman Euclidean: 0.8694

这些指标展示了模型在不同数学距离上的表现,为开发者选择合适的距离测量方法提供了参考。

框架版本信息

该模型使用以下工具和框架版本进行构建:

  • Python: 3.10.13
  • Sentence Transformers: 3.0.1
  • Transformers: 4.42.4
  • PyTorch: 2.3.0+cu121

引用

如果您希望在学术研究中引用bge-m3-korean模型,请使用以下引用格式:

@misc{bge-m3,
      title={BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation}, 
      author={Jianlv Chen and Shitao Xiao and Peitian Zhang and Kun Luo and Defu Lian and Zheng Liu},
      year={2024},
      eprint={2402.03216},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

通过这些信息,用户可以对bge-m3-korean项目有一个全面的了解,从安装使用到其在不同语义任务上的性能表现。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号