项目概述
stsb-bert-tiny-openvino是一个基于sentence-transformers框架开发的语义相似度模型。这个模型能够将句子和段落映射到128维的密集向量空间中,可用于文本聚类和语义搜索等任务。该模型采用了轻量级的BERT架构,并针对OpenVINO进行了优化。
核心功能
这个模型主要提供以下功能:
- 文本向量化:可以将输入的句子转换为128维的向量表示
- 语义相似度计算:支持计算不同文本之间的语义相似程度
- 文本聚类:可用于对大量文本进行语义聚类分析
- 语义搜索:支持基于语义的文本检索功能
使用方法
该模型提供了两种使用方式:
- 通过sentence-transformers使用:
- 首先需要安装sentence-transformers库
- 然后直接调用SentenceTransformer加载模型
- 使用encode方法将文本转换为向量
- 通过HuggingFace Transformers使用:
- 使用AutoTokenizer和AutoModel加载模型
- 对输入文本进行分词处理
- 通过mean_pooling方法获取句子向量表示
模型训练
模型采用了以下训练配置:
- 批次大小:16
- 训练轮数:10
- 学习率:8e-05
- 优化器:AdamW
- 权重衰减:0.01
- 预热步数:36
技术特点
- 采用轻量级BERT架构,模型体积小
- 支持512token的最大序列长度
- 使用均值池化获取句子表示
- 使用余弦相似度损失函数进行训练
- 模型结构包含Transformer编码器和Pooling池化层
应用场景
该模型适用于以下场景:
- 文本检索系统
- 问答系统
- 文档分类
- 文本去重
- 相似文本匹配
- 文本聚类分析