访问官网
Github
Huggingface
文档
论文项目介绍
简介
Text2vec 是一个强大的文本向量化工具，通过将文本（包括词、句子、段落）转化为向量来表征文本语义。该项目实现了多种文本表征模型，包括 Word2Vec、RankBM25、BERT、Sentence-BERT 和 CoSENT 等，支持文本相似度计算和语义匹配任务。
最新动态
- 2023年9月20日：发布 v1.2.9 版本，支持多卡推理并新增命令行工具（CLI），简化批量文本向量化的操作。
- 2023年9月3日：发布 v1.2.4 版本，支持在中文数据集上使用 CoSENT 方法训练的 FlagEmbedding 模型。
- 2023年7月17日：发布 v1.2.2 版本，支持多种语言的文本匹配模型，通过多语言数据集进行训练，提升了模型性能。
- …（更多版本更新请参见完整版本信息）
项目特色
文本向量表示模型
- Word2Vec：通过腾讯 AI Lab 提供的中文词向量数据实现的词向量检索，适用于句子的简单文字表征。
- SBERT (Sentence-BERT)：在 BERT 基础上改进的句向量表示模型，专注于提高文本匹配的效率和准确性。
- CoSENT：针对句子排序问题设计的模型，通过改进的损失函数提高训练效果，适合复杂语义匹配任务。
- BGE：基于对比学习的微调模型，增强了模型在细粒度语义理解中的表现。
详细的方法和使用说明可以在项目 Wiki 中找到。
评估结果
英文数据集评测
文本匹配任务中，各种模型在英文数据集上的 spearman 系数显示了不同的方法各有优势，例如 GloVe 的基础模型得分为 61.77，而使用 CoSENT 的模型最高达到 80.12。
中文数据集评测
类似地，在中文数据集上，CoSENT 模型在多个子数据集上展示了优越的性能，平均评分显著高于其他方法，尤其在 ATEC、BQ 和 LCQMC 数据集上的表现尤为突出。
安装指南
安装 Text2vec 非常简单，可以通过 pip 命令安装：
pip install torch # 或 conda install pytorch
pip install -U text2vec
或者，通过克隆 GitHub 仓库安装：
pip install torch # 或 conda install pytorch
git clone https://github.com/shibing624/text2vec.git
cd text2vec
pip install --no-deps .
使用说明
文本向量表征
使用预训练模型计算文本的向量表示，示例代码如下：
from text2vec import SentenceModel
m = SentenceModel()
embedding = m.encode("如何更换花呗绑定银行卡")
print("Embedding shape:", embedding.shape)
命令行工具
Text2vec 还提供了命令行工具，支持批量获取文本向量，这极大地方便了大规模文本处理需求。
text2vec --input_file input.txt --output_file out.csv --batch_size 128 --multi_gpu True
下游任务
Text2vec 适用于多种下游任务：
- 句子相似度计算：支持细粒度语义相似度分析。
- 文本匹配搜索：可用于文档检索中的相似文本搜索，适合应用于各种语义匹配场景。
提供的示例代码展示了如何快速实现这些功能，帮助用户快速上手。
合作与联系
对于有意贡献或需要进一步技术支持的用户，项目团队热忱欢迎各界人士加入合作与讨论。联系信息和参与说明可在项目页中找到。
