German_Semantic_V3 - 德语句子嵌入模型，增强德语语义处理

German_Semantic_V3项目介绍

German_Semantic_V3是一个用于生成德文语义句子嵌入的模型，它是German_Semantic_STS_V2的后继版本，同时也包括一个强调性能的变体German_Semantic_V3b。这个项目以丰富的功能和优质的性能为特色，为用户提供了灵活的使用体验和广泛的应用场景。

主要更新和特点

灵活性：模型经过训练，可处理不同长度的序列和嵌入截断，尽管较小的维度会对质量有轻微影响。
序列长度：支持长达8192个词元的嵌入（比V2版本高出16倍），适合处理更长的文本。
嵌套式嵌入（Matryoshka Embeddings）：模型支持从1024到64的嵌入维度，存储更小的嵌入时，几乎不损失质量。
专注德语：这是一个仅限德语的模型，具备丰富的德国和德文主题文化知识，有助于在处理较短查询以及许多其他情况下的表现更佳。
知识更新和高质量数据：以deepset的gbert-large为基础，通过在occiglot提供的10亿个德文词元上进行的第二阶段预训练，确保最新的知识。
错别字和大小写处理：模型针对轻微的错别字和大小写进行了鲁棒性优化，虽然这可能略微削弱模型在基准测试中的表现，但在实际应用中表现更为稳定。
池化功能：从平均池化转向使用CLS标记，这样的改变在第二阶段预训练后表现出更好的学习效果并提供更多灵活性。
许可证：Apache 2.0

使用指南

模型提供了一些内嵌的功能，可以通过以下代码实现：

from sentence_transformers import SentenceTransformer

matryoshka_dim = 1024  # 嵌入的维度，选择范围有：64, 128, 256, 512, 768, 1024
model = SentenceTransformer("aari1995/German_Semantic_V3", trust_remote_code=True, truncate_dim=matryoshka_dim)

# 可以在加载后改变截断维度和最大序列长度
# model.truncate_dim = 64
# model.max_seq_length = 512

# 进行推理
sentences = [
    'Eine Flagge weht.',
    'Die Flagge bewegte sich in der Luft.',
    'Zwei Personen beobachten das Wasser.',
]

# 生成FP16嵌入（节省空间，无质量损失）
embeddings = model.encode(sentences, convert_to_tensor=True).half()

# 生成FP32嵌入（占用更多空间）
# embeddings = model.encode(sentences)

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)

通过以上代码，用户可以轻松创建德语语义句子嵌入，实现各种句子相似度分析。