Github
Huggingface
文档
论文项目简介
MiniLM-L6-Keyword-Extraction项目是基于句子嵌入模型的一部分，该模型能够将句子和段落映射到384维的致密向量空间中。这一功能主要用于聚类或语义搜索任务。这一项目使用到了名为sentence-transformers的工具，这是一种用于处理句子和段落的强大工具包。
项目使用方法
使用Sentence-Transformers库
在进行使用之前，我们需要确认安装了sentence-transformers库。可以通过以下命令安装：
pip install -U sentence-transformers
然后，我们可以通过以下代码来使用这个模型：
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
embeddings = model.encode(sentences)
print(embeddings)
使用HuggingFace Transformers库
如果没有sentence-transformers库，也可以通过HuggingFace Transformers库来使用该模型。具体实现包括以下步骤：
- 通过transformer模型处理输入
- 使用正确的池化操作应用到上下文化的词嵌入上。
以下是一段示例代码：
from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0]
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
sentences = ['This is an example sentence', 'Each sentence is converted']
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
model_output = model(**encoded_input)
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)
print("Sentence embeddings:")
print(sentence_embeddings)
项目背景
该项目旨在利用一种自监督对比学习目标，在非常大的句子级数据集上训练句子嵌入模型。具体而言，项目使用了预训练模型nreimers/MiniLM-L6-H384-uncased，并在1亿对的句子对数据集上进行了微调。训练的过程中，模型预测出一系列随机采样的其他句子中，究竟哪一句和给定句子是成对出现过的。
整个项目是在Hugging Face组织的使用JAX/Flax进行NLP和CV的社区周中开发的，我们有机会使用了高效的硬件基础设施来运行该项目，使用了7个TPU v3-8，同时得到了来自谷歌Flax, JAX和Cloud团队成员的支持。
预期用途
该模型用于句子和短文段的编码。给定输入文本，它会输出一个向量来捕获语义信息。这一过程适用于信息检索、聚类或句子相似性任务。默认情况下，输入文本如果超出256个词片段将会被截断。
训练过程
预训练
项目使用了预训练模型nreimers/MiniLM-L6-H384-uncased，可以在模型卡片中查阅详细的预训练过程。
微调
在微调过程中，项目采用了一种对比学习目标，具体来说，通过计算每个批次中的每一个句子对的余弦相似度进行调整，并通过比较真实句子对应用交叉熵损失。
超参数
模型的训练是在TPU v3-8上进行的，进行了100,000个步骤的训练，批次大小为1024（每个TPU核心128）。学习率以500逐步升温。序列长度限制为128个token。使用了AdamW优化器和2e-5的学习率。完整的训练脚本可访问本仓库中的train_script.py。
训练数据
为了微调模型，项目结合了多种数据集，总计超过10亿个句子对。每个数据集的采样是基于一个详细阐述在data_config.json文件中的加权概率。
项目使用的数据集包括Reddit评论，S2ORC的引用对，WikiAnswers里面的重复问题对，PAQ (问题，答案)对，还有许多其他来源。具体的数据集及数据量可以通过查阅项目内容了解详细信息。
