Github
Huggingface
论文项目概述
Multilingual-MiniLM-L12-H384是一个基于MiniLM的多语言预训练模型，它通过知识蒸馏技术从大型语言模型中提取精华，实现了模型的轻量化。该模型支持15种语言，包括英语、阿拉伯语、中文等主流语言，在保持较好性能的同时大幅减少了模型参数量。
模型特点
- 采用12层transformer结构
- 隐藏层维度为384
- 注意力头数为12
- transformer参数量仅为21M
- 嵌入层参数量为96M
- 使用与XLM-R相同的分词器
- 模型架构与BERT保持一致
性能评估
该模型在两个重要的跨语言任务上进行了评估：
XNLI跨语言自然语言推理
在XNLI基准测试中，模型展现出优秀的跨语言理解能力：
- 平均得分达到71.1分
- 在英语任务上取得81.5的高分
- 在其他语言上也保持稳定的表现
- 相比原始BERT等模型，以更小的参数量实现了接近的性能
MLQA跨语言问答
在MLQA评测中，模型同样表现出色：
- F1平均分达到63.2
- 英语任务上取得79.4的优异成绩
- 在多个语言上均衡发展，表现稳定
- 以四分之一的参数量达到接近XLM-R Base的性能
应用价值
该模型具有以下显著优势：
- 轻量级：参数量大幅减少，便于部署
- 多语言支持：可用于跨语言场景
- 性能稳定：在各项任务中表现均衡
- 实用性强：适合资源受限的实际应用场景
使用说明
模型使用需要注意：
- 需要使用XLMRobertaTokenizer作为分词器
- 不支持直接使用AutoTokenizer
- 提供了基于transformers库的微调代码
- 支持在XNLI等任务上进行进一步训练
