访问官网
Github预训练语言模型
本仓库提供了由华为诺亚方舟实验室开发的最新预训练语言模型及其相关优化技术。
目录结构
-
PanGu-α 是一个大规模自回归预训练中文语言模型，参数规模最高达2000亿。该模型基于MindSpore开发，并在昇腾 910 AI处理器集群上训练。
-
NEZHA-TensorFlow 是一个基于TensorFlow开发的预训练中文语言模型，在多个中文自然语言处理任务上达到了最先进的性能。
-
NEZHA-PyTorch 是NEZHA的PyTorch版本。
-
NEZHA-Gen-TensorFlow 提供了两个GPT模型。一个是乐府，一个中国古典诗歌生成模型，另一个是通用中文GPT模型。
-
TinyBERT 是一个压缩版的BERT模型，在推理时尺寸减小7.5倍，速度提升9.4倍。
-
TinyBERT-MindSpore 是TinyBERT的MindSpore版本。
-
DynaBERT 是一个具有自适应宽度和深度的动态BERT模型。
-
BBPE 提供了一个字节级词汇构建工具及其对应的分词器。
-
PMLM 是一个概率掩码语言模型。无需复杂的双流自注意力机制，PMLM可以被视为XLNet的简单近似。
-
TernaryBERT 是一个基于PyTorch开发的BERT模型权重三值化方法。
-
TernaryBERT-MindSpore 是TernaryBERT的MindSpore版本。
-
HyperText 是一个基于双曲几何理论的高效文本分类模型。
-
BinaryBERT 是一个使用三值权重分裂的BERT模型权重二值化方法，基于PyTorch开发。
-
AutoTinyBERT 提供了一个可满足不同延迟要求的模型库。
-
CeMAT 是一个通用的序列到序列多语言预训练语言模型，适用于自回归和非自回归神经机器翻译任务。
-
Noah_WuKong 是一个大规模中文视觉语言数据集和基于该数据集训练的一组基准模型。
-
Noah_WuKong-MindSpore 是Noah_WuKong的MindSpore版本。
-
CAME 是一个置信度引导的自适应内存高效优化器。
