Awesome Pretrained Chinese NLP Models
在自然语言处理领域中,预训练语言模型(Pretrained Language Models)已成为非常重要的基础技术,本仓库主要收集目前网上公开的一些高质量中文预训练模型、中文多模态模型、中文大语言模型等内容(感谢分享资源的大佬),并将持续更新......
国内下载HuggingFace仓库模型推荐使用HuggingFace镜像地址: https://hf-mirror.com/
Expand Table of Contents
-
Table
备注
ND: Non-Causal Decoder or Prefix LM
CD: Causal Decoder
ED: Encoder-Decoder
Base-LLM
大规模基础模型:表格中只罗列出参数量
大于7B
以上模型。
模型 | 大小 | 时间 | 语言 | 领域 | 下载 | 项目地址 | 机构/个人 | 架构 | 文献 | 备注 |
---|---|---|---|---|---|---|---|---|---|---|
Tele-FLM | 52B/102B/1TB | 2024-07 | 多语 | 通用 | [🤗HF] | / | CofeAI | CD | Tele-FLM Technical Report | |
meta-llama-3.1 | 8/70/405B | 2024-07 | 多语 | 通用 | [🤗HF] | llama3 | meta-llama | CD | ||
internlm2.5-Base | 7B | 2024-07 | 中英 | 通用 | [🤗HF] | InternLM | InternLM | CD | 📜Technical Report | |
MAP-NEO-Base | 2/7B | 2024-06 | 中英 | 通用 | 🤗HF | MAP-NEO | multimodal-art-projection | CD | Paper | |
Nemotron-4-Base | 340B | 2024-06 | 多语 | 通用 | 🤗HF | / | NVIDIA | CD | technical report. | |
Index-Base | 1.9B | 2024-06 | 中英 | 通用 | 🤗HF | Index-1.9B | bilibili | CD | Report | |
Qwen2-Base | 0.5/2/5/7/72B | 2024-06 | 多语 | 通用 | 🤗HF | Qwen2 | QwenLM | CD | Blog | |
GLM-4-Base | 9B | 2024-06 | 多语 | 通用 | 🤗HF | GLM-4 | THUDM | / | ||
Yi-1.5-Base | 6/9/34B | 2024-05 | 中英 | 通用 | 🤗HF | Yi-1.5 | 01-ai | CD | Paper | |
DeepSeek-V2-Base | A21B/236B | 2024-05 | 中英 | 通用 | 🤗HF | DeepSeek-V2 | deepseek-ai | MOE | Paper | |
Llama-3-Base | 8/70B | 2024-04 | 多语 | 通用 | 🤗HF | llama3 | Meta Llama | CD | ||
Zhinao-Base | 7B | 2024-04 | 中英 | 通用 | 🤗HF 🤖 | / | 奇虎科技 | CD | ||
XVERSE-MoE | A4.2B/25.8B | 2024-04 | 中英 | 通用 | 🤗HF | XVERSE-MoE-A4.2B | 元象科技 | CD | ||
SoftTiger-Base | 13/70B | 2024-04 | 中英 | 通用 | 🤗HF | TigerBot | TigerResearch | CD | ||
HammerLLM | 1.4b | 2024-04 | 中英 | 通用 | 🤗HF | HammerLLM | DataHammer | |||
Mengzi3-Base | 13B | 2024-04 | 中英 | 通用 | 🤗HF | Mengzi3 | Langboat | CD | ||
Breeze-Base | 7B | 2024-02 | 中英 | 通用 | 🤗HF | / | MediaTek Research | |||
TowerBase | 7/13B | 2024-02 | 多语 | 通用 | [🤗HF] | / | Unbabel | CD | ||
Qwen1.5-Base | 0.5/1.8/4 7/14/32/72/110B | 2024-02 | 中英 | 通用 | [🤗HF] | Qwen1.5 | Qwen | / | Blog | |
LongAlign-Base | 6/7/13B | 2024-02 | 中英 | 通用 | [🤗HF] | LongAlign | THUDM | / | Paper | |
Chinese-Mixtral-Base | 8x7B | 2024-02 | 中英 | 通用 |