Chinese-LLaMA-Alpaca-3学习资料汇总 - 基于Meta Llama 3的优秀中文开源大模型
Chinese-LLaMA-Alpaca-3是由哈工大讯飞联合实验室开源的基于Meta最新Llama 3的中文大语言模型项目。本文将全面介绍该项目的主要资源,帮助读者快速上手使用这个优秀的中文开源大模型。
模型简介
Chinese-LLaMA-Alpaca-3主要包括以下模型:
- Llama-3-Chinese-8B:中文Llama-3基座模型
- Llama-3-Chinese-8B-Instruct:中文Llama-3指令精调模型
主要特点:
- 使用原版Llama-3 128K大词表,无需额外扩充
- 上下文长度由4K扩展至8K
- 采用分组查询注意力(GQA)机制提升效率
- 全新的指令模板,与Llama-2不兼容
模型下载
模型下载地址:
提供了完整版、LoRA版和GGUF量化版供选择。
推理与部署
支持以下主流部署方式:
- llama.cpp:支持CPU/GPU推理,提供丰富的量化选项
- 🤗transformers:原生transformers推理接口
- text-generation-webui:提供Web UI界面
- LM Studio:多平台聊天软件(带界面)
- Ollama:本地运行大模型推理
详细教程请参考项目Wiki。
模型效果
在C-Eval、CMMLU等中文评测集上表现优异:
| 模型 | C-Eval (val) | CMMLU |
|---|---|---|
| Llama-3-Chinese-8B-Instruct-v3 | 55.2 | 54.4 |
| Meta-Llama-3-8B-Instruct | 51.3 | 53.0 |
同时在大模型竞技场也取得了不错的成绩。
训练与精调
项目提供了预训练脚本和指令精调脚本,可以进一步训练或微调模型。同时开源了部分指令数据集。
更多资源
Chinese-LLaMA-Alpaca-3是一个优秀的中文开源大模型项目,欢迎读者尝试使用并提供反馈,共同推动中文大模型的发展。
