项目概述
Meta-Llama-3-8B-GGUF是Meta公司开发的Llama 3系列大语言模型中8B参数版本的量化模型。该项目是基于Meta-Llama-3-8B模型进行GGUF格式量化后的版本,旨在提供更高效的模型部署方案。
模型特点
这是一个专注于对话场景的指令微调模型,在多个行业基准测试中表现优异。项目团队在开发过程中特别注重模型的实用性和安全性的优化,使其能够更好地服务于实际应用场景。
技术细节
该模型采用优化后的Transformer架构,是一个自回归语言模型。通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提升模型的实用性和安全性。模型具有以下关键特征:
- 支持8k的上下文长度
- 采用分组查询注意力机制(GQA)
- 训练数据量超过15T个token
- 知识截止日期为2023年3月
输入输出特性
- 输入:仅支持文本输入
- 输出:可以生成文本和代码
模型系列
Llama 3系列包含两种规模:
- 8B参数版本
- 70B参数版本 这两个版本都提供预训练模型和指令微调模型两种变体,均使用公开可用的在线数据进行训练。
发布信息
- 发布日期:2024年4月18日
- 许可证:提供自定义商业许可
- 模型状态:这是一个基于离线数据集训练的静态模型,未来版本将根据社区反馈继续改进模型安全性
使用支持
Meta提供了详细的技术文档,包括生成参数指南和应用实践方案。用户可以通过官方GitHub仓库获取使用说明和提供反馈,也可以参考llama-recipes获取更多技术细节和应用示例。