Github
Huggingface
论文Rocket-3B-llamafile项目介绍
项目背景
Rocket-3B-llamafile 项目专注于提供 llamafile 格式的模型文件，这些文件基于 pansophic 的 Rocket 3B 模型。Rocket 3B 是一个大型语言模型，具有 30 亿个参数，通过混合公共数据集进行训练，并采用了直接偏好优化 (DPO) 方法进行微调。这个项目的目标是通过 llamafile 格式提供更高效的模型计算体验。
llamafile 格式介绍
llamafile 是 Mozilla Ocho 于2023年11月20日推出的一种新格式。它使用 Cosmopolitan Libc 将大型语言模型（LLM）权重转换为可执行的 llama.cpp 二进制文件。这些文件可以在 ARM64 和 AMD64 架构的六个操作系统上运行，具有广泛的兼容性和灵活性。
支持的工具与库
以下是支持 llamafile 格式的一些客户端和库：
- llama.cpp: 提供CLI和服务器选项。
- text-generation-webui: 提供强大功能和扩展，支持GPU加速。
- KoboldCpp: 完整的Web UI，适用于各种平台和GPU架构，尤其擅长故事创作。
- LM Studio: 易于使用的本地GUI，支持Windows和macOS (Silicon) 的GPU加速。
- LoLLMS Web UI: 提供丰富的功能和完整的模型库，便于模型选择。
- Faraday.dev: 基于字符的聊天GUI，支持Windows和macOS。
- ctransformers: 提供GPU加速和与OpenAI兼容的AI服务器。
- llama-cpp-python: 提供Python库，支持GPU加速。
- candle: 专注于性能的Rust机器学习框架。
提供文件
项目提供多种量化参数的文件以供选择：
- 模型文件从2比特到8比特不等
- 每个文件都有具体的使用场景，包括 RAM 需求和预期文件大小
量化方法
项目包含多种新的量化方法，包括 GGML_TYPE_Q2_K 到 GGML_TYPE_Q6_K 每种方法在处理权重和缩放方面都有不同的优化，以适应不同计算需求。
如何下载和使用llamafile
下载和使用这些模型文件，用户可以选择特定文件进行下载，建议使用 huggingface-hub Python 库以便于下载管理。此外，一些工具和库也提供了自动下载模型功能，简化了用户的操作过程。
性能表现
Rocket 3B 模型尽管参数较小，在多个基准测试中表现卓越，例如MT-Bench和 AlpacaEval，大大超过了体积更大的模型。特别是在 MT-Bench 评估的多个类别中，与其它开源模型如 Llama2-Chat-7B、Falcon-40B-Instruct 和 Guanaco-65B 相比，Rocket-3B 显示出显著的性能优势。
社区和支持
用户可以通过 jartine AI 的 Discord 专用服务器获取进一步支持并参与讨论。此外，社区也欢迎贡献，以帮助扩大和改进项目。
如此，这就是 Rocket-3B-llamafile 项目的全面介绍。
