Github
文档Mixtral-Offloading 项目介绍
Mixtral-Offloading 项目旨在实现对 Mixtral-8x7B 模型的高效推理。这个项目的目标是通过多种技术手段，使这些复杂的模型能够在现有计算资源的条件下以更高效的方式进行推理。
工作原理
项目的核心在于结合若干技术来提高 Mixtral-8x7B 模型的推理效率，主要包括以下几种方法：
-
HQQ 混合量化：在模型的注意力层和专家（Experts）部分，我们使用不同的量化方案。这种方式让模型能够兼顾 GPU 和 CPU 的内存限制，以更高效的方式运行。
-
专家混合实时卸载策略（MoE Offloading Strategy）：将每层的专家分别卸载，仅在需要时再加载到 GPU。通过在一个最近最少使用（LRU）缓存中存储活跃专家来减少 GPU 和 RAM 之间在计算相邻标记激活时的通信需求。这种策略有效地管理了内存使用，并加快了处理速度。
如果希望了解更多关于我们的方法和成果的信息，请参考我们的技术报告。
如何运行项目
如果您想体验 Mixtral-Offloading 项目，我们提供了一个演示笔记本：./notebooks/demo.ipynb。您也可以通过 
在线打开体验。
目前，项目还没有提供可以在本地运行的命令行脚本。不过，您可以参考演示笔记本自行创建。此外，我们也非常欢迎社区成员的贡献！
正在进行的工作
需要注意的是，我们技术报告中描述的部分技术尚未在这个仓库中实现。但我们正在积极开发，以便在不久的将来支持这些功能。
即将添加的一些功能包括：
- 对其他量化方法的支持
- 推测性专家预提取
Mixtral-Offloading 项目仍在不断改进和完善中，我们期待为用户提供更优化的模型推理体验。
