访问官网
Github
文档
论文onediff 项目介绍
项目概述
onediff 是一个专为扩散模型设计的开箱即用加速库。它旨在简化流行用户界面和库（例如 HF diffusers 和 ComfyUI）的加速过程，并为扩散模型提供强大的 GPU 内核优化和 PyTorch 代码编译工具。
项目功能
- 加速支持：通过简单的设置，用户即可在常用的扩散模型应用程序中感受到显著的加速效果。
- 代码编译工具：onediff 提供了针对 PyTorch 代码编译的工具，提高运行效率。
- GPU优化内核：强大的 GPU 内核优化，支持目前市面上最先进的扩散模型，提升运算速度。
新闻更新
- 2024年7月23日，Kolors 模型加速提速达 1.7 倍。
- 2024年6月18日，为 DiT 模型提供加速支持。
- 2024年4月13日，onediff 1.0 发布，实现 SD 和 SVD模型的一行代码加速。
- 2024年1月12日，通过 OneDiff DeepCache 和 Int8，将稳定视频扩散加速至原来的三倍。
- 2023年12月19日，利用 DeepCache 和 OneDiff 将 SDXL 加速至三倍。
用途说明
- 兼容性：用户可以在 HF diffusers 和 ComfyUI中使用 onediff，实现对稳定扩散模型的加速。
- 性能比较：提供了与其他工具相比的性能数据，使用户能够直观了解加速效果。
- 质量评估：通过维护基准测试来保证加速后的生成质量不下降。
部署与安装指南
- 安装 torch 和 diffusers：用户需要选择最新版本的 torch 和 transformers，支持自定义安装。
- 编译器后端安装选择：
- Nexfort：推荐用于支持 DiT 模型结构或 H100 设备。
- OneFlow：适用于其他使用场景，注意未来其优化将逐渐向 Nexfort过渡。
适用于生产环境的加速
- 模块编译：支持对 PyTorch 模块的编译，加速不同输入形状的加载时间。
- 分布式运行：用户可以利用 onediff 的编译器在分布式环境中实现单设备加速。
企业解决方案
onediff 还为企业用户提供高级定制优化服务，包括更高效的编译器优化、更快速的工作流部署解决方案以及技术支持服务。
总结
作为扩散模型加速领域的前沿方案，onediff 不仅为开发者提供了显著的性能提升，同时也简化了模型部署和维护的复杂度。其对开源及社区工作的支持更是让用户能够快速获得帮助和支持，是扩散模型加速领域的一次重要革新。
