Github
HuggingfaceMindONE
本仓库包含多模态理解和内容生成领域的最先进算法、模型和有趣项目
ONE 是 "ONE for all" 的缩写
新闻
来自 Stable Diffusion 3 的 Hello MindSpore！
-
mindone/diffusers 现在支持 Stable Diffusion 3。快来试试吧！
import mindspore from mindone.diffusers import StableDiffusion3Pipeline pipe = StableDiffusion3Pipeline.from_pretrained( "stabilityai/stable-diffusion-3-medium-diffusers", mindspore_dtype=mindspore.float16, ) prompt = "A cat holding a sign that says 'Hello MindSpore'" image = pipe(prompt)[0][0] image.save("sd3.png")
mindone/examples 下支持的模型
| 模型 | 特性 |
|---|---|
| cambrian | 正在开发中 |
| minicpm-v | 正在开发 v2.6 |
| internvl | 正在开发 v1.0 v1.5 v2.0 |
| llava | 正在开发 llava 1.5 & 1.6 |
| vila | 正在开发中 |
| pllava | 正在开发中 |
| hpcai open sora | 支持 v1.0/1.1/1.2 大规模训练，包括数据并行/模型并行/零冗余优化 |
| open sora plan | 支持 v1.0/1.1/1.2 大规模训练，包括数据并行/模型并行/零冗余优化 |
| stable diffusion | 支持 sd 1.5/2.0/2.1，原始微调、LoRA、DreamBooth、文本反转 |
| stable diffusion xl | 支持 sai 风格（Stability AI）原始微调、LoRA、DreamBooth |
| dit | 支持文本到图像微调 |
| latte | 支持无条件文本到图像微调 |
| animate diff | 支持运动模块和 LoRA 训练 |
| video composer | 支持带有运动转移等的条件视频生成 |
| ip adapter | 正在重构 |
| t2i-adapter | 正在重构 |
在 MindSpore 上运行 HuggingFace Diffusers
mindone diffusers 正在积极开发中，大多数任务已在 MindSpore 2.2.10 和昇腾 910 硬件上测试。
| 组件 | 特性 |
|---|---|
| pipeline | 支持 30 多种文本到图像、文本到视频、文本到音频任务 |
| models | 支持与 HuggingFace Diffusers 相同的自动编码器和 Transformer 基础模型 |
| schedulers | 支持与 HuggingFace Diffusers 相同的 10 多种 DDPM 和 DPM 求解器调度器 |
待办事项
- 适配 MindSpore 2.3.0 版本
- 适配 HuggingFace Diffusers 0.30.0 版本
