访问官网
Github
论文🌀 ControlNeXt
📝 项目页面 | 📚 论文
ControlNeXt是我们用于可控生成的官方实现，支持图像和视频生成，并结合了多种形式的控制信息。在这个项目中，我们提出了一种新方法，与ControlNet相比，可将可训练参数减少高达90%，实现更快的收敛速度和卓越的效率。这种方法可以直接与其他LoRA技术结合，以改变风格并确保更稳定的生成。更多细节请参考示例。
本项目仍在迭代开发中。代码和模型可能随时更新。稍后将提供更多信息。
经验分享
我们在Issue中分享了更多训练经验。 我们花了大量时间找到这些经验。现在与大家分享。希望这些能对你有所帮助！
模型库
-
ControlNeXt-SDXL [ 链接 ] : 可控图像生成。我们的模型基于Stable Diffusion XL 构建。可训练参数更少，收敛更快，效率更高，可与LoRA集成。
-
ControlNeXt-SVD-v2 [ 链接 ] : 通过人体姿势序列控制生成视频。在v2版本中，我们实现了几项改进：更高质量的收集训练数据集，更大的训练和推理批次帧数，更高的生成分辨率，通过持续训练增强人类相关的视频生成，以及用于推理的姿势对齐以提高整体性能。
-
ControlNeXt-SVD [ 链接 ] : 通过人体姿势序列控制生成视频。这可以看作是对AnimateAnyone实现的一次尝试。然而，我们的模型基于Stable Video Diffusion构建，采用了更简洁的架构。
-
ControlNeXt-SD1.5 [ 链接 ] : 可控图像生成。我们的模型基于Stable Diffusion 1.5构建。可训练参数更少，收敛更快，效率更高，可与LoRA集成。
-
ControlNeXt-SD3 [ 链接 ] : 敬请期待。
🎥 示例
更多示例请参考我们的项目页面。
ControlNeXt-SDXL
ControlNeXt-SVD-v2
如果无法加载视频，您也可以直接从这里和这里下载。 或者您可以在我们的项目页面或哔哩哔哩观看。
ControlNeXt-SVD
如果无法加载视频，您也可以直接从这里下载它们。
ControlNeXt-SD1.5
