refiners

在基础模型之上训练和运行适配器的最简单方法

宣言 | 文档 | 指南 | 讨论 | Discord

---

最新消息 🔥

• 添加了 IC-Light 用于操控图像的照明效果
• 添加了多重超分辨率器用于生成高分辨率图像，灵感来自 Clarity Upscaler (HF Space)
• 添加了 HQ-SAM 用于通过 Segment Anything 进行高质量掩码预测
• 添加了 SDXL-Lightning
• 为 Stable Diffusion XL 添加了 潜在一致性模型 和 LCM-LoRA
• 为 Stable Diffusion 模型添加了 风格对齐适配器
• 为 Stable Diffusion XL 添加了 ControlLoRA (v2) 适配器
• 在求解器中添加了 欧拉方法（由 @israfelsr 贡献）
• 添加了 DINOv2 用于高性能视觉特征提取（由 @Laurent2916 贡献）
• 添加了 FreeU 用于无成本提升质量（由 @isamu-isozaki 贡献）
• 添加了 重启采样 用于改进图像生成（示例）
• 添加了 自注意力引导 用于避免过于平滑的图像等问题（示例）
• 添加了 T2I-Adapter 用于额外引导（示例）
• 添加了 MultiDiffusion 用于全景图像等
• 添加了 IP-Adapter，即图像提示（示例）
• 在基础模型中添加了 Segment Anything
• 在基础模型中添加了 SDXL 1.0
• 实现了向 CLIP 文本编码器添加新概念的功能，例如通过 文本反转

安装

目前推荐使用 Rye 从源代码安装 Refiners：

git clone "git@github.com:finegrain-ai/refiners.git"
cd refiners
rye sync --all-features

文档

Refiners 提供了基于 MkDocs 的文档网站，可在 https://refine.rs 访问。您可以在那里找到 快速入门指南、关键概念 的描述，以及深入的基础模型适配 指南。

优秀的适配论文

如果您有兴趣了解基础模型适配的多样化用例（可能超出 Refiners 目前支持的特定适配器范围），我们建议您查看以下出色的论文：

• ControlNet
• T2I-Adapter
• IP-Adapter
• 医疗SAM适配器
• 3DSAM适配器
• SAM适配器
• 跨模态注意力适配器
• UniAdapter

使用Refiners的项目

• https://github.com/brycedrennan/imaginAIry

致谢

我们从以下优秀项目中获得了灵感：

• tinygrad - 介于PyTorch和karpathy/micrograd之间的项目
• Composer - 用于高效神经网络训练的PyTorch库
• Keras - 为人类设计的深度学习框架

引用

@misc{the-finegrain-team-2023-refiners,
  author = {Benjamin Trom and Pierre Chapuis and Cédric Deltheil},
  title = {Refiners: 在基础模型之上训练和运行适配器的最简单方法},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/finegrain-ai/refiners}}
}