访问官网
Github
HuggingfaceIP Adapter Instruct: 使用指令提示解决基于图像条件的歧义
我们推出：IP Adapter Instruct：通过在IP-Adapter-Plus中使用的转换器模型上添加额外的文本嵌入条件，一个模型就可以用最少的设置有效地执行各种图像生成任务。
扩散模型不断推动着最先进图像生成的边界，但这个过程很难进行精细控制：实践证明，文本提示不足以准确描述图像风格或精细的结构细节（如面部）。
ControlNet和IPAdapter通过将生成过程条件化于图像来解决这一缺点，但每个单独的实例仅限于建模单一的条件后验：对于实际用例，在同一工作流程中需要多个不同的后验时，训练和使用多个适配器会变得很麻烦。
我们提出IPAdapter-Instruct，它将自然图像条件与"指令"提示相结合，以在同一条件图像的不同解释之间切换：风格迁移、对象提取、两者兼顾，或是其他内容？IPAdapterInstruct高效地学习多个任务，与专门的单任务模型相比，质量损失最小。
使用方法
pip install -r requirements.txt
从这里下载模型：https://huggingface.co/CiaraRowles/IP-Adapter-Instruct
将它们放在"models"文件夹中
运行demo.py、demo_sdxl.py或demo_sd3_instruct.py
每个模型当前可能的查询如下（不必完全符合这些查询，这只是训练任务的列表）
sd15
"使用图像中的所有内容"
"使用风格"
"使用颜色"
"使用姿势"
"使用构图"
"使用面部"
"使用前景"（测试版）
"使用背景"（测试版）
"使用物体"
sdxl和sd3
"使用图像中的所有内容"
"使用风格"
"使用颜色"
"使用姿势"
"使用构图"
"使用面部"
演示脚本目前会处理cfg和scale设置的具体细节，对于您自己的实现，您可能希望允许对这些进行更多控制。一般来说，所有内容、风格、颜色和面部使用简单的cfg效果更好，对于其他任务使用三向cfg，对于这些后续指令类型，您可能需要降低scale以获得良好的结果。
引用
进行中
