Github
Huggingface
文档
论文InstantID
InstantID：秒级零样本身份保持生成
InstantID 是一种出色的免调整方法，专为仅使用单张图像进行身份保持生成而设计。该方法支持多种下游任务，在该领域树立了新的标准。
本仓库是一个非官方实现，fork 自原始的 InstantID 仓库(https://github.com/InstantID/InstantID )。它包含了原始实现中未包含的额外训练代码。
我们衷心感谢"InstantID：秒级零样本身份保持生成"的创作者将其创新成果公开。在本仓库中，我们开发了训练代码，并在我们自己的专有数据集上进行训练后，成功复现了原作者预训练模型所展示的结果。
演示
为了训练我们的模型，我们使用 train_instantId_sdxl.sh 脚本。该脚本配置为高效处理我们指定的私有数据集上的训练过程。
对于推理，我们使用 infer_from_pkl.py 脚本。该脚本允许我们使用训练好的模型执行推理操作。在处理之前，使用 get_face_info.py 脚本调用 FaceAnalysis，将相关的面部信息存储在 PKL 文件中。
通过遵循这个过程，我们可以在私有数据集上展示训练和官方推理脚本的有效性，从而获得令人印象深刻的结果。
下载
你可以直接从 Huggingface 下载模型。 你也可以在 Python 脚本中下载模型：
from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")
如果你无法访问 Huggingface，可以使用 hf-mirror 下载模型。
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download InstantX/InstantID --local-dir checkpoints
对于人脸编码器，你需要通过此 URL 手动下载到 models/antelopev2，因为默认链接无效。准备好所有模型后，文件夹结构应如下所示：
.
├── models
├── checkpoints
├── ip_adapter
├── pipeline_stable_diffusion_xl_instantid.py
└── README.md
使用方法
# !pip install opencv-python transformers accelerate insightface
import diffusers
from diffusers.utils import load_image
from diffusers.models import ControlNetModel
import cv2
import torch
import numpy as np
from PIL import Image
from insightface.app import FaceAnalysis
from pipeline_stable_diffusion_xl_instantid import StableDiffusionXLInstantIDPipeline, draw_kps
# 准备 'antelopev2'，位于 ./models 下
app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))
# 准备模型，位于 ./checkpoints 下
face_adapter = f'./checkpoints/ip-adapter.bin'
controlnet_path = f'./checkpoints/ControlNetModel'
# 加载 IdentityNet
controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16)
pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
... "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16
... )
pipe.cuda()
# 加载适配器
pipe.load_ip_adapter_instantid(face_adapter)
然后，你可以自定义你自己的人脸图像
# 加载图像
image = load_image("your-example.jpg")
# 准备人脸嵌入
face_info = app.get(cv2.cvtColor(np.array(face_image), cv2.COLOR_RGB2BGR))
face_info = sorted(face_info, key=lambda x:(x['bbox'][2]-x['bbox'][0])*x['bbox'][3]-x['bbox'][1])[-1] # 只使用最大的人脸
face_emb = face_info['embedding']
face_kps = draw_kps(face_image, face_info['kps'])
pipe.set_ip_adapter_scale(0.8)
prompt = "analog film photo of a man. faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage, masterpiece, best quality"
negative_prompt = "(lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured (lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch,deformed, mutated, cross-eyed, ugly, disfigured"
# 生成图像
image = pipe(
... prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8
... ).images[0]
使用技巧
- 如果你对相似度不满意，可以增加 controlnet_conditioning_scale (IdentityNet) 和 ip_adapter_scale (Adapter) 的权重。
- 如果生成的图像过饱和，减少 ip_adapter_scale。如果不起作用，减少 controlnet_conditioning_scale。
- 如果文本控制不如预期，减少 ip_adapter_scale。
- 好的基础模型总是能带来不同。
免责声明
本项目根据 Apache 许可证 发布，旨在对 AI 驱动的图像生成领域产生积极影响。用户可以自由使用此工具创建图像，但有义务遵守当地法律并负责任地使用。开发者不会对用户可能的滥用承担任何责任。
主要贡献者
chenxinhua: chenxinhua1002@163.com
