Kolors-IP-Adapter-Plus - 增强图像细节保留与训练数据多样性

Kolors-IP-Adapter-Plus 项目介绍

Kolors-IP-Adapter-Plus 项目结合了更强大的图像特征提取器和多样化的高质量训练数据，旨在提升图像生成的性能和质量。项目通过基于 Kolors 基础模型（Kolors-Basemodel）提供了适配器权重和推理代码，以便更好地将文本描述转换为图像。

项目的改进

更强大的图像特征提取器：项目采用了 Openai-CLIP-336 模型作为图像编码器，使得生成的图像更能保留参考图像的细节。
多样化的高质量训练数据：为了提高模型性能，项目构建了一个大规模的高质量训练数据集，受到其他工作的数据策略的启发。配对训练数据能够有效提高模型的表现。

评估方法

为了评估 Kolors-IP-Adapter-Plus 的性能，项目组创建了一个包含200多个参考图像和文本提示的测试集合，并邀请了多位图像专家对不同模型生成的结果进行公平评分。评分标准包括视觉吸引力、文本忠实性、图像忠实性和整体满意度。其中，Kolors-IP-Adapter-Plus 在整体满意度评分上表现最佳。

模型	平均整体满意度	平均图像忠实性	平均视觉吸引力	平均文本忠实性
SDXL-IP-Adapter-Plus	2.29	2.64	3.22	4.02
Midjourney-v6-CW	2.79	3.0	3.92	4.35
Kolors-IP-Adapter-Plus	3.04	3.25	4.45	4.30

需注意的是，Kolors-IP-Adapter-Plus 使用的文本提示为中文，而其他方法使用的是英文提示。

使用说明

环境需求

项目的依赖和安装步骤与Kolors基础模型基本相同。

克隆库和安装依赖

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

权重下载链接：

huggingface-cli download --resume-download Kwai-Kolors/Kolors-IP-Adapter-Plus --local-dir weights/Kolors-IP-Adapter-Plus

或

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus weights/Kolors-IP-Adapter-Plus

推理示例：

python ipadapter/sample_ipadapter_plus.py ./ipadapter/https://raw.githubusercontent.com/junqiangwu/Kolors/master/ipadapter/asset/test_ip.jpg "穿着黑色T恤衫，上面中文绿色大字写着“可图”"

python ipadapter/sample_ipadapter_plus.py ./ipadapter/https://raw.githubusercontent.com/junqiangwu/Kolors/master/ipadapter/asset/test_ip2.png "一只可爱的小狗在奔跑"

# 图像将保存到 "scripts/outputs/" 目录中

注意：

基于 Kolors 的 IP-Adapter-FaceID 模型也将在不久之后发布！

致谢

感谢 IP-Adapter 提供的代码库。