访问官网
Github
文档
论文T2I-CompBench++：增强版全面的组合式文本到图像生成基准测试
Kaiyi Huang1、Chengqi Duan3、Kaiyue Sun1、Enze Xie2、Zhenguo Li2和Xihui Liu1。
1香港大学, 2华为诺亚方舟实验室, 3清华大学
🚩 新特性/更新
- ✅ 2024年6月27日。发布图像-分数对的人工评估。
- ✅ 2024年3月14日。发布更全面的组合式基准测试 T2I-CompBench++。
- ✅ 2024年3月5日。💥 评估指标被 🧨 Stable Diffusion 3 采用。
- ✅ 2023年12月2日。发布用于指标评估的图像生成推理代码。
- ✅ 2023年10月20日。💥 评估指标被 🧨 DALL-E 3 作为组合性评估指标采用。
- ✅ 2023年9月30日。💥 评估指标被 🧨 PixArt-α 作为组合性评估指标采用。
- ✅ 2023年9月22日。💥 论文被Neurips 2023接收。
- ✅ 2023年7月9日。发布数据集、训练和评估代码。
安装依赖
在运行脚本之前，请确保安装库的训练依赖项：
重要提示
我们建议使用最新代码以确保与论文中呈现的结果一致。为确保您可以成功运行示例脚本，请在新的虚拟环境中执行以下步骤。 我们使用的diffusers版本为0.15.0.dev0 您可以从PyPI安装开发版本：
pip install diffusers==0.15.0.dev0
或从提供的源代码安装：
unzip diffusers.zip
cd diffusers
pip install .
然后进入示例文件夹并运行
pip install -r requirements.txt
并使用以下命令初始化🤗Accelerate环境：
accelerate config
微调
- LoRA微调
使用LoRA微调方法，请参考以下链接下载"lora_diffusion"目录：
https://github.com/cloneofsimo/lora/tree/master
- 示例用法
export project_dir=/T2I-CompBench
cd $project_dir
export train_data_dir="examples/samples/"
export output_dir="examples/output/"
export reward_root="examples/reward/"
export dataset_root="examples/dataset/color.txt"
export script=GORS_finetune/train_text_to_image.py
accelerate launch --multi_gpu --mixed_precision=fp16 \
--num_processes=8 --num_machines=1 \
--dynamo_backend=no "${script}" \
--train_data_dir="${train_data_dir}" \
--output_dir="${output_dir}" \
--reward_root="${reward_root}" \
--dataset_root="${dataset_root}"
或运行
cd T2I-CompBench
bash GORS_finetune/train.sh
图像目录应该是包含图像的目录，例如：
examples/samples/
├── a green bench and a blue bowl_000000.png
├── a green bench and a blue bowl_000001.png
└──...
奖励目录应包含一个名为"vqa_result.json"的json文件，该json文件应是一个从{"question_id", "answer"}映射的字典，例如：
[{"question_id": 0, "answer": "0.7110"},
{"question_id": 1, "answer": "0.7110"},
...]
数据集应放在"examples/dataset/"目录中。
评估
- 安装要求
MiniGPT4和ShareGPT4V基于它们的仓库，请参考以下链接获取环境依赖和权重：
https://github.com/Vision-CAIR/MiniGPT-4
https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V
为方便起见，您可以尝试以下命令来安装ShareGPT4V的环境并下载所需的权重。
export project_dir=MLLM_eval/ShareGPT4V-CoT_eval/
cd $project_dir
conda create -n share4v python=3.10 -y
conda activate share4v
pip install --upgrade pip
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install spacy
python -m spacy download en_core_web_sm
mkdir -p Lin-Chen/
cd Lin-Chen/
git lfs install
git clone https://huggingface.co/Lin-Chen/ShareGPT4V-7B_Pretrained_vit-large336-l12
- 示例用法
对于评估，输入图像文件存储在"examples/samples/"目录中，格式与训练数据相同。
BLIP-VQA:
export project_dir="BLIPvqa_eval/"
cd $project_dir
out_dir="../examples/"
python BLIP_vqa.py --out_dir=$out_dir
或运行
cd T2I-CompBench
bash BLIPvqa_eval/test.sh
输出文件格式化为"examples/annotation_blip/"目录中名为"vqa_result.json"的json文件。
UniDet:
下载权重并放在repo experts/expert_weights下：
mkdir -p UniDet_eval/experts/expert_weights
cd UniDet_eval/experts/expert_weights
wget https://huggingface.co/shikunl/prismer/resolve/main/expert_weights/Unified_learned_OCIM_RS200_6x%2B2x.pth
wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/annotator/ckpts/dpt_hybrid-midas-501f0c75.pt
pip install gdown
gdown https://docs.google.com/uc?id=1C4sgkirmgMumKXXiLOPmCKNTZAc3oVbq
对于**2D空间**评估，运行：
export project_dir=UniDet_eval cd $project_dir
python 2D_spatial_eval.py
要计算来自**"复杂"类别**的提示，将**"--complex"参数设置为True**；否则，将其设置为False。输出文件以json文件格式保存为"examples/labels/annotation_obj_detection_2d"目录中的"vqa_result.json"。
对于**数值**评估，运行：
export project_dir=UniDet_eval cd $project_dir
python numeracy_eval.py
输出文件以json文件格式保存为"examples/annotation_num"目录中的"vqa_result.json"。
对于**3D空间**评估，运行：
export project_dir=UniDet_eval cd $project_dir python 3D_spatial_eval.py
输出文件以json文件格式保存为"examples/labels/annotation_obj_detection_3d"目录中的"vqa_result.json"。
#### CLIPScore:
outpath="examples/" python CLIPScore_eval/CLIP_similarity.py --outpath=${outpath}
或运行
cd T2I-CompBench bash CLIPScore_eval/test.sh
要计算来自**"复杂"类别**的提示，将**"--complex"参数设置为True**；否则，将其设置为False。
输出文件以json文件格式保存为"examples/annotation_clip"目录中的"vqa_result.json"。
#### 3合1:
export project_dir="3_in_1_eval/" cd $project_dir outpath="../examples/" python "3_in_1.py" --outpath=${outpath}
输出文件以json文件格式保存为"examples/annotation_3_in_1"目录中的"vqa_result.json"。
#### MLLM评估:
##### GPT-4V:
在第13行添加你的openai api密钥[(说明)](https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key)。
export project_dir=MLLM_eval cd $project_dir python MLLM_eval/gpt4v_eval.py --category "color" --start 0 --step 10
输出文件以json文件格式保存为"examples/gpt4v"目录中的"gpt4v_result\_{start}\_{step}.json"。
在论文中，我们测试了600张图像，设置{start=0, step=10}和{start=1, step=10}，从每个类别现有的3000张图像中选取。
##### ShareGPT4V-CoT:
对于ShareGPT4V评估，运行以下命令：
export project_dir=MLLM_eval/ShareGPT4V-CoT_eval/ cd $project_dir category="color" output_path="../../examples/" python Share_eval.py --category ${category} --file-path ${output_path} --cot
输出文件以json文件格式保存为"examples/sharegpt4v"目录中的"vqa_result.json"。
##### MiniGPT4-CoT:
如果要评估的类别是颜色、形状和纹理之一：
export project_dir=MLLM_eval/MiniGPT4-CoT_eval/ cd $project_dir category="color" img_file="../../examples/samples/" output_path="../../examples/" python mGPT_cot_attribute.py --category=${category} --img_file=${img_file} --output_path=${output_path}
如果要评估的类别是空间、非空间和复杂之一：
export project_dir=MLLM_eval/MiniGPT4_CoT_eval/ cd $project_dir category="non-spatial" img_file="../../examples/samples/" output_path="../../examples" python mGPT_cot_general.py --category=${category} --img_file=${img_file} --output_path=${output_path}
输出文件以csv文件格式保存为output_path中的"mGPT_cot_output.csv"。
### 推理
运行inference.py来可视化图像。
export pretrained_model_path="checkpoint/color/lora_weight_e357_s124500.pt.pt" export prompt="A bathroom with green tile and a red shower curtain" python inference.py --pretrained_model_path "${pretrained_model_path}" --prompt "${prompt}"
**生成用于指标计算的图像。** 运行inference_eval.py来生成测试集中的图像。如论文所述，每个提示生成10张图像用于**指标计算**，我们在所有方法中使用固定的种子。
你可以通过更改"from_file"参数在{color_val.txt, shape_val.txt, texture_val.txt, spatial_val.txt, non_spatial_val.txt, complex_val.txt}中指定测试集。
export from_file="../examples/dataset/color_val.txt" python inference_eval.py --from_file "${from_file}"
### 引用
如果您在研究或应用中使用T2I-CompBench，请使用以下BibTeX进行引用：
```bibtex
@article{huang2023t2icompbench,
title={T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation},
author={Kaiyi Huang and Kaiyue Sun and Enze Xie and Zhenguo Li and Xihui Liu},
journal={arXiv preprint arXiv:2307.06350},
year={2023},
}
许可
本项目采用MIT许可证。详情请参阅"License.txt"文件。
