快速入门

安装

# 方法1：通过Pypi下载安装
pip install hpsv2

# 方法2：本地安装
git clone https://github.com/tgxs002/HPSv2.git
cd HPSv2
pip install -e . 

# 可选：用于重现我们基准测试的图像将下载到这里
# 默认路径：~/.cache/hpsv2/
export HPS_ROOT=/your/cache/path

安装完成后，我们将展示如何：

• 使用HPS v2比较图像。
• 重现我们的基准测试。
• 使用HPS v2评估您自己的模型。
• 评估我们的偏好模型。

我们还提供了命令行界面用于调试目的。

图像比较

您可以通过运行以下代码对由相同提示生成的几张图像进行评分和比较：

import hpsv2

# imgs_path可以是由相同提示生成的图像路径列表
# 或者字符串类型的图像路径
# 或者PIL.Image.Image类型的图像
result = hpsv2.score(imgs_path, '<prompt>', hps_version="v2.1") 

注意：比较仅对由相同提示生成的图像有意义。您也可以将"v2.0"传递给hps_version以使用我们更新的模型。v2.0和v2.1之间的分数不能直接比较。

基准测试重现

我们还提供了我们基准测试中使用的模型生成的图像用于评估。您可以通过运行以下代码轻松下载数据并评估模型：

import hpsv2

print(hpsv2.get_available_models()) # 获取可访问数据的模型
hpsv2.evaluate_benchmark('<model_name>')

自定义评估

要评估您自己的文本到图像生成模型，您可以根据我们提供的基准提示准备用于评估的图像，方法是运行以下代码：

import os
import hpsv2

# 获取基准提示（<style> = all, anime, concept-art, paintings, photo）
all_prompts = hpsv2.benchmark_prompts('all') 

# 遍历基准提示以生成图像
for style, prompts in all_prompts.items():
    for idx, prompt in enumerate(prompts):
        image = TextToImageModel(prompt) 
        # TextToImageModel是您想要评估的模型
        image.save(os.path.join("<image_path>", style, f"{idx:05d}.jpg")) 
        # <image_path>是存储生成图像的文件夹路径，作为hpsv2.evaluate()的输入。

然后运行以下代码进行评估：

import hpsv2

# <image_path>与前一部分中的<image_path>相同。
# <hps_version>是HPS模型的版本，可以是v2或v2.1。默认为v2。
hpsv2.evaluate("<images_path>", hps_version="<hps_version>") 

偏好模型评估

评估HPS v2与人类偏好选择的相关性：

* 新测试集是另一个类似于HPD v2测试集的测试集，只是图像是由10个更好的模型生成的（Dreamlike Photoreal 2.0, SDXL Refiner 0.9, Realistic Vision, SDXL Base 0.9, Deliberate, ChilloutMix, MajicMix Realistic, Openjourney, DeepFloyd-XL, Epic Diffusion）。

HPS v2检查点可以从这里下载。模型和在线演示也托管在🤗 Hugging Face上的这里。 运行以下命令以在HPD v2测试集和ImageReward测试集上评估HPS v2模型（需要先安装hpsv2包）：

# 在HPD v2测试集上评估
python evaluation.py --data-type test --data-path /path/to/HPD --image-path /path/to/image_folder

# 在ImageReward测试集上评估
python evaluation.py --data-type ImageReward --data-path /path/to/IR --image-path /path/to/image_folder

人类偏好数据集v2

我们数据集中的提示来自DiffusionDB和MSCOCO Captions。DiffusionDB的提示首先由ChatGPT清理以删除有偏见的功能词。人类标注者的任务是对不同文本到图像生成模型从同一提示生成的图像进行排序。总共有约798k对图像比较，涉及超过430k张图像和107k个提示，其中645k对用于训练集，153k对用于测试集。

HPD v2的图像来源：

下载

训练和测试数据现已完全发布，可以从这里下载。 您可以在https://tgxs002.github.io/hpd_test_vis/查看测试数据。以下是截图：

您可以手动下载并解压，或直接使用HPDv2运行以下代码：

from datasets import load_dataset
dataset = load_dataset("HPDv2.py")

数据结构

解压后，您应该得到一个具有以下结构的文件夹：

HPD
---- train/
-------- {image_id}.jpg
---- test/
-------- {image_id}.jpg
---- train.json
---- test.json
---- benchmark/
-------- benchmark_imgs/
------------ {model_id}/
---------------- {image_id}.jpg
-------- drawbench/
------------ {model_id}/
---------------- {image_id}.jpg
-------- anime.json
-------- concept-art.json
-------- paintings.json
-------- photo.json
-------- drawbench.json

注释文件train.json的组织方式如下：

[
    {
        'human_preference': list[int], # 1表示偏好
        'prompt': str,
        'file_path': list[str],
    },
    ...
]

注释文件test.json的组织方式如下：

[
    {
        'prompt': str,
        'image_path': list[str],
        'rank': list[int], # image_path中相同索引图像的平均排名结果
        'raw_annotations': list[{'rank', 'user_hash'}]  # 每个标注者的原始排名结果
    },
    ...
]

基准提示文件，如anime.json，是纯文本提示。对应的图像可以通过索引提示在相应模型的文件夹中找到。

命令行界面

使用HPS v2评估文本到图像生成模型

我们实验中生成的图像可以从这里下载。

以下脚本复现了基准表和我们在DrawBench上的结果（在论文中报告）（需要先安装hpsv2包）：

# HPS v2基准（适用于多个模型）
python evaluation.py --data-type benchmark_all --data-path /path/to/HPD/benchmark --image-path /path/to/benchmark_imgs

# HPS v2基准（仅适用于一个模型）
python evaluation.py --data-type benchmark --data-path /path/to/HPD/benchmark --image-path /path/to/benchmark_imgs/${model_name}

# DrawBench
python evaluation.py --data-type drawbench --data-path /path/to/HPD/benchmark --image-path /path/to/drawbench_imgs

对单个生成图像及其对应提示进行评分

我们在此仓库的asset/images目录中提供了一个示例图像。对应的提示是"A cat with two horns on its head"。

运行以下命令对单个生成图像及其对应提示进行评分（需要先安装hpsv2包）：

python img_score.py --image-path assets/demo_image.jpg --prompt 'A cat with two horns on its head'

其中参数image-path可以接受多个值。

训练人类偏好预测器

要训练您自己的人类偏好预测器，只需更改configs/controller.sh中的相应路径，并运行以下命令：

# 如果您在本地运行
bash configs/HPSv2.sh train 8 local
# 如果您在slurm上运行
bash configs/HPSv2.sh train 8 ${quota_type}

BibTeX

@article{wu2023human,
  title={Human Preference Score v2: A Solid Benchmark for Evaluating Human Preferences of Text-to-Image Synthesis},
  author={Wu, Xiaoshi and Hao, Yiming and Sun, Keqiang and Chen, Yixiong and Zhu, Feng and Zhao, Rui and Li, Hongsheng},
  journal={arXiv preprint arXiv:2306.09341},
  year={2023}
}