访问官网
Github
文档
这个仓库提供了精确、高效和可扩展的流行生成模型评估指标实现，包括：
数值精度：与许多其他重新实现不同，torch-fidelity产生的值与参考实现在浮点机器精度范围内匹配。这允许使用torch-fidelity来报告论文中的指标，而不是分散和缓慢的参考实现。阅读更多关于数值精度的信息
效率：不同指标之间共享特征节省了重新计算时间，额外的缓存层尽可能避免重新计算特征和统计数据。高效率允许在训练循环中使用torch-fidelity，例如在每个epoch结束时。阅读更多关于效率的信息
可扩展性：由于高度模块化和抽象输入数据、模型和特征提取器，超越2D图像生成很容易。例如，可以将InceptionV3特征提取器替换为接受3D扫描体积的提取器，如MRI中使用的那样。阅读更多关于可扩展性的信息
总之：PyTorch中快速可靠的GAN评估
安装
pip install torch-fidelity
命令行使用示例
以下是使用torch-fidelity通过命令行评估指标的三个示例。更多示例请参见文档。
简单
CIFAR-10训练集的初始分数：
> fidelity --gpu 0 --isc --input1 cifar10-train
inception_score_mean: 11.23678
inception_score_std: 0.09514061
中等
存储在~/images/目录中的图像的初始分数：
> fidelity --gpu 0 --isc --input1 ~/images/
专业
高效计算input1的ISC和PPL，以及存储在~/generator.onnx中的生成模型与CIFAR-10训练集之间的FID、KID、PRC：
> fidelity \
--gpu 0 \
--isc \
--fid \
--kid \
--ppl \
--prc \
--input1 ~/generator.onnx \
--input1-model-z-type normal \
--input1-model-z-size 128 \
--input1-model-num-samples 50000 \
--input2 cifar10-train
另见：其他使用示例
Python API快速入门
在跟踪生成模型训练性能时，由于计算时间长，每个epoch后评估指标变得昂贵。torch_fidelity通过充分利用缓存来解决这个问题，尽可能避免重新计算常见特征和每个指标的统计数据。在NVIDIA P100 GPU上，为50000个32x32生成图像和cifar10-train计算所有指标仅需2分26秒，相比之下，使用原始代码库需要>10分钟。因此，在整个训练周期内计算20次指标只会使整体训练时间延长一小时。
在以下示例中，假设是CIFAR-10的无条件图像生成设置，以及生成模型generator，它接受128维标准正态噪声向量。
首先，导入模块：
import torch_fidelity
在epoch评估结束时添加以下行：
wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0)
metrics_dict = torch_fidelity.calculate_metrics(
input1=wrapped_generator,
input2='cifar10-train',
cuda=True,
isc=True,
fid=True,
kid=True,
prc=True,
verbose=False,
)
计算得到的指标字典可以直接记录到tensorboard、wandb或控制台：
print(metrics_dict)
输出：
{
'inception_score_mean': 11.23678,
'inception_score_std': 0.09514061,
'frechet_inception_distance': 18.12198,
'kernel_inception_distance_mean': 0.01369556,
'kernel_inception_distance_std': 0.001310059
'precision': 0.51369556,
'recall': 0.501310059
}
另见：完整API参考
与训练循环集成的示例
完整的训练示例请参考sngan_cifar10.py。
示例中固定生成器潜在变量的演变：
可以从这里下载训练示例产生的生成器检查点。
故障排除
警告：脚本fidelity安装在'<某路径>'中，该路径不在PATH中。
这表示独立的fidelity工具将无法使用，除非将上述路径添加到PATH环境变量中。如果不想修改PATH，仍可以通过其完整路径调用工具：<某路径>/fidelity。
引用
建议在依赖torch-fidelity的工作中引用以加强评估协议。为确保引用此仓库时的可重复性，请使用以下BibTeX：
@misc{obukhov2020torchfidelity,
author={Anton Obukhov and Maximilian Seitzer and Po-Wei Wu and Semen Zhydenko and Jonathan Kyl and Elvis Yu-Jing Lin},
year=2020,
title={High-fidelity performance metrics for generative models in PyTorch},
url={https://github.com/toshas/torch-fidelity},
publisher={Zenodo},
version={v0.3.0},
doi={10.5281/zenodo.4957738},
note={Version: 0.3.0, DOI: 10.5281/zenodo.4957738}
}
