imgutils: 一个便捷的动漫风格图像处理库

imgutils

imgutils简介

imgutils是一个便捷易用的动漫风格图像数据处理库,集成了多种先进的动漫风格图像处理模型。该库由deepghs团队开发,旨在为动漫图像处理提供一站式解决方案。

imgutils提供了丰富的功能,包括但不限于:

差分(立绘)检测与聚类
对比性人物图像预训练
目标检测(人脸、头部、人物)
边缘检测/线稿生成
单色图像检测
图像分级
截断图像检查
图像标签生成
人物提取

这些功能涵盖了动漫图像处理的多个方面,可以满足研究者、开发者和爱好者的各种需求。

安装

imgutils的安装非常简单,可以通过pip直接从PyPI官方源安装:

pip install dghs-imgutils

如果你的运行环境中包含可用的GPU,可以使用以下命令安装以获得更高的性能:

pip install dghs-imgutils[gpu]

更多关于安装的信息,可以参考官方文档的安装说明。

主要功能

差分(立绘)检测与聚类

在处理动漫图像数据集时,我们常常需要过滤掉差分(立绘)。imgutils提供了lpips_clustering函数来解决这个问题:

from imgutils.metrics import lpips_clustering

images = ['lpips/1.jpg', 'lpips/2.jpg', 'lpips/3.jpg', 'lpips/4.jpg', 'lpips/5.jpg', 
          'lpips/6.jpg', 'lpips/7.jpg', 'lpips/8.jpg', 'lpips/9.jpg']
print(lpips_clustering(images))  # -1 表示噪声,与sklearn中的用法相同
# [0, 0, 0, 1, 1, -1, -1, -1, -1]

这个功能可以有效地将相似的差分图像聚类在一起。

差分聚类示例

对比性人物图像预训练

imgutils提供了从动漫人物图像中提取特征、计算两个人物之间视觉差异以及判断两张图片是否描绘同一角色的功能。这些功能可以通过ccip_difference和ccip_clustering函数实现:

from imgutils.metrics import ccip_difference, ccip_clustering

# 同一角色
print(ccip_difference('ccip/1.jpg', 'ccip/2.jpg'))  # 0.16583099961280823

# 不同角色
print(ccip_difference('ccip/1.jpg', 'ccip/6.jpg'))  # 0.42947039008140564
print(ccip_difference('ccip/1.jpg', 'ccip/7.jpg'))  # 0.4037521779537201

images = ['ccip/1.jpg', 'ccip/2.jpg', 'ccip/3.jpg', 'ccip/4.jpg', 'ccip/5.jpg', 'ccip/6.jpg', 
          'ccip/7.jpg', 'ccip/8.jpg', 'ccip/9.jpg', 'ccip/10.jpg', 'ccip/11.jpg', 'ccip/12.jpg']
print(ccip_clustering(images, min_samples=2))  
# [0, 0, 0, 3, 3, 3, 1, 1, 1, 1, 2, 2]

这个功能可以帮助我们快速识别和聚类相同角色的图像。

CCIP示例

目标检测

imgutils目前支持动漫头部和人物的目标检测。以下是一些示例:

人脸检测

人脸检测示例

头部检测

头部检测示例

人物检测

人物检测示例

根据实际测试,头部检测目前表现非常稳定,可以用于自动化任务。而人物检测仍在进一步迭代中,未来将重点提升对艺术插画的检测能力。

边缘检测/线稿生成

imgutils集成了patrickvonplaten/controlnet_aux提供的模型,可以将动漫图像转换为线稿:

边缘检测示例

值得注意的是,lineart模型可能消耗更多计算资源,而canny是最快的但效果一般。因此,在大多数情况下,lineart_anime可能是最平衡的选择。

单色图像检测

在过滤爬取的图像时,我们需要移除单色图像。然而,单色图像往往不仅仅由灰度颜色组成,可能仍然包含颜色。imgutils提供了is_monochrome函数来判断图像是否为单色:

from imgutils.validate import is_monochrome

print(is_monochrome('mono/1.jpg'))  # True
print(is_monochrome('colored/7.jpg'))  # False

单色图像检测示例

图像分级

imgutils可以对动漫图像进行粗略快速的分级(safe, r15, r18):

from imgutils.validate import anime_rating

print(anime_rating('rating/safe/1.jpg'))  # ('safe', 0.9999998807907104)
print(anime_rating('rating/r15/5.jpg'))  # ('r15', 0.9996721744537354)
print(anime_rating('rating/r18/9.jpg'))  # ('r18', 0.9997004270553589)

截断图像检查

imgutils提供了检测不完整图像文件(如下载过程中中断的图像)的功能:

from imgutils.validate import is_truncated_file

filename = 'test_jpg.jpg'
if is_truncated_file(filename):
    print('This image is truncated, you\'d better remove this from your dataset.')
else:
    print('This image is okay!')

图像标签生成

imgutils集成了多个动漫风格图像标签模型,可以生成类似以下的结果:

from imgutils.tagging import get_wd14_tags

rating, features, chars = get_wd14_tags('skadi.jpg')
print(rating)
# {'general': 0.0011444687843322754, 'sensitive': 0.8876402974128723, 'questionable': 0.106781005859375, 'explicit': 0.000277101993560791}
print(features)
# {'1girl': 0.997527003288269, 'solo': 0.9797663688659668, 'long_hair': 0.9905703663825989, ...}
print(chars)
# {'skadi_(arknights)': 0.9869340658187866}

图像标签示例

人物提取

当需要从动漫图像中提取人物部分时,可以使用segment_rgba_with_isnetis函数进行提取,得到一个RGBA格式的图像(背景部分为透明):

from imgutils.segment import segment_rgba_with_isnetis

mask_, image_ = segment_rgba_with_isnetis('hutao.png')
image_.save('hutao_seg.png')

人物提取示例

结语

imgutils为动漫图像处理提供了一套全面的解决方案,集成了多种先进的模型和算法。无论是研究者、开发者还是动漫爱好者,都能在imgutils中找到有用的工具。该库的设计注重易用性和性能,可以大大提高动漫图像处理的效率。

随着深度学习技术的不断发展,imgutils也在持续更新和改进。欢迎大家使用imgutils,并为这个开源项目做出贡献。如果你在使用过程中遇到任何问题或有任何建议,可以在GitHub仓库上提出issue或pull request。

让我们一起推动动漫图像处理技术的发展,创造更多精彩的可能性! 🚀🎨