Caire 是一个基于*Seam Carving for Content-Aware Image Resizing*论文的内容感知图像缩放库。
工作原理
- 从提供的图像生成能量图(边缘检测)。
- 算法尝试找到图像中最不重要的部分,考虑最低的能量值。
- 使用动态规划方法,算法将在图像中从上到下或从左到右(取决于水平或垂直调整大小)生成单独的接缝,并为每个接缝分配自定义值,最不重要的像素具有最低的能量成本,最重要的像素具有最高的成本。
- 我们从第二行遍历到最后一行,计算所有可能连接的接缝的累积最小能量。
- 最小能量水平通过将当前像素值与从前一行获得的相邻像素的最低值相加来计算。
- 我们从上到下遍历图像并计算最小能量水平。对于一行中的每个像素,我们计算当前像素的能量加上其上方三个可能像素之一的能量。
- 从能量矩阵中找到最低成本的接缝,从最后一行开始并将其移除。
- 重复该过程。
过程图解:
原始图像 | 能量图 | 应用接缝 |
---|---|---|
特点
与其他现有开源解决方案相比,该库的主要特点包括:
- GUI进度指示器
- 可定制的命令行支持
- 支持缩小或放大图像
- 垂直和水平调整图像大小
- 人脸检测以避免面部变形
- 支持多种输出图像类型(jpg、jpeg、png、bmp、gif)
- 支持
stdin
和stdout
管道命令 - 可以递归和并发地处理整个目录
- 使用sobel阈值进行微调
- 使用模糊滤镜增强边缘检测
- 支持使用单个命令将图像正方化
- 支持比例缩放
- 支持保护蒙版
- 支持移除蒙版
- 支持GUI调试模式
安装
首先,安装Go,设置你的GOPATH
,并确保$GOPATH/bin
在你的PATH
中。
$ go install github.com/esimov/caire/cmd/caire@latest
MacOS(Brew)安装
该库也可以通过Homebrew安装。
$ brew install caire
使用方法
$ caire -in input.jpg -out output.jpg
支持的命令:
$ caire --help
支持以下标志:
标志 | 默认值 | 描述 |
---|---|---|
in | - | 输入文件 |
out | - | 输出文件 |
width | 不适用 | 新宽度 |
height | 不适用 | 新高度 |
preview | true | 显示GUI窗口 |
perc | false | 按百分比缩小图像 |
square | false | 将图像缩小为正方形尺寸 |
blur | 4 | 模糊半径 |
sobel | 2 | Sobel滤波器阈值 |
debug | false | 使用调试器 |
face | false | 使用人脸检测 |
angle | float | 平面旋转人脸角度 |
mask | string | 遮罩文件路径 |
rmask | string | 移除遮罩文件路径 |
color | string | 缝线颜色(默认为#ff0000 ) |
shape | string | 用于调试的形状类型:circle 、line (默认为circle ) |
人脸检测
该库能够在调整图像大小之前检测人脸,使用轻量级的Pigo(https://github.com/esimov/pigo)人脸检测库。
下面的图像展示了应用程序在调整大小之前进行人脸检测的能力。可以清楚地看到,当激活人脸检测时,算法会避免裁剪检测到的人脸内的像素,保持人脸区域不变。
原始图像 | 使用人脸检测 | 不使用人脸检测 |
---|---|---|
GUI进度指示器
该库还集成了GUI预览模式,用于实时过程可视化。使用了GioGUI库,因为它具有健壮性和现代架构。在运行之前,请确保已安装安装部分(https://gioui.org/#installation)中提到的所有必需依赖项。
预览窗口默认是激活的,但您可以随时通过将-preview
标志设置为false来停用它。当并发处理目录中的图像时,预览模式会被停用。
使用人脸检测避免面部变形
要在调整大小之前检测人脸,请使用-face
标志。无需提供人脸分类文件,因为它已嵌入到生成的二进制文件中。以下示例代码将把提供的图像缩小20%,但会检查人脸以避免面部变形。
有关人脸检测相关设置,请查看Pigo文档。
$ caire -in input.jpg -out output.jpg -face=1 -perc=1 -width=20
支持stdin
和stdout
管道命令
您还可以使用-
来使用stdin
和stdout
:
$ cat input/source.jpg | caire -in - -out - >out.jpg
in
和out
默认为-
,所以您也可以使用:
$ cat input/source.jpg | caire >out.jpg
$ caire -out out.jpg < input/source.jpg
您还可以为-in
标志提供图像URL,甚至可以使用curl或wget作为管道命令,在这种情况下不需要使用-in
标志。
$ caire -in <image_url> -out <output-folder>
$ curl -s <image_url> | caire > out.jpg
并发处理目录中的多个图像
该库还可以并发处理目录中的多个图像。在这种情况下,您只需提供源文件夹和目标文件夹以及新的宽度或高度。
$ caire -in <input_folder> -out <output-folder>
支持多种输出图像类型
无需定义输出文件类型,只需使用正确的扩展名,库就会将图像编码为该特定类型。您甚至可以将调整大小后的图像导出为Gif文件,在这种情况下,生成的文件会以交互方式显示调整大小的过程。
其他选项
如果您希望按特定百分比缩小图像,可以使用**-perc
**布尔标志。在这种情况下,为width
和height
提供的值以百分比表示,而不是像素值。例如,要将图像尺寸在水平和垂直方向上都缩小20%,您可以使用以下命令:
$ caire -in input/source.jpg -out ./out.jpg -perc=1 -width=20 -height=20 -debug=false
该库还支持**-square
**选项。使用此选项时,图像将根据最短边调整为正方形。
当图像在X轴和Y轴上都调整大小时,算法首先会尝试在调整大小前进行缩放,同时保持图像的宽高比。接缝雕刻算法只应用于剩余的点。例如:给定一张2048x1536尺寸的图像,如果我们想将其调整为1024x500,工具会首先将图像缩放到1024x768,然后只移除剩余的268像素。
支持遮罩:
-mask
: 保护遮罩的路径。遮罩应为二进制格式,大小与输入图像相同。白色区域表示不应进行接缝雕刻的区域。-rmask
: 移除遮罩的路径。遮罩应为二进制格式,大小与输入图像相同。白色区域表示要移除的区域。
Caire整合
- Caire可以通过OpenFaaS作为无服务器函数使用: https://github.com/esimov/caire-openfaas
- Caire也可以作为
snap
函数使用(https://snapcraft.io/caire):$ snap run caire --h
结果
缩小的图像
原图 | 缩小后 |
---|---|
放大的图像
原图 | 扩展后 |
---|---|
有用资源
- https://en.wikipedia.org/wiki/Seam_carving
- https://inst.eecs.berkeley.edu/~cs194-26/fa16/hw/proj4-seamcarving/imret.pdf
- http://pages.cs.wisc.edu/~moayad/cs766/download_files/alnammi_cs_766_final_report.pdf
- https://stacks.stanford.edu/file/druid:my512gb2187/Zargham_Nassirpour_Content_aware_image_resizing.pdf
作者
- Endre Simo (@simo_endre)
许可证
版权所有 © 2018 Endre Simo
本项目采用MIT许可证。完整的许可证文本请参阅LICENSE文件。