Anime2Sketch
Anime2Sketch: 一个用于插画、动漫艺术、漫画的草图提取器
作者：Xiaoyu Xiang
更新
- 2022.1.14: 添加了kitoria 提供的Docker环境
- 2021.12.25: 更新README。圣诞快乐！
- 2021.5.24: 修复了插值错误和GPU推理错误。
- 2021.5.12: AK391 提供的网络演示
- 2021.5.2: 上传更多动漫视频的示例结果。
- 2021.4.30: 上传测试脚本。现在我们的代码库可以运行了！
- 2021.4.11: 上传预训练模型和更多测试结果。
- 2021.4.8: 创建代码库。
简介
该代码库包含Anime2Sketch的测试代码和预训练模型。
Anime2Sketch是一个在插画、动漫艺术和漫画上效果良好的草图提取器。它基于论文 "Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis" 开发。
先决条件
使用方法
安装
安装所需的包：pip install -r requirements.txt
下载预训练模型
请从GoogleDrive 下载模型，并将其放入 weights/ 文件夹中。
我们还有一个无痕版模型，可以处理黑暗/低对比度图像。您可以从GoogleDrive下载该模型，并将其放入 weights/ 文件夹中。
测试
python3 test.py --dataroot /your_input/dir --load_size 512 --output_dir /your_output/dir
上述命令包含三个参数：
- dataroot: 您的测试文件或目录
- load_size: 由于内存限制，我们需要在处理前调整输入图像的尺寸。默认情况下，将其调整为
512x512。 - output_dir: 输出目录的路径
运行我们的示例：
python3 test.py --dataroot test_samples/madoka.jpg --load_size 512 --output_dir results/
Docker
如果您想在Docker上运行，可以通过自定义输入/输出图像目录轻松实现。
构建Docker镜像
make docker-build
设置输入/输出目录
您可以通过Makefile为输入/输出图像自定义挂载卷。请设置您的目标目录。
docker run -it --rm --gpus all -v `pwd`:/workspace -v {your_input_dir}:/input -v {your_output_dir}:/output anime2sketch
示例：
docker run -it --rm --gpus all -v `pwd`:/workspace -v `pwd`/test_samples:/input -v `pwd`/output:/output anime2sketch
运行
make docker-run
如果您只想运行CPU版本，需要修复两处（删除GPU选项）。
- Dockerfile中的CMD行改为
CMD [ "python", "test.py", "--dataroot", "/input", "--load_size", "512", "--output_dir", "/output" ] - Makefile中的docker-run行改为
docker run -it --rm -v `pwd`:/workspace -v `pwd`/images/input:/input -v `pwd`/images/output:/output anime2sketch
训练
本项目是AODA的一个子分支。请检查它以获取训练说明。
更多结果
我们的模型在插画艺术上表现良好：
将手绘照片转换为干净的线条图：
简化徒手草图：
以及更多动漫结果：
联系方式
您也可以在代码库中提出问题。我很乐意回答！
许可
本项目遵循MIT许可发布。
引用
@misc{Anime2Sketch,
author = {Xiaoyu Xiang, Ding Liu, Xiao Yang, Yiheng Zhu, Xiaohui Shen},
title = {Anime2Sketch: A Sketch Extractor for Anime Arts with Deep Networks},
year = {2021},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/Mukosame/Anime2Sketch}}
}
@inproceedings{xiang2022adversarial,
title={Adversarial Open Domain Adaptation for Sketch-to-Photo Synthesis},
author={Xiang, Xiaoyu and Liu, Ding and Yang, Xiao and Zhu, Yiheng and Shen, Xiaohui and Allebach, Jan P},
booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision},
year={2022}
}
