访问官网
Github
Huggingface
文档
论文使用动漫角色设定图的协同神经渲染
我们的论文已被IJCAI2023特别专题接收（三位评审均给出"接受"评级），论文修订版可在此处查看。-> 海报
2023/4/18：数据集现已在CoNR_Dataset发布！🎉
演示页面 | Colab 英文/中文 | arXiv | 哔哩哔哩 | YouTube | CoNR_Dataset
简介
本项目是使用动漫角色设定图的协同神经渲染的官方实现，旨在从手绘动漫角色设定图（ACS）生成生动的舞蹈视频。1 更多演示和详细信息，请观看我们强烈推荐的哔哩哔哩或YouTube视频。我们的知乎FAQ（中文）解释了CoNR背后的理念。
使用方法
前提条件
- NVIDIA GPU + CUDA + CUDNN
- Python 3.6
安装
- 克隆此仓库
git clone https://github.com/megvii-research/CoNR
- 依赖项
要安装所有依赖项，请运行以下命令。
cd CoNR
pip install -r requirements.txt
- 下载权重 从Google Drive下载权重。或者，您可以从百度网盘下载（密码：RDxc）。
mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm
准备输入
我们为两个角色提供了两个超高密度姿态序列。你可以参考我们的论文通过3D模型和动作生成更多的UDP，或使用MMD2UDP（感谢@KurisuMakise004）。 百度网盘（密码：RDxc）
# 短发女孩
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/
# 双马尾女孩
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/
我们提供了动漫角色设定图的样本输入。你也可以自己绘制更多。 角色设定图需要从背景中裁剪出来，并以png格式保存。 百度网盘（密码：RDxc）
# 短发女孩
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/
# 双马尾女孩
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/
运行！
- 使用网页界面（由Streamlit提供支持）
streamlit run streamlit.py --server.port=8501
然后打开浏览器访问localhost:8501，按照指示生成视频。
- 通过终端
mkdir {结果保存目录}
python -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images={姿态目录} \
--test_input_person_images={角色设定图目录} \
--test_output_dir={结果保存目录} \
--test_checkpoint_dir={权重目录}
ffmpeg -r 30 -y -i {结果保存目录}/%d.png -r 30 -c:v libx264 output.mp4 -r 30
引用
@inproceedings{lin2023conr,
title={Collaborative Neural Rendering using Anime Character Sheets},
author={Lin, Zuzeng and Huang, Ailin and Huang, Zhewei},
booktitle = {Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI)},
year={2023}
}
