AI生成图像作为数据源：合成时代的黎明 [论文]

南洋理工大学，马克斯普朗克信息学研究所

本项目与我们的综述论文相关，该论文全面阐述了近期AI-Generated Images as Data Sources (AIGS) 和视觉AIGC的进展，并根据方法和应用制定分类法。

欢迎通过提交拉取请求来推广论文。<br> 提交拉取请求的步骤：

a. 将项目分叉到您自己的仓库。
b. 在README.md中按以下格式添加标题、作者、会议、论文链接、项目链接、代码链接和视频链接：

**标题**<br>
*作者*<br>
会议
[[论文](论文链接)]
[[项目](项目链接)]
[[代码](代码链接)]
[[视频](视频链接)]

c. 向此分支提交拉取请求。

目录（进行中）

方法：

生成模型
- 标签获取
- 数据增强
神经渲染
- 标签获取
- 数据增强

应用：

2D视觉感知
视觉生成
自监督学习
3D视觉感知
- 机器人学
- 自动驾驶
其他应用
- 医疗数据合成
- 测试数据合成

数据集：

文本-图像对齐
人类偏好
深度伪造检测

方法

生成模型

标签获取

[BigGAN] 大规模GAN训练实现高保真自然图像合成
Andrew Brock, Jeff Donahue, Karen Simonyan
ICLR 2019 [论文]

[VQ-Diffusion] 用于文本到图像合成的矢量量化扩散模型
顾书阳，陈东，鲍建民，文芳，张博，陈冬冬，袁路，郭百宁
CVPR 2022 [论文][代码]

[LDM] 使用潜在扩散模型的高分辨率图像合成
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer
CVPR 2022 [论文][代码]

[Imagen] 具有深度语言理解的逼真文本到图像扩散模型
Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho, David J Fleet, Mohammad Norouzi
NeurIPS 2022 [论文][项目]

[DALL-E 2] 利用CLIP潜在空间的分层文本条件图像生成
Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, Mark Chen
arXiv 2022 [论文] GLIDE: 基于文本引导的扩散模型实现逼真图像生成与编辑 Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark Chen ICML 2022 [论文][代码]

DatasetGAN: 以最少人工努力实现高效标注数据工厂 Yuxuan Zhang, Huan Ling, Jun Gao, Kangxue Yin, Jean-Francois Lafleche, Adela Barriuso, Antonio Torralba, Sanja Fidler CVPR 2021 [论文][项目][代码]

DatasetDM: 使用扩散模型合成带感知注释的数据 Weijia Wu, Yuzhong Zhao, Hao Chen, Yuchao Gu, Rui Zhao, Yefei He, Hong Zhou, Mike Zheng Shou, Chunhua Shen NeurIPS 2023 [论文][项目][代码]

用于检测的DALL-E: 基于语言驱动的组合图像合成实现目标检测 Yunhao Ge, Jiashu Xu, Brian Nlong Zhao, Neel Joshi, Laurent Itti, Vibhav Vineet arXiv 2022 [论文][代码]

数据增强

[StyleGAN 2]分析并改进StyleGAN的图像质量 Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila CVPR 2020 [论文][代码][视频]

数据增强生成对抗网络

GAN增强: 使用生成对抗网络增强训练数据 Christopher Bowles, Liang Chen, Ricardo Guerrero, Paul Bentley, Roger Gunn, Alexander Hammers, David Alexander Dickie, Maria Valdés Hernández, Joanna Wardlaw, Daniel Rueckert arXiv 2018 [论文]

使用迁移学习和基于GAN的合成数据增强提升图像分类 Subhajit Chatterjee, Debapriya Hazra, Yung-Cheol Byun, Yong-Woon Kim Mathmatics 2022 [论文]

扩散模型和检索的数据增强视角 Max F. Burg, Florian Wenzel, Dominik Zietlow, Max Horn, Osama Makansi, Francesco Locatello, Chris Russell arXiv 2023 [论文]

使用扩散模型进行有效的数据增强 Brandon Trabucco, Kyle Doherty, Max Gurinas, Ruslan Salakhutdinov arXiv 2023 [论文][项目]

使用自动扩散增强多样化你的视觉数据集 Lisa Dunlap, Alyssa Umino, Han Zhang, Jiezhi Yang, Joseph E. Gonzalez, Trevor Darrell arXiv 2023 [论文][代码]

增强扩散个性化身份保持的数据视角 Xingzhe He, Zhiwen Cao, Nicholas Kolkin, Lantao Yu, Helge Rhodin, Ratheesh Kalarot arXiv 2023 [论文]

神经渲染

标签获取

VMRF: 视图匹配神经辐射场 Jiahui Zhang, Fangneng Zhan, Rongliang Wu, Yingchen Yu, Wenqing Zhang, Bai Song, Xiaoqin Zhang, Shijian Lu ACM MM 2022 [论文]

NeRF-Supervision: 从神经辐射场学习密集物体描述符 Thomas Lips, Victor-Louis De Gusseme, Francis wyffels ICRA 2022 [论文][项目][代码][视频]

数据增强

Neural-Sim: 学习用NeRF生成训练数据 Yunhao Ge, Harkirat Behl, Jiashu Xu, Suriya Gunasekar, Neel Joshi, Yale Song, Xin Wang, Laurent Itti, Vibhav Vineet ECCV 2022 [论文][代码]

相机驾驶场景的3D数据增强 Wenwen Tong, Jiangwei Xie, Tianyu Li, Hanming Deng, Xiangwei Geng, Ruoyi Zhou, Dingchen Yang, Bo Dai, Lewei Lu, Hongyang Li arXiv 2023 [论文]

应用

2D视觉感知

图像分类

这个数据集不存在: 从生成图像训练模型 Victor Besnier, Himalaya Jain, Andrei Bursuc, Matthieu Cord, Patrick Pérez ICASSP 2020 [论文][项目]

OpenGAN: 通过开放数据生成实现开集识别 Shu Kong, Deva Ramanan ICCV 2021 [论文][项目][代码][视频]

生成模型的合成数据已经准备好用于图像识别了吗? Ruifei He, Shuyang Sun, Xin Yu, Chuhui Xue, Wenqing Zhang, Philip Torr, Song Bai, Xiaojuan Qi ICLR 2023 [论文][代码]

假装你做到了: 从合成ImageNet克隆中学习可迁移表示 Mert Bulent Sariyildiz, Karteek Alahari, Diane Larlus, Yannis Kalantidis CVPR 2023 [论文][视频]

凭空训练: 使用生成数据改进图像分类 Yongchao Zhou, Hshmat Sahak, Jimmy Ba arXiv 2023 [论文][项目][代码] 不只是漂亮的图片：文本到图像生成器实现鲁棒表示的可解释干预 Jianhao Yuan, Francesco Pinto, Adam Davies, Aarushi Gupta, Philip Torr arXiv 2022 [论文]

多样性确实是必需的：通过稳定扩散改进模型无关零样本分类 Jordan Shipard, Arnold Wiliem, Kien Nguyen Thanh, Wei Xiang, Clinton Fookes CVPRW 2023 [论文]

离开现实进入想象：通过生成数据集实现鲁棒分类 Hritik Bansal, Aditya Grover arXiv 2022 [论文][代码]

图像说明是文本到图像模型的自然提示 Shiye Lei, Hao Chen, Sen Zhang, Bo Zhao, Dacheng Tao arXiv 2023 [论文]

使用自动扩散增强多样化你的视觉数据集 Lisa Dunlap, Alyssa Umino, Han Zhang, Jiezhi Yang, Joseph E. Gonzalez, Trevor Darrell arXiv 2023 [论文]

来自扩散模型的合成数据改善ImageNet分类 Shekoofeh Azizi, Simon Kornblith, Chitwan Saharia, Mohammad Norouzi, David J. Fleet arXiv 2023 [论文][项目][代码]

Imagic：使用扩散模型进行基于文本的真实图像编辑 Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, Michal Irani CVPR 2023 [论文][项目]

一个图像价值一个词：使用文本反转个性化文本到图像生成 Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H. Bermano, Gal Chechik, Daniel Cohen-Or ICLR 2023 [论文][项目][代码]

Fill-Up：使用生成模型平衡长尾数据 Joonghyuk Shin, Minguk Kang, Jaesik Park arXiv 2023 [论文][项目][代码]

扩散模型和半监督学习器在少量标签下相互受益 Zebin You, Yong Zhong, Fan Bao, Jiacheng Sun, Chongxuan Li, Jun Zhu NeurIPS 2023 [论文][代码]

图像分割

从合成数据学习语义分割：一种几何引导的输入-输出自适应方法 Yuhua Chen, Wen Li, Xiaoran Chen, Luc Van Gool CVPR 2019 [论文]

使用生成模型进行语义分割：半监督学习和强大的域外泛化 Daiqing Li, Junlin Yang, Karsten Kreis, Antonio Torralba, Sanja Fidler CVPR 2021 [论文][项目][代码]

重新利用GAN进行单样本语义部件分割 Nontawat Tritrong, Pitchaporn Rewatbowornwong, Supasorn Suwajanakorn CVPR 2021 [论文][项目][代码]

使用生成对抗学习进行少样本3D多模态医学图像分割 Arnab Kumar Mondal, Jose Dolz, Christian Desrosiers arXiv 2018 [论文][代码]

使用生成对抗网络进行半监督和弱监督语义分割 Nasim Souly, Concetto Spampinato, Mubarak Shah ICCV 2017 [论文]

使用GAN增强云图像分割任务的数据 Mayank Jain, Conor Meegan, Soumyabrata Dev ICARSS 2021 [论文]

零样本开放词汇分割的扩散模型 Laurynas Karazija, Iro Laina, Andrea Vedaldi, Christian Rupprecht arXiv 2023 [论文][代码]

使用扩散模型进行开放词汇对象分割 Ziyi Li, Qinye Zhou, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie ICCV 2023 [论文][项目][代码]

使用生成模型进行语义分割：半监督学习和强大的域外泛化 Daiqing Li, Junlin Yang, Karsten Kreis, Antonio Torralba, Sanja Fidler CVPR 2021 [论文][项目][代码]

时尚分割：使用StyleGAN和CLIP进行无监督语义图像分割 Daniil Pakhomov, Sanchit Hira, Narayani Wagle, Kemar E. Green, Nassir Navab arXiv 2021 [论文][项目][代码][视频]

BigDatasetGAN：合成带有像素级注释的ImageNet Daiqing Li, Huan Ling, Seung Wook Kim, Karsten Kreis, Adela Barriuso, Sanja Fidler, Antonio Torralba CVPR 2022 [论文][项目][代码]

HandsOff：无需额外人工标注生成标记数据集 Austin Xu, Mariya I. Vasileva, Achal Dave, Arjun Seshadri CVPR 2023 [论文][项目][代码] DiffuMask: 使用扩散模型为语义分割合成带像素级标注的图像
吴伟佳, 赵宇中, 寿铮, 周虹, 沈春华
arXiv 2023 [论文][项目][代码]

数据集扩散: 基于扩散的像素级语义分割合成数据集生成
Quang Nguyen, Truong Vu, Anh Tran, Khoi Nguyen
NeurIPS 2023 [论文][代码]

MosaicFusion: 将扩散模型作为大词汇实例分割的数据增强器
谢家豪, 李威, 李向泰, 刘子维, 王业隆, 罗翔腾
arXiv 2023 [论文][代码]

语义分割中域适应的基于GAN数据增强的自集成
崔在勋, 金泰京, 金昌益
ICCV 2019 [论文]

改进域泛化的源内风格增强
李玉梦, Dan Zhang, Margret Keuper, Anna Khoreva
WACV 2023 [论文][代码]

DifFSS: 少样本语义分割的扩散模型
谭伟民, 陈思远, 严波
arXiv 2023 [论文]

使用生成对抗网络进行语义图像分割的像素级数据增强
刘双婷, 张佳琪, 陈宇鑫, 刘一凡, 秦增昌, 万涛
ICASSP 2019 [论文]

分割模型能否完全使用合成数据进行训练?
Virginia Fernandez, Walter Hugo Lopez Pinaya, Pedro Borges, Petru Daniel Tudosiu, Mark S. Graham, Tom Vercauteren, M. Jorge Cardoso
MICCAI 2022 [论文]

使用扩散模型进行标签高效的语义分割
Dmitry Baranchuk, Ivan Rubachev, Andrey Voynov, Valentin Khrulkov, Artem Babenko
ICLR 2022 [论文][项目][代码]

[ODISE] 使用文本到图像扩散模型的开放词汇全景分割
许家瑞, 刘思飞, Arash Vahdat, Wonmin Byeon, 王晓龙, Shalini De Mello
CVPR 2023 [论文][项目][代码]

GANSeg: 通过无监督分层图像生成学习分割
何兴哲, Bastian Wandt, Helge Rhodin
CVPR 2022 [论文][代码]

目标检测

[GeoDiffusion] 将几何控制集成到文本到图像扩散模型中，通过文本提示生成高质量检测数据
陈凯, 谢恩泽, 陈哲, 洪岚清, 李振国, 杨德
arXiv 2023 [论文][项目]

探索合成数据在少样本目标检测中的力量
林少波, 王坤, 曾星宇, 赵锐
CVPRW 2023 [论文]

[SODGAN] 合成数据监督的显著目标检测
吴振宇, 王琳, 王伟, 史腾飞, 陈成燎, 郝爱民, 李硕
ACM MM 2022 [论文]

ImaginaryNet: 无需真实图像和标注学习目标检测器
倪敏恒, 黄子彤, 冯凯来, 左旺孟
ICLR 2023 [论文][代码]

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型
Roy Voetman, Maya Aghaei, Klaas Dijkstra
arXiv 2023 [论文]

视觉生成

Re-Aging GAN: 面向个性化人脸年龄转换
Farkhod Makhmudkhujaev, Sungeun Hong, In Kyu Park
ICCV 2021 [论文][视频]

仅仅是风格的问题: 使用基于风格的回归模型进行年龄转换
Yuval Alaluf, Or Patashnik, Daniel Cohen-Or
SIGGRAPH 2021 [论文][项目][代码][视频]

视觉特效中的生产就绪人脸重龄化
Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo, Derek Bradley
TOG 2021 [论文][项目][视频]

Zero-1-to-3: 零样本单图到3D对象
刘若时, 吴润迪, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, Carl Vondrick
ICCV 2023 [论文][项目][代码]

DreamBooth3D: 主体驱动的文本到3D生成
Amit Raj, Srinivas Kaza, Ben Poole, Michael Niemeyer, Nataniel Ruiz, Ben Mildenhall, Shiran Zada, Kfir Aberman, Michael Rubinstein, Jonathan Barron, Yuanzhen Li, Varun Jampani
arXiv 2023 [论文][项目][视频]

StyleAvatar3D: 利用图像-文本扩散模型进行高保真3D化身生成
张驰, 陈一文, 付一文, 周正林, 于刚, Billzb Wang, 付斌, 陈涛, 林国升, 沈春华
arXiv 2023 [论文]

自监督学习

生成模型作为多视图表示学习的数据源 Ali Jahanian, Xavier Puig, Yonglong Tian, Phillip Isola ICLR 2022 [论文][项目][代码][视频]

StableRep: 文本到图像模型生成的合成图像可以成为强大的视觉表示学习器 Yonglong Tian, Lijie Fan, Phillip Isola, Huiwen Chang, Dilip Krishnan arXiv 2023 [论文]

使用深度生成视图进行集成 Lucy Chai, Jun-Yan Zhu, Eli Shechtman, Phillip Isola, Richard Zhang CVPR 2021 [论文][项目][代码]

DreamTeacher: 使用深度生成模型预训练图像骨干网络 Daiqing Li, Huan Ling, Amlan Kar, David Acuna, Seung Wook Kim, Karsten Kreis, Antonio Torralba, Sanja Fidler ICCV 2023 [论文][项目]

3D视觉感知

机器人学

INeRF: 反转神经辐射场进行姿态估计 Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Alberto Rodriguez, Phillip Isola, Tsung-Yi Lin IROS 2021 [论文][项目][代码][视频]

LENS: 通过NeRF合成增强定位 Arthur Moreau, Nathan Piasco, Dzmitry Tsishkou, Bogdan Stanciulescu, Arnaud de La Fortelle CoRL 2021 [论文][视频]

NeRF-Pose: 一种先重建后回归的弱监督6D物体姿态估计方法 Fu Li, Hao Yu, Ivan Shugurov, Benjamin Busam, Shaowu Yang, Slobodan Ilic arXiv 2022 [论文]

在神经辐射世界中的纯视觉机器人导航 Michal Adamkiewicz, Timothy Chen, Adam Caccavale, Rachel Gardner, Preston Culbertson, Jeannette Bohg, Mac Schwager RAL 2022 [论文][项目][代码][视频]

使用∇t NeRF的事件相机跟踪器 Mana Masuda, Yusuke Sekikawa, Hideo Saito WACV 2023 [论文]

自动驾驶

Lift3D: 通过将2D GAN提升到3D生成辐射场来合成3D训练数据 Leheng Li, Qing Lian, Luozhou Wang, Ningning Ma, Ying-Cong Chen CVPR 2023 [论文][项目][代码]

UniSim: 一个神经闭环传感器模拟器 Ze Yang, Yun Chen, Jingkang Wang, Sivabalan Manivasagam, Wei-Chiu Ma, Anqi Joyce Yang, Raquel Urtasun CVPR 2023 [论文][项目][视频]

MARS: 一个实例感知、模块化和逼真的自动驾驶模拟器 Zirui Wu, Tianyu Liu, Liyi Luo, Zhide Zhong, Jianteng Chen, Hongmin Xiao, Chao Hou, Haozhe Lou, Yuantao Chen, Runyi Yang, Yuxin Huang, Xiaoyu Ye, Zike Yan, Yongliang Shi, Yiyi Liao, Hao Zhao CICAI 2023 [论文][项目][代码][视频]

其他应用

医疗数据合成

[MedGAN] 使用生成对抗网络生成多标签离散患者记录 Edward Choi, Siddharth Biswal, Bradley Malin, Jon Duke, Walter F. Stewart, Jimeng Sun MLHC 2017 [论文]

CorGAN: 捕捉相关性的卷积生成对抗网络，用于生成合成医疗记录 Amirsina Torfi, Edward A. Fox FLAIRS 2020 [论文][代码]

将预训练的视觉-语言基础模型适配到医学影像领域 Pierre Chambon, Christian Bluethgen, Curtis P. Langlotz, Akshay Chaudhari NeurIPS 2022 [论文]

使用基于GAN的数据增强进行皮肤病变分类 Rashid Haroon, Tanveer M. Asjid, Aqeel Khan Hassan EMBC 2019 [论文]

基于GAN的合成医学图像增强以提高CNN在肝脏病变分类中的性能 Maayan Frid-Adar, Idit Diamant, Eyal Klang, Michal Amitai, Jacob Goldberger, Hayit Greenspan Neurocomputing 2018 [论文]

使用GAN进行合成数据增强以改善肝脏病变分类 Maayan Frid-Adar, Eyal Klang, Michal Amitai, Jacob Goldberger, Hayit Greenspan ISBI 2018 [论文]

利用GAN解决COVID-19数据稀缺问题：超越炒作 Hazrat Ali, Christer Gronlund, Zubair Shah CVPRW 2023 [论文]

测试数据合成

4D高斯散射用于实时动态场景渲染 Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang arXiv 2023 [论文][项目][代码] 深度艺术检测基准测试 王亚彬、黄志武、洪晓鹏 arXiv 2023 [论文]

文本引导下的鲁棒性破坏基准测试 Mohammadreza Mofayezi、Yasamin Medghalchi CVPRW 2023 [论文][代码]

数据集

:love_you_gesture: 引用

如果您发现我们的工作对您的研究有用，请考虑引用以下论文：

@article{yang2023aigs,
  title={AI-Generated Images as Data Source: The Dawn of Synthetic Era},
  author={Zuhao Yang and Fangneng Zhan and Kunhao Liu and Muyu Xu and Shijian Lu},
  journal={arXiv preprint arXiv:2310.01830},
  year={2023}
}