DALL·E Mini

<a href="https://www.craiyon.com/"><img src="https://www.craiyon.com/thumbnail.png" width="300"></a>

如何使用？

你可以在 🖍️ craiyon 上使用该模型

它是如何工作的？

请参考我们的报告：

• DALL·E mini - 从任意文本提示生成图像
• DALL·E mini - 解释
• DALL·E mega - 训练日志

开发

安装依赖

仅用于推理，请使用 pip install dalle-mini。

对于开发，克隆仓库并使用 pip install -e ".[dev]"。 在提交PR之前，请使用 make style 检查代码风格。

你可以通过我们的推理管道笔记本逐步试验管道

DALL·E mini的训练

使用 tools/train/train.py。

如果需要进行超参数搜索，你还可以调整扫描配置文件。

常见问题

在哪里可以找到最新的模型？

训练好的模型位于 🤗 Model Hub：

• VQGAN-f16-16384 用于编码/解码图像
• DALL·E mini 或 DALL·E mega 用于从文本提示生成图像

标志来自哪里？

"鳄梨形状的扶手椅"是OpenAI发布DALL·E时用来展示模型能力的。成功预测这个提示对我们来说是一个重要的里程碑。

贡献

加入 LAION Discord 社区。 我们欢迎任何形式的贡献，无论是报告问题、提出修复/改进建议，还是用有趣的提示测试模型！

你也可以使用社区中这些优秀的项目：

• 使用 DALL-E Playground 仓库 创建你自己的应用（感谢 Sahar）

• 尝试 DALL·E Flow 项目，用于人机交互工作流中的生成、扩散和放大（感谢 Han Xiao）

  

• 在 Replicate 上运行，可在浏览器中使用或通过API调用

致谢

• 🤗 Hugging Face 组织的 FLAX/JAX 社区周
• Google TPU Research Cloud (TRC) 项目 提供的计算资源
• Weights & Biases 提供的实验跟踪和模型管理基础设施

作者与贡献者

DALL·E mini 最初由以下人员开发：

• Boris Dayma
• Suraj Patil
• Pedro Cuenca
• Khalid Saifullah
• Tanishq Abraham
• Phúc Lê Khắc
• Luke Melas
• Ritobrata Ghosh

非常感谢帮助改进它的人们：

• DALLE-Pytorch 和 EleutherAI 社区进行测试和交流有趣想法
• Rohan Anil 添加了分布式Shampoo优化器并始终给出很好的建议
• Phil Wang 提供了许多cool的transformer变体实现，并通过 x-transformers 提供有趣见解
• Katherine Crowson 的 super conditioning
• Gradio团队 为我们的应用制作了令人惊叹的UI

引用 DALL·E mini

如果你在研究中发现 DALL·E mini 有用或想要引用它，请使用以下 BibTeX 条目。

@misc{Dayma_DALL·E_Mini_2021,
      author = {Dayma, Boris and Patil, Suraj and Cuenca, Pedro and Saifullah, Khalid and Abraham, Tanishq and Lê Khắc, Phúc and Melas, Luke and Ghosh, Ritobrata},
      doi = {10.5281/zenodo.5146400},
      month = {7},
      title = {DALL·E Mini},
      url = {https://github.com/borisdayma/dalle-mini},
      year = {2021}
}

参考文献

原始 DALL·E 来自 "Zero-Shot Text-to-Image Generation"，图像量化来自 "Learning Transferable Visual Models From Natural Language Supervision"。

图像编码器来自 "Taming Transformers for High-Resolution Image Synthesis"。

基于 "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension" 的序列到序列模型，实现了几个变体：

• "GLU Variants Improve Transformer"
• "Deepnet: Scaling Transformers to 1,000 Layers"
• "NormFormer: Improved Transformer Pretraining with Extra Normalization"
• "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows"
• "CogView: Mastering Text-to-Image Generation via Transformers"
• "Root Mean Square Layer Normalization"
• "Sinkformers: Transformers with Doubly Stochastic Attention"
• "Foundation Transformers

主要优化器（分布式Shampoo）来自 "Scalable Second Order Optimization for Deep Learning"。

引用

@misc{
  title={Zero-Shot Text-to-Image Generation}, 
  author={Aditya Ramesh and Mikhail Pavlov and Gabriel Goh and Scott Gray and Chelsea Voss and Alec Radford and Mark Chen and Ilya Sutskever},
  year={2021},
  eprint={2102.12092},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={从自然语言监督中学习可迁移的视觉模型},
  author={Alec Radford 和 Jong Wook Kim 和 Chris Hallacy 和 Aditya Ramesh 和 Gabriel Goh 和 Sandhini Agarwal 和 Girish Sastry 和 Amanda Askell 和 Pamela Mishkin 和 Jack Clark 和 Gretchen Krueger 和 Ilya Sutskever},
  year={2021},
  eprint={2103.00020},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={驯服 Transformer 用于高分辨率图像合成},
  author={Patrick Esser 和 Robin Rombach 和 Björn Ommer},
  year={2021},
  eprint={2012.09841},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{
  title={BART: 用于自然语言生成、翻译和理解的去噪序列到序列预训练},
  author={Mike Lewis 和 Yinhan Liu 和 Naman Goyal 和 Marjan Ghazvininejad 和 Abdelrahman Mohamed 和 Omer Levy 和 Ves Stoyanov 和 Luke Zettlemoyer},
  year={2019},
  eprint={1910.13461},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@misc{
  title={深度学习的可扩展二阶优化},
  author={Rohan Anil 和 Vineet Gupta 和 Tomer Koren 和 Kevin Regan 和 Yoram Singer},
  year={2021},
  eprint={2002.09018},
  archivePrefix={arXiv},
  primaryClass={cs.LG}
}

@misc{
  title={GLU 变体改进 Transformer},
  author={Noam Shazeer},
  year={2020},
  url={https://arxiv.org/abs/2002.05202}    
}

 @misc{
  title={DeepNet: 将 Transformer 扩展到 1,000 层},
  author={王宏宇 和 马树铭 和 董黎 和 黄少汉 和 张东东 和 魏福},
  year={2022},
  eprint={2203.00555}
  archivePrefix={arXiv},
  primaryClass={cs.LG}
} 

@misc{
  title={NormFormer: 通过额外归一化改进 Transformer 预训练},
  author={Sam Shleifer 和 Jason Weston 和 Myle Ott},
  year={2021},
  eprint={2110.09456},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@inproceedings{
  title={Swin Transformer V2: 扩展容量和分辨率},
  author={刘泽 和 胡翰 和 林雨桐 和 姚祝良 和 谢震达 和 魏毅轩 和 宁佳 和 曹越 和 张政 和 董黎 和 魏福 和 郭百宁},
  booktitle={国际计算机视觉与模式识别会议 (CVPR)},
  year={2022}
}

@misc{
  title = {CogView: 通过 Transformer 掌握文本到图像生成},
  author = {丁明 和 杨卓艺 和 洪文怡 和 郑文迪 和 周畅 和 尹达 和 林俊阳 和 邹旭 和 邵周 和 杨宏侠 和 唐杰},
  year = {2021},
  eprint = {2105.13290},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV}
}

@misc{
  title = {均方根层归一化},
  author = {张彪 和 Rico Sennrich},
  year = {2019},
  eprint = {1910.07467},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG}
}

@misc{
  title = {Sinkformers: 具有双重随机注意力的 Transformer},
  url = {https://arxiv.org/abs/2110.11773},
  author = {Sander, Michael E. 和 Ablin, Pierre 和 Blondel, Mathieu 和 Peyré, Gabriel},
  publisher = {arXiv},
  year = {2021},
}

@misc{
  title = {深度网络中的平滑激活和可重复性},
  url = {https://arxiv.org/abs/2010.09931},
  author = {Shamir, Gil I. 和 Lin, Dong 和 Coviello, Lorenzo},
  publisher = {arXiv},
  year = {2020},
}

@misc{
  title = {基础 Transformer},
  url = {https://arxiv.org/abs/2210.06423},
  author = {王宏宇 和 马树铭 和 黄少汉 和 董黎 和 王文会 和 彭志良 和 吴昱 和 Bajaj, Payal 和 Singhal, Saksham 和 Benhaim, Alon 和 Patra, Barun 和 刘准 和 Chaudhary, Vishrav 和 宋霞 和 魏福},
  publisher = {arXiv},
  year = {2022},
}