简介
PaddleMIX是基于飞桨的多模态大模型开发套件,整合了图像、文本、视频等多种模态,涵盖视觉语言预训练、文生图、文生视频等丰富的多模态任务。它提供开箱即用的开发体验,同时满足开发者灵活定制的需求,探索通用人工智能。
最新进展
📚《飞桨多模态大模型开发套件PaddleMIX 2.0震撼发布》,全面覆盖图文音视频场景,高效助力多模态产业创新。支持超大规模训练,涵盖图文预训练、文生图、跨模态视觉任务,适用于金融、教育、电商、医疗等产业场景。8月8日(周四)20:00将直播介绍多模态大模型最新架构,深入解析PaddleMIX高性能模型库,并手把手演示LLaVA模型的训练推理全流程。报名链接
2024.07.25 发布PaddleMIX v2.0
- 多模态理解:新增LLaVA系列、Qwen-VL等模型;新增Auto模块统一SFT训练流程;新增mixtoken训练策略,SFT吞吐量提升5.6倍。
- 多模态生成:发布PPDiffusers 0.24.1版本,支持视频生成能力,文生图模型新增LCM。新增飞桨版peft,accelerate后端。提供基于飞桨开发的ComfyUI插件。
- 多模态数据处理工具箱DataCopilot:支持自定义数据结构、数据转换、离线格式检查;支持基本的统计信息和数据可视化功能。 2023年10月7日发布 PaddleMIX v1.0
- 新增图文预训练模型分布式训练能力,BLIP-2支持千亿规模训练
- 新增跨模态应用流水线AppFlow,一键支持自动标注、图像编辑、音生图等11种跨模态应用
- PPDiffusers发布0.19.3版本,新增SDXL及相关任务
主要特性
- 丰富的多模态功能: 覆盖图文预训练、文生图、跨模态视觉任务,实现图像编辑、图像描述、数据标注等多样功能
- 简洁的开发体验: 模型统一开发接口,高效实现自定义模型开发和功能实现
- 高效的训练推理流程: 全量模型打通训练推理一站式开发流程,BLIP-2、Stable Diffusion等重点模型训练推理性能业界领先
- 超大规模训练支持: 可训练千亿规模图文预训练模型,百亿规模文生图底座模型
任务展示
- 视频演示(video Demo)
https://github.com/PaddlePaddle/PaddleMIX/assets/29787866/8d32722a-e307-46cb-a8c0-be8acd93d2c8
安装
- 环境依赖
pip install -r requirements.txt
关于PaddlePaddle安装的详细教程请查看安装指南。
注:ppdiffusers部分模型需要依赖 CUDA 11.2 及以上版本,如果本地机器不符合要求,建议前往 AI Studio 进行模型训练、推理任务。
如果希望使用bf16训练推理,请使用支持bf16的GPU,如A100。
- 手动安装
git clone https://github.com/PaddlePaddle/PaddleMIX
cd PaddleMIX
pip install -e .
#ppdiffusers 安装
cd ppdiffusers
pip install -e .
教程
特色应用
- ComfyUI创作工作流
体验专区: https://aistudio.baidu.com/community/app/106043
- 艺术风格二维码模型
体验专区: https://aistudio.baidu.com/community/app/1339
- Mix叠图
体验专区:https://aistudio.baidu.com/community/app/1340
模型库
多模态预训练 | 扩散类模型 |
|
|
更多模型能力,可参考模型能力矩阵
社区交流
- Scan the QR code with WeChat and fill out the questionnaire to join the communication group for in-depth discussions with numerous community developers and the official team.
许可证
本项目根据Apache 2.0许可证发布。