#跨模态生成

Seeing-and-Hearing项目提出了一种优化框架，用于跨模态和联合视听内容生成。该方法使用预训练的ImageBind模型连接独立的视频和音频生成模型，实现双向条件生成和联合视听生成。这一技术适用于视频到音频、音频到视频、图像到音频等多种任务，为内容创作提供了新的可能。