Phased Consistency Model:加速扩散模型的图像生成
近年来,扩散模型在高质量图像生成领域取得了巨大的成功。然而,扩散模型通常需要数百次迭代才能生成高质量图像,这限制了其在实际应用中的使用。为了加速扩散模型的采样过程,研究人员提出了一致性模型(Consistency Model, CM)。CM可以在很少的步骤内生成高保真度的图像,但其在高分辨率、文本条件图像生成任务中的应用效果仍不理想。
为了解决这个问题,来自香港中文大学等机构的研究人员提出了一种新的方法 - Phased Consistency Model (PCM)。PCM是对原始一致性模型的改进和扩展,旨在实现高分辨率、文本条件的图像快速生成。
PCM的核心思想
PCM的核心思想是将整个ODE轨迹分成多个子轨迹。这种设计有效地解决了之前方法存在的三个主要局限性:
- 缺乏灵活性:之前的方法在选择CFG(条件引导因子)时缺乏灵活性,对负面提示词不敏感。
- 结果不一致:在不同推理步骤下,生成结果不一致。步骤太多时会出现模糊(随机采样误差),步骤太少时效果又不理想。
- 低步骤效果差:在低步骤(1-4步)生成时,结果质量较差。
通过将ODE轨迹分阶段处理,PCM很好地克服了这些局限性,在各种生成设置下都能取得优异的表现。
PCM的优势
相比之前的方法,PCM具有以下优势:
-
更好的生成质量:PCM在1-16步的图像生成中都能取得优异的表现,生成质量明显优于之前的方法。
-
更高的灵活性:PCM允许更灵活地选择CFG因子,对正面和负面提示词都很敏感。
-
结果一致性:在不同的推理步骤下,PCM能产生一致的高质量结果。
-
训练效率高:相比其他方法(如CTM),PCM的训练目标数量更少,训练效率更高。
-
广泛适用性:PCM不仅适用于图像生成,还可以应用于视频生成等任务。
PCM的实验结果
研究人员在多个数据集上对PCM进行了广泛的实验。结果表明:
-
在CIFAR数据集上,PCM的4步无条件生成模型达到了2.03的FID分数。8步模型更是达到了1.94的FID和10.05的Inception Score。
-
在ImageNet64数据集上,PCM的4步条件生成模型仅用0.1%的训练预算就达到了3.0的FID,远优于官方CM模型4.3的FID。
-
在高分辨率文本到图像生成任务中,PCM显著优于当前开源的快速生成模型,包括基于GAN的SDXL-Turbo、SD-Turbo、SDXL-Lightning,基于修正流的InstaFlow,以及基于CM的LCM、SimpleCTM等方法。
PCM的应用前景
PCM不仅在图像生成领域表现出色,研究人员还将其应用到了视频生成任务中。通过PCM,研究人员训练出了目前最先进的少步文本到视频生成器。这表明PCM具有广泛的应用前景,有望在更多生成任务中发挥重要作用。
结论
Phased Consistency Model (PCM)是一种强大的图像生成加速方法,它通过巧妙的设计解决了之前方法存在的局限性,在保持高质量生成效果的同时,大大加速了扩散模型的采样过程。PCM的出现为高质量、高效率的图像和视频生成开辟了新的可能性,有望在计算机视觉、多媒体处理等多个领域产生重要影响。
随着PCM的进一步发展和优化,我们可以期待在不久的将来,基于PCM的技术将被广泛应用于各种实际场景,为创意产业、娱乐媒体、数字艺术等领域带来革命性的变革。
