项目简介
潜在一致性模型(Latent Consistency Models,简称LCM)是由清华大学交叉信息科学研究院开发的一种先进的生成模型。其主要优势在于能够通过较少的步骤快速合成高分辨率的图像,从而将图像生成的速度提高2至5倍,同时减少所需的计算资源。官方表示,LCM是继潜在扩散模型(Latent Diffusion Models,简称LDMs)之后的下一代创新生成模型。
原理
LCM是在今年6月份推出的一致性模型(CM)的进化版。那些体验过Stable Diffusion的用户可能已经熟悉了设置“采样步数 Step”这一过程。这个设置是为了控制Diffusion模型中去除噪声的步骤,它通过重复迭代从一张充满噪声的图片中逐步去除噪点,使图片逐渐变清晰。一般而言,这个采样步骤需要设置在20到50步之间。
一致性模型(Consistency Models)对Diffusion模型中的去噪推理过程进行了革新,不再采用逐步迭代的方式,而是采用“一步到位”的推理方法,大幅减少了处理步骤,从而加快了图像生成的速度。在此基础上,LCM通过融合潜空间技术,进一步减少了处理数据的量,实现了极速的图像推理合成。以此技术,LCM团队开发了Dreamshaper-V7模型,它能够在仅2至4个步骤内生成分辨率为768*768的清晰图像。
项目特点
快!快!快!
不管你是用SDXL还是SD1.5,通过减少推理步骤来加速生成过程,生图速度都会让你感到快的离谱!所以说,LCM对AIGC可能是具有革命性意义的。
试用链接
https://huggingface.co/spaces/ilumine-AI/LCM-Painter
在该链接可以体验LCM对生图速度的明显改变,可以随着你的画笔落下而几乎无延迟的生成对应图片。