InstanceDiffusion为文本到图像的扩散模型引入精确的实例级控制。该技术支持每个实例的自由语言条件，可灵活指定实例位置，包括单点、涂鸦、边界框和实例分割掩码。相比现有技术，InstanceDiffusion在框输入的AP50上提升2.0倍，掩码输入的IoU提高1.7倍，为图像生成和编辑领域带来新的可能性。