#ControlNet

ArtLine项目旨在自动生成精美的肖像线条艺术。整合了ControlNet与ArtLine，该模型不仅能识别面部特征，还能根据指令调整图像风格。项目采用自注意力机制、渐进式缩放和感知损失技术，使其在不同姿态和背景下表现出色。项目持续改进，将解决背景和阴影识别问题，提供更好的用户体验。

RoomGPT是一个开源平台，允许用户上传房间照片，并通过ControlNet机器学习模型生成房间装修变体。该系统支持快速克隆、部署操作，并可与Next.js API结合使用，易于本地运行和部署。利用RoomGPT，开启您的智能家居设计之旅。

本文深入探讨了 AI 在编程、绘画和写作领域的应用，分享了通过各种工具和平台集成，如 GitHub Copilot、Stable Diffusion 和 ChatGPT，来增强创意和效率的经验。详解了在实际应用中如何利用 AI 处理复杂任务，提高项目的执行效率，并探索了 Prompt 编程，即如何更精确地通过文本提示来引导 AI 行为，以打通低代码的最后一公里，实现从自然语言到直接代码的转换。

GRAVITI Diffus，一个便捷的WebUI平台，使您能轻松探索和展示AI艺术。提供20,000+模型与多种扩展，帮助您创作并分享数字艺术。加入社区，共同塑造平台未来。

stable-diffusion-webui-colab 在Google Colab上提供一个完备的深度学习环境，支持生成图像等多种AI应用。本项目拥有丰富的自定义功能和扩展，支持多语言操作，适合各类用户在云端便捷地管理和应用稳定扩散模型。

通过瓦片扩散与VAE技术，该扩展支持在有限显存条件下生成或放大超大图像（≥2K）。主要功能包括瓦片VAE、瓦片扩散、区域提示控制和噪声反演，并兼容ControlNet、StableSR和SDXL等高级功能。项目免费开放使用和修改，自2023.3.28起代码不得用于商业贩售。访问wiki页面获取更多详细文档和教程。

此扩展结合了Stable Diffusion WebUI、ControlNet扩展，以及Segment Anything和GroundingDINO等高级分割模型，提升了图像修复、语义分割和LoRA/LyCORIS训练集创建功能。支持自动图像抠图及API的全面重构，单张图像处理和自动生成分割掩码更加便捷。最新版本增强了多个分割模型的支持，并优化了CPU和GPU的运行性能。

此项目展示了使用Diffusers进行图像转换的实时潜在一致性模型（LCM），支持img2img、txt2img、ControlNet等多种管道。需要CUDA和Python 3.10等环境支持，提供详细的安装指南和使用示例。LCM + LoRAs可以在极少步骤内完成推理，加快处理速度。项目支持Docker部署，并提供不同平台的实时演示链接。

该库是一款基于Stable Diffusion的图像生成工具，支持txt2img、img2img和图像修复功能，完全采用C++实现，无需依赖Python。其高性能和简化的部署过程非常适用于实时图形应用和游戏开发。库还支持ControlNet，通过输入图像来引导生成过程，并提供GPU加速的特征提取功能，如姿势估计、深度估计和边缘检测。此外，库包含多个代码示例和预编译模型，便于开发者快速集成和测试。

Radiata 是一个基于 diffusers 的稳定扩散 WebUI，提供稳定扩散、稳定扩散 XL 和 TensorRT 加速等功能。通过简单的 Git 和 Python 安装步骤，可以快速部署并享受高效的模型推理体验。同时支持 ControlNet 插件和 Lora & Lycoris 模型扩展，增强工具的灵活性和功能性。适用于 Windows 和 Linux 系统，详细文档参见官方网站。

该项目为Flux图像生成模型提供LoRA和ControlNet微调脚本。使用DeepSpeed实现高效训练,并提供预训练检查点。包含详细的训练和推理指南,以及低内存模式和加速配置示例。项目计划未来发布更多ControlNet权重模型和IP-Adapters。

sd-webui-controlnet扩展为Stable Diffusion WebUI集成了ControlNet功能。它支持多种控制模型和预处理器,实现像素级精确控制,兼容高分辨率修复和上采样脚本。用户可调整提示词与控制网络的权重,还可使用参考图像进行无模型控制。该扩展显著提升了Stable Diffusion的可控性,为AI图像生成开启更多可能性。

LooseControl是一种提升ControlNet能力的深度条件生成控制技术，实现了更通用的深度条件控制。该开源项目提供UI界面和Python API，支持基于粗略深度图的图像生成和风格保持编辑。LooseControl适用于多种场景，为计算机视觉和图像生成领域提供了新的研究方向。

OMG是一个多概念图像生成框架，支持Civitai.com的角色和样式LoRA模型。结合InstantID可实现单图多ID个性化。该框架提供高质量多角色图像生成，支持布局和样式控制。项目开源并附详细说明，为图像生成领域带来新突破。

sd-webui-animatediff为Stable Diffusion WebUI提供了强大的AI视频创作功能。该扩展集成AnimateDiff技术，使创建GIF动画与生成静态图像一样简便。它支持ControlNet和提示词旅行等高级特性，并具有多项性能优化选项。作为一个versatile工具，sd-webui-animatediff不仅兼容WebUI，还可用于Forge平台，为AI视频制作提供了全面的解决方案。

ComfyUI-Anyline是基于TEED技术的ControlNet线条预处理器，可从各类图像中提取物体边缘、细节和文本内容。它能快速生成清晰边缘和高保真度的线条图，用于Stable Diffusion的条件生成输入。Anyline在轮廓准确性、细节保留和文字识别方面表现优异，有效减少噪声。结合MistoLine ControlNet模型，Anyline能在SDXL工作流中实现精确控制和强大的生成能力。

X-Adapter是一个通用适配器，使旧版扩散模型（如SD1.5）的预训练插件能够直接与升级后的模型（如SDXL）兼容，无需重新训练。该项目支持ControlNet、LoRA等多种插件，提供了设置指南、推理代码和使用示例，提高了模型升级后的灵活性和效率。这为研究人员和开发者提供了实用的工具和资源。

该在线AI图像生成工具采用ControlNet技术，能将简单涂鸦转换为精细图像。支持边缘图、分割图和关键点等多种输入条件。用户只需上传涂鸦并添加描述，即可生成高质量图像。工具主要用于教育和创意领域，有效帮助用户将创意概念可视化。

Room AI是一款智能室内设计工具，面向室内设计师、房主及装修爱好者。基于房间结构和布局，该工具能快速生成多种设计方案。支持多种房型和风格，提供专业配色建议，允许用户自定义设计。Room AI采用ControlNet和Stable Diffusion技术，生成高质量室内设计图像，为用户提供创新设计灵感。

DWPose是一种采用两阶段知识蒸馏的全身姿态估计方法。该项目提供多个不同规模的模型,在COCO-WholeBody数据集上表现出色。DWPose可替代OpenPose用于ControlNet,提升图像生成质量。项目开源了模型及相关代码,支持ONNX推理,并可与Stable Diffusion WebUI集成。

Sharing-Is-Caring是一个开源项目，专注于分享AI生成相关的工作流程和工具。项目提供多种ComfyUI工作流程，涵盖2D 360°生成、图像放大和IPAdapter集成等功能。用户可直接导入工作流程图像到ComfyUI中使用，简化AI创作过程。该项目持续更新，为AI从业者提供最新的技术解决方案。

control_v11p_sd15_softedge是基于ControlNet v1.1的软边缘检测图像控制模型。它能精确控制Stable Diffusion的图像生成过程，支持多种图像处理任务。相比前代模型，优化了训练数据集，提升了边界感知能力，解决了灰度图像过拟合问题，具有更强的鲁棒性。该模型可用于艺术创作、图像编辑等领域，为用户提供更灵活的图像生成控制。

该项目通过ControlNet为扩散模型添加条件输入，专注于动漫风格线条艺术。ControlNet适应性强，能在小数据集上稳健学习特定任务条件。结合Stable Diffusion v1-5，可以提升模型处理边缘图、分割图和关键点的能力，有助于扩展大规模扩散模型的应用。

该项目介绍了ControlNet神经网络结构，通过加入M-LSD直线检测等条件来控制大规模扩散模型，适用于Stable Diffusion。ControlNet能够在小数据集下进行稳健学习，且可在个人设备上快速训练。项目提供了多种检查点，涵盖边缘检测、深度估计和关键点检测，丰富了大规模扩散模型的控制方式，有助于推进相关应用的发展，最佳效果在Stable Diffusion v1-5结合使用时体现。

ControlNet v1.1通过多条件输入增强文本到图像生成，与Stable Diffusion兼容，支持边缘和分割图条件输入。项目已转为diffusers格式，便于个人设备上进行快速训练。Normal 1.1模型改善了表面法线估计的准确性，增加在各类图像中的应用实用性。

此项目提供了Canny ControlNet检查点，支持FLUX.1-dev模型，并可在ComfyUI中使用。ControlNet在1024x1024分辨率下训练，旨在提升图像的真实性和细节表现。可以通过GitHub仓库中的main.py或ComfyUI自定义节点来体验模型。示例结果和输入图像位于“Files and versions”部分，提供直观的模型表现展示。

controlnet-canny-sdxl-1.0是基于stable-diffusion-xl-base-1.0训练的Canny边缘检测控制网络模型。该模型通过边缘图像控制SDXL生成的图像内容和结构，支持高分辨率图像生成。项目提供了使用说明和示例代码，便于开发者集成到AI图像生成项目中。

control_v11p_sd15_inpaint是一款基于ControlNet技术的图像修复工具。它通过精确控制Stable Diffusion等扩散模型，实现高质量的图像修复和编辑。该模型支持边缘图、分割图和关键点等多种输入条件，为图像处理提供多样化的选择。这一工具适用于个人设备和大型计算集群，具有良好的可训练性和易用性。

该项目为FLUX.1-dev模型提供了优化的ControlNet检查点，包含Canny、HED和Depth(Midas)三种模型。这些ControlNet经1024x1024分辨率训练，支持ComfyUI直接使用。项目还提供自定义节点和工作流程，便于快速实现。这些工具能够提升图像生成的精确控制，增强AI图像创作效果。

FLUX.1-dev-ControlNet-Union-Pro是一款升级版控制网络模型，集成了7种控制模式。作为FLUX.1-dev-Controlnet-Union的进阶版本，该模型经过更深入的训练，提高了图像生成的精确度。它支持与其他ControlNet模型协同工作，控制强度建议设置在0.3到0.8之间。这一多功能模型能够满足各类复杂的图像生成需求，为图像创作提供更精细的控制选项。

本项目利用ControlNet v1.1提供了一种神经网络结构，能够通过附加条件控制预训练的大型扩散模型，与Stable Diffusion兼容。其支持指令化像素到像素的控制，通过边缘图、分割图和关键点等条件输入丰富图像生成方式。即便在小规模数据集下，ControlNet也能在个人设备上快速训练，相关源码及文档可在HuggingFace平台获取，适用于多种图像生成任务，提升图像处理灵活性。

ControlNet最新版本利用图像分割为预训练的扩散模型提供条件控制，具备在小数据集上进行端到端任务学习的能力，具有强大的鲁棒性。结合Stable Diffusion v1.5，该模型通过分割图提供附加条件，丰富控制方法。可在个人设备和大型计算集群上处理不同规模的数据，提升训练效率。

control_v11p_sd15_canny是基于Stable Diffusion v1.5的ControlNet模型，用于边缘检测图像控制。该模型利用Canny算法生成的边缘图作为输入，精确控制AI图像生成。作为ControlNet v1.1的组成部分，它在数据质量和性能上较1.0版本有所提升。通过简单的Python代码即可实现，适用于艺术创作和图像编辑。

Jasper研究团队开发的Flux.1-dev ControlNet超分辨率模型，专门处理低分辨率图像。采用合成复杂数据降质方案训练，可将图像分辨率提升4倍。基于diffusers库实现，支持高斯噪声、泊松噪声、图像模糊和JPEG压缩等多种图像降质处理。该模型与Flux.1-dev完全兼容，提供高质量的图像超分辨率功能。

TemporalNet作为ControlNet的扩展模型，主要解决AI生成视频中的闪烁问题，通过优化时序一致性提升输出质量。该模型可与HED等其他模型配合使用，支持在Automatic1111的Web UI环境下运行。目前处于beta测试阶段，后续将开发Web UI扩展功能。

这是基于 LAION-Art 数据集训练的 Stable Diffusion 2.1 ControlNet 模型集合，集成了 Canny 边缘检测、深度图、姿态估计、线稿在内的11种图像控制功能。模型兼容 Automatic1111 WebUI，优化后的 safetensors 版本仅占用700MB存储空间，为AI图像生成提供多样化的控制选项。