ComfyUI-Anyline - 基于TEED技术的高精度线条检测预处理器

Anyline

快速、准确且详细的线条检测预处理器

Anyline是一个ControlNet线条预处理器，能够准确地从大多数图像中提取物体边缘、图像细节和文本内容。用户可以输入任何类型的图像，快速获得边缘清晰、细节保留充分、文本高保真度的线条图，然后将其用作Stable Diffusion中条件生成的输入。

技术细节

Anyline使用的模型和算法基于"小型高效边缘检测泛化模型(TEED)"论文（arXiv:2308.06468）的创新成果。ComfyUI中的TEED预设也源于这项工作，标志着它是一种强大的视觉算法（TEED目前是最先进的）。更多详情请参阅该论文。

与其他线条提取预处理器的比较

Anyline使用1280px的处理分辨率，因此比较也在这个分辨率下进行。与其他常用的线条预处理器相比，Anyline在轮廓准确性、物体细节、材质纹理和字体识别（尤其是在大场景中）方面具有显著优势。它还在大多数场景中更好地减少噪音，从而在生成过程中产生更清晰的图像处理，减少不准确之处。

效果概览

Anyline与Mistoline ControlNet模型结合，形成了一个完整的SDXL工作流程，最大化精确控制并发挥SDXL模型的生成能力。Anyline也可以在SD1.5工作流程中与SD1.5的ControlNet一起使用，尽管它在SDXL工作流程中的Anyline+MistoLine设置中通常表现更好。

注意：最终结果高度依赖于所使用的基础模型。请根据您的需求选择适当的基础模型。

视频教程

即将推出！

安装

要将Anyline作为ComfyUI插件使用，您需要先安装comfyui_controlnet_aux！您可以按照以下说明进行操作：https://github.com/Fannovel16/comfyui_controlnet_aux?tab=readme-ov-file#installation

安装完comfyui_controlnet_aux后，请按照以下步骤操作：

打开您的IDE和ComfyUI命令行，确保Python环境匹配。
导航到自定义节点目录：
```
cd custom_nodes
```
克隆仓库，或手动下载此仓库并将其放入ComfyUI/custom_nodes目录：
```
git clone https://github.com/TheMistoAI/ComfyUI-Anyline.git
```
导航到克隆的目录：
```
cd ComfyUI-Anyline
```
安装依赖项：
```
pip install -r requirements.txt
```
首次使用时模型将自动下载。如果失败，请从HuggingFace仓库手动下载，并将.pth文件放在指定目录中。

ComfyUI工作流程

安装完成后，可以通过搜索或右键点击在ComfyUI中访问Anyline预处理器。在SDXL中使用Anyline+Mistoline的标准工作流程如下：

您可以在这里下载此工作流程JSON：ComfyUI工作流程

在A1111 sd-webui-controlnet中使用

请按照https://github.com/Mikubill/sd-webui-controlnet/discussions/2907中的说明操作。 331892429-e467798f-e96d-4e90-a5d8-306d5b76274f

局限性和未来发展

Anyline可能在处理具有相机模糊或柔焦效果的图像时遇到困难，可能需要根据社区反馈进行迭代改进。
我们还计划联系ComfyUI的作者或ComfyUI-Controlnet的开发者，将Anyline集成到ComfyUI中，以便未来更易使用。

中国（大陆地区）便捷下载地址 (MTEED.pth)：

链接：https://pan.baidu.com/s/1ik11P_u1vK8mI4q33v0MTQ?pwd=v8f1
提取码：v8f1

引用

@InProceedings{Soria_2023teed,
    author    = {Soria, Xavier and Li, Yachuan and Rouhani, Mohammad and Sappa, Angel D.},
    title     = {Tiny and Efficient Model for the Edge Detection Generalization},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {1364-1373}
}