第二篇 关于ContorlNet功能认知

第二篇 ContorlNet

一.说明

     本文对ControlNet做了简单分类以及简单说明，若有不全面和错误还请读者评论区补充于更正，文章仅适用于23年6月15日前。

二.分类与说明

    ControlNet目前一共有15个预处理种类，这里根据功能与效果分为5大类，前面3类为强控制，第4类为弱控制，第5类更多用于图像的优化或者生成，其中包括：

1. 边缘轮廓（Canny，Linerat，Softedge，MLSD）

2. 图像控制（Depth，Normal）

3. 人物控制（Openpose）

4. 成像效果（Scribble，Seg，Shuffle，T2IA）

5. 优化生成（Tile，Inpaint，IP2P，Reference）

1.边缘轮廓

    Canny(硬边缘)、Lineart(线稿)、Softedge(软边缘)：用于描绘出图像的边缘，具体效果根据情况而定，实际操作中可以每个都试一遍，那个效果好用那个。

    MLSD(直线)：用于更好的描绘出直线物体的边缘，剔除掉里面的细节。如：楼房、桌子等家具。

2.图像控制

    Depth(深度)：用于识别图片场景、人物深度，里面包括多个预处理器，实际操作中可以每个都试一遍，那个效果好用那个。

    Normal(法线)：能够识别图像凹凸信息，用于光影处理。

3.人物控制

    Openpose：用于识别人物身体姿势，脸部特征。

4.成像效果
    Scribble：可提取图向简单轮廓笔画，更多用于手绘简单图像后，直接使用模型用于文生图生成图像。

    Seg：用颜色把图片信息分割。

    Shuffle：打碎图片，保留线条颜色。

    T2IA：用于根据图像像素、风格生图（本质是提取图片信息用于图像生成），可用于根据分格迁移，需要下载相应的3个模型，分别为：color、sketch、style。以下为链接https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models

5.优化生成

    这类对图像的控制较弱或可替代，可以用提示词、重绘替代，随机性比较强不太符合ControlNet对图像的可控性。
    但是其中Tile对背景重绘颇为不错，参考原图涂黑部分，可保留背景细节人物，而Inpaint重绘背景不会参考涂黑的部分而是由原图扩充；Inpaint的Global对图像的扩充很优秀。