AI景观制图与人类助理 ControlNet 与 ComfyUI 可视化
#01 Prompt
完美的提示是 AI 生成出色内容的关键，而对于关键词的研究通常需要很大的耐心去慢慢调试，索性有网站解决了这个问题。小编在这里给搭建推荐一个基于Jina.ai的优化关键词的网站。它是专为大型语言模型 (LLM)、大型模型 (LM) 和 LMOps 设计的尖端提示词优化器。简化了提示工程，能够自动优化 ChatGPT、GPT-3.5、DALL-E 2、StableDiffusion 和 MidJourney 提示。目前免费版本有每日登陆后可以有20个积分分可以兑换优化次数，并且达成成就可获得额外积分。
网址：https://promptperfect.jina.ai 或直接搜索promptperfect 即可，有网页版本与客户端版本均可以下载。
除了优化文字的网站，也有反向从图片输出关键词的网站，虽然这项工作在本地部署的sd上有集成这一功能，但是它十分消耗资源，所以记得即使清理模型在每次反推关键词后。在这里也推荐一个网站可以在云端解析图片关键词。地址2在此：https://spell.novelai.dev/
#02 Control Net
/ 安装 /
对于上一期安装了一键启动器的同学们增加安装ControlNet插件，可以前往B站文章 https://www.bilibili.com/read/cv21829826 进行安装步骤，这里就不再赘述。
在安装好之后，只需要在文生图的最下端，脚本处选择ContralNet即可使用了。
/ 模式 /
Human Pose-to-Image：ControlNet 根据人体姿势生成清晰、解剖学上准确的图像。它甚至可以很好地处理四肢折叠或不可见的姿势，确保忠实地呈现输入姿势。这也是网上目前最常见的功能
▲图片来源 https://www.promptengineering.org/enhancing-stable-diffusion-models-with-control-nets/
Scrible-to-image——从初始草图中提取基本特征，然后生成具有卓越准确性的详细、高分辨率图像。此功能还将实际照片变成涂鸦，然后从中生成图像。适合同学们将初步想法进行深化的尝试。
Normal Map-to-Image：此应用程序允许用户关注对象的连贯性而不是周围环境和深度，从而可以更直接地对对象和背景进行编辑。这也是最适合建筑的出图模式之一，但是通常以室内场景为主。对于景观环境来说，我们可以在关键词部分描述想要的景观场景（例如），在controlNet的深度放处理过的建筑深度图，同时在img2img 模式里放一张类似的建筑物或场景，会有不一样的感觉，比如下图的关键词为 landscape architecture, competition style, portfolio, axonometric isometric view, monochrome, vector lineart, urban farm, high tech, soilless growing techniques， 对于的图纸是建筑类。反而会生成有趣的景观。
#03 Comfy UI
前篇已经介绍过，ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI， 可以想象成集成了stable diffusion功能的substance designer或ShaderGraph， 通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。
/ 安装 /
需从Github https://github.com/comfyanonymous/ComfyUI#installing 上下载、解压并运行。确保将 Stable Diffusion 的 ckpt或safetensors 文件放在：ComfyUI\models\checkpoints 中。额外补充的VAE模型（上期分享的不同类别，训练好的模型们）则需要放在models/vae 文件夹之中。很遗憾的是当前Comfy UI 与之前分享的一键启动器并不能很好兼容，所以需要独立安装运行。
▲图片来源 ：https://github.com/comfyanonymous/ComfyUI#installing
/ 云部署 /
当然也可以使用谷歌Colab进行云端部署，在没有充值的情况下运行速度略微感人且只有四个小时时间使用。Link to open with google colab：https://colab.research.google.com/github/comfyanonymous/ComfyUI/blob/master/notebooks/comfyui_colab.ipynb
/ 操作 /
▲图片来源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
上图是来自官方Github中的操作基本指南，有Grasshopper 使用基础的同学应该可以很快速的理解节点与流程的逻辑关系。
/ 案例与学习 /
对于建筑，景观出图，在官网上有个很类似的例子：ControlNet and T2I-Adapter Examples 地址 ：https://comfyanonymous.github.io/ComfyUI_examples/controlnet/
▲图片来源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
同样，在单个模型之外也可以将不同的组件组合起来，实现不同的效果，例如同时使用两种ContralNet对于图像进行生成和控制。不过强烈建议先看一遍第一个案例，深度图控制，因为ComfyUI的可复现性，即便没有看懂，你可以将示例中的图片下载下来，然后直接拖动到ComfyUI的界面中，就能重构出生成这张图的节点网络，包括使用的参数和种子，只要你也使用一样的模型和VAE，那么就能够几乎生成这同一张图。
▲图片来源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
对于ComfyUI的具体介绍可以去看知乎https://zhuanlan.zhihu.com/p/620297462 的这篇文章，属于是目前除了官方文档之外，中文最详细的介绍ComfyUI的使用文章。解释不同功能，由浅入深。
▲图片来源 ：https://zhuanlan.zhihu.com/p/620297462
