ControlNet使用指南：线稿轮廓、图像优化、色彩调整和风格迁移

👈👈👈 欢迎点赞收藏关注哟 👍👍👍

👉👉👉 快进来看爆款文章 🔥🔥🔥

一. 前言

这是整个 AIGC 的第四篇 ， 这一篇来尝试创建一些我们经常看到的小东西 ：

• # AI 创业指难（一） ：Stable Diffusion AI 绘画怎么用
• # AI 创业指难 （二） ：在云服务器上面部署 AIGC 记录
• # AIGC 创业指难 （三）：AI 绘画踏上工业化的第一步

二. ControlNet 使用

2.1 ControlNet 的加载类型

• 线稿轮廓类型 ： 用于控制图片的线条
  • Canny(硬边缘) ：检测出原始图片中各对象的边缘轮廓特征 ，生成线稿 ，作为生成图片的条件
  • MLSD(直线) ： 分析图片的线条架构和集合机构来构建外部框架 ， 用于提取直线轮廓
  • lineart(线稿) ： 线稿处理 ，提取图片的线稿信息 ，和 Canny 类型 ，但是效果比 Canny 更好
  • SoftEdge(软边缘) ： 检测图像的 软边缘轮廓 , 让图像在有轮廓的同时更加灵活
  • Scribble/Sketch(涂鸦/草图) : 提取 曝光对比度更加明显的区域 ， 不识别精细的地方
• 图像优化类 :
  • 局部重绘 : 使用 mask 蒙版对需要重绘的部分进行遮盖 ，在那里进行局部的变动
  • InstructP2P : 基于提升词 来 修改图片 （修改衣服颜色等）
  • Tile(分块) : 增加图片的分辨率 ，增加图片的细节
• 空间结构类 :
  • Depth(深度) ： 提取图片中的深度信息 ，从而生成一样的深度结构
  • OpenPose(姿态): 人体关键点检测模型 ，检测人体关键点 ，从而精准控制人物状态
  • Segmentation(语义分割): 对图片内容进行语义分割， 分辨图片的语义后按照对应区域对应语义生成
  • NormalMap(法线贴图) : 生成一张记录凹凸纹理信息的图， 用于控制凹凸质感
• 色彩调整类
  • Shuffle(随机洗牌) : 基于参考图把图片风格迁移到新的图片上 ， 相当于风格没变， 图片变了
  • Recolor(重上色) : 对图片进行重新上色 ，例如给黑白图片上色
• 风格迁移类 ：
  • Reference (参考) ： 基于参考图 生成 画风相似的图片 ，控制大致风格和布局
  • Revision ： 输入一张图片当成提示词 ，他会根据新的模型完全按照提示生成新图 （区别上一个）
  • IP-Adapter : 根据用户上传的图片进行创作 ，风格更加接近原图

三. 使用案例

3.1 图片里面有固定的文字

• 使用的方式很简单 ，

3.2 图片里面带有特定的图案

• 我们可以让一个杂乱的图像 ，按照我们自己的意愿 ， 进行元素的聚合 ，形成我们想要的图案
  • S1 : 先准备一个抖音的图标 ，导入到 ControlNet
  • S2 : 对加载的图片进行预处理 ，这里我选择的类型为 Canny
  • S3 : 设置好参数后 ，即可以生成需要的图片

3.3 人物生成的时候按照固定的动作

• 我们可以要求图像生成的时候 ，按照我们的需求来生成对应姿态的图像
  • S1 : 准备一张我们期望生成的姿态 ， 导入到 ControlNet
  • S2 : 选择 OpenPose 后 ，进行图像的预生成 （这里会读取图片里面的姿态）
  • S3 : 选择权重和加载时机 ，进行图像的生成

3.4 按照自己的想法进行构图

• 在不使用 ControlNet 的情况下 ，相同的提示词生成的对象就很不可控
• 当使用了 ControlNet ， 我们就可以按照我们的意愿去控制建筑物的生成

四. 使用技巧

4.1 权重对图像生成的影响

• 权重并不是越高越好 ，也不是越低越好 ，先从人物姿态这方面来看看

4.2 介入时机对图片生成的影响

方案一 : 控制权重 1.2 ， 介入时机由 0 到 1 ， 终止时期不变动

• 可以看到过早的介入其实效果并不好 ，直接改变了图片的内容
• 而过晚的介入没有效果 ，人物的姿态并没有变化

方案二 ： 控制权重 1.2 ， 介入时机 0.15 ， 终止时期由 1 到 0.2

• 相比介入时期 ，在人物姿态的生成过程中 ，对图像的影响其实不大 。
• 由于人物的姿态确定的时间比较短 ，所以只会在极短的一个范围内生效 （比如 0.15 – 0.2 之间的控制）

4.3 不同控制类型对图片的影响

不同的场景选择的控制类型应该是不同的 ：

• 建筑风景类型的可能更适合 Depth / MLSD / Lineart 这类线性的类型
• 而人物可能更喜欢 Canny / OpenPose / Reference 这类的类型
• 剧情性质的可能适用于 局部重绘 等

这里我还是以人物举例 ，基本上在人物的姿态控制上 ，大部分的类型都拉垮了 ：

这里选择了 Canny , 可以看到 ，对图像的控制反而更强了， 动作基本上控制的一致。 而其他的类型都崩了 ，这里就不展示了。

总结

其实到了这一步 ，我对 ControlNet 的使用深度还不到 10% , 其中大量高级用法现阶段的我是不太会用的。

那么回到这个讨论 。很明显 ，如果只是一名初级 的画师/设计师/平面 ，那么你确实要开始警惕了。

之前可能 3-5个人的工作量 ，借助 AI 一个人就可以完成.

但是 ， 如果你是高级设计师 ，那么还不需要太担心 ，对于一些创意 ，设计方面 ，还无法进行替代。

也许 ， 你应该选择拥抱它了。

参考文档

@ www.bilibili.com/video/BV1Gp…