CONTENT

第一节_overview重点在于“扩散”：UI选择第二节_Prompt番外：ComfyUI提示词Prompt第三节_image2image图生图迪斯科_模型和站点SD模型本身资源站点第五节_分辨率提升SD放大脚本第六节_3个高级模型EmbeddingsLoRAHypernetwork第七节_局部重绘inPaint Sketch第八节_插件Extension第九节_LoRA原理3种加载方式5个案例人物Chracter画风Style概念Concept服饰Cloth特定元素Object第十节_ControlNet基本原理安装使用参考使用5大模型openposedepthcannysoftedgescribble组合使用_MultiControlNet核心：互功能补

第一节_overview

重点在于“扩散”：

1. 不分图层

2. 原图→加噪声（抽离出基本锚点形象）→出图（按训练的模型数据加入推测出的像素点）

UI选择

MINDMAP

第二节_Prompt

番外：ComfyUI

提示词Prompt

1. (prompt words: number) ——括号调权重，数字代表大小，上限一般1.5

2. CFG相关性权重，7-12左右

第三节_image2image

图生图

1. seed：规避随机性，保留基本人物信息特征，即锚点

2. 自定义轮廓，色块，线条，抽象出基本的原型，模型再创作的模式

迪斯科_模型和站点

SD模型本身

资源站点

1. hugging facehuggingfaceHugging Face – The AI community building the future.
   

   Hugging Face – The AI community building the future.

   We’re on a journey to advance and democratize artificial intelligence through open source and open science.

   huggingface

2. civitaicivitai.com

   civitai.com

第五节_分辨率提升

SD放大脚本

1. Hi-Res Fix重绘

2. 插件脚本-重复像素堆叠：切成四块重绘的交叠处重复，避免四块过渡生硬，平滑过渡拼合。

3. AI算法放大：不涉及去噪重绘，会更快，但效果也一般

第六节_3个高级模型

Embeddings

1. 本质：嵌入式向量

2. 作用：书签，指向已经有的数据库的某些定义页面。即指向训练SD模型时所用图库中的该类关键词集合。

3. 应用场景：
1. 泛化的角色指向，只有很少的特定角色锚点；
2. 经典例子：三视图——并非真正意义上的三视图，而是加入了embeddings书签，指向之前训练时所用到的喂给SD的三视图tag。或者指向之前的turner人物转身tag；
3. 负面词嵌入：避开经典的negative tags；
4. 需要下载，下载后放入embeddings文件夹，并在prompt中写出来；

LoRA

1. 全称：Low-Rank Adaption Models，低秩适应模型

2. 本质：特定角色的描述词tag集合，即角色锚点集合。所以多用于角色

3. 应用：
1. 锚点集合
2. 会对原来的底模产生画风上的影响，可以在prompt中适当降低权重

Hypernetwork

1. 超网格

2. 多用于改变画风

3. 选项设置在“设置”“附加网络”里选择，不用了记得取消掉

4. 暂时的应用场景和范围相比上面两位LoRa和Embeddings比较局限

这些东西本身发展巨快，先有个基本认知就可以，并主动设计相关最新信息的信息流推送茧房，所谓的大数据，利于特定方向领域的信息摄取。

1. 看最新的应用

第七节_局部重绘inPaint Sketch

1. 本质：蒙版——Mask——蒙住了部分关键区域的板子，当然可以正着用反着用，就像喷涂绘画

2. 需要注意的参数：
1. 羽化缓冲区域
2. 重绘区域：蒙版里外

3. in Paint Sketch
1. 画笔除了类蒙版限定区域的作用，增加了输入信息的作用
2. 用于纠正手部
示例

4. Sketch：就是抽象轮廓，交给模型再生成

5. 额外技巧：WebUI的自带蒙版功能很粗糙，可以组合使用PS中的工具，生成更精确的蒙版，从而更精确的掌控重绘范围：比如：
示例

课程除了这种一次概览，更有效的是根据应用场景确定需求，再去选择针对的教程，这样的强化学习过程多来几次，甚至于我而言来上一次，就能通了。这是更高效的。

第八节_插件Extension

1. 安装方式
如

2. 或者直接下包放到extension目录里

第九节_LoRA

后面还有补充的：60分钟速通LORA训练！绝对是你看过最好懂的AI绘画模型训练教程！StableDiffusion超详细训练原理讲解+实操教学，LORA参数详解与训练集处理技巧_哔哩哔哩_bilibili

60分钟速通LORA训练！绝对是你看过最好懂的AI绘画模型训练教程！StableDiffusion超详细训练原理讲解+实操教学，LORA参数详解与训练集处理技巧_哔哩哔哩_bilibili

📕参考资料：gf66fxi6ji.feishu.cn/wiki/CEQgw0Bfdi1HBRktnIxcNg7CnRf（施工中）训练器安装全流程指引：gf66fxi6ji.feishu.cn/wiki/Q4EYwQl2riWw25kdN3hc5xuEnIe🔗练习素材：度盘：pan.baidu.com/s/1W4ha-dMcoaCqF4ltyDNf7A?pwd=nely Quark：pan.qu, 视频播放量 693739、弹幕量 3401、点赞数 32190、投硬币枚数 31220、收藏人数 64163、转发人数 4549, 视频作者 Nenly同学, 作者简介 不会画画的设计师，兴趣爱好是做一点教程 | （站内只有这一个账号） ( • ̀ω•́ )✧，相关视频：【AI绘画】模型训练器发布！专业的LoRA模型/大模型训练一键包 SD-Trainer，[全网最细lora模型训练教程]这时长？你没看错。还教不会的话，我只能说，师弟/妹，仙缘已了，你下山去吧！，真人LORA训练全攻略 ！手把手教你 这还不简单？真人LORA全面教程 stablediffusion教程 SD教程 零基础入门教程 AI绘画，【AI绘画】秋叶Lora模型训练器，如何使用和训练LoRA模型？你想要的都在这！--人人都可以当炼金术士！，【AI绘画】LoRA进阶用法：分层控制，【倾囊相授】c站排行前十五炼丹师教你养赛博女儿，【AI绘画】最佳画风/人物模型训练！保姆式LoRA模型训练教程 一键包发布，训练真人脸部lora教程stablediffusion，“LoRA已死，新王当立”参数再砍95%！LoRI【论文精读】，「AI动画终极教程」Lora炼制宝典！解决AI一致性痛点！操作最简单！最实用lora训练全流程教程！AI进阶教程！赋能AI智能体教学！在线comfyui工作流！

原理

1. 一种更简单的对大模型微调的方式
contrast

2. 文件格式还是ckpt-checkpoint和safetensor；但大小小很多，一两百兆左右

3种加载方式

1. prompt提示词里面<>尖括号加

2. 选项加

3. additional network扩展

后两个的目的，是为了避免提示词里面出现过多与tag无关的设置选项类数据，会干扰信息阅读

5个案例

overview

人物Chracter

画风Style

1. style类的LoRA比角色类的影响更重，所以权重可以适当调低一些

2. 记得加“触发词”，即trigger

概念Concept

服饰Cloth

1. 多个LoRA叠加使用

特定元素Object

用法：先画大的，再局部重绘出这个元素

第十节_ControlNet

基本原理

1. 核心：控制 Control，控制扩散模型去噪时的走向

安装使用

参考

5个常用作用

使用

1. 无骨骼图：预处理器Annotator，处理出来姿势pose

2. 找到对应模型

3. 最重要的参数：控制权重control weight，如果控制不住，即control体现不出来，就拉大权重；反之拉小，缩短步数

4. 有骨骼图：不用预处理器，直接

5大模型

openpose

1. 基本骨骼姿势

2. 手部骨骼

3. 脸部表情

depth

1. 空间深度，层次

2. 场景

3. 人物非常规姿势时的部位前后关系

canny

1. 源于边缘检测算法

2. 生成效果类似于线稿

3. 用于控制图形外形特征
1. 车，仪器等
2. 狗猫毛发等
3. 文字字形

4. 线条密集程度调整下方参数（明暗的差异值），太密的话会导致出图出现过多无用细节

5. 线稿上色：先把白底黑线的线稿invert反转为白底黑线的符合canny的参考图

softedge

1. 全称：整体边缘线条检测 holistically-nested edge detection（HED）→ 柔和边缘 soft edge

2. HED相比canny更柔和，是涂抹，色块，羽化，过渡的感觉，拥有更大的自由度

scribble

1. 形象解释：涂鸦

组合使用_MultiControlNet

example

核心：互功能补