Stable Diffusion各种类型模型的作用及区别

Stable Diffusion各种类型模型的作用及区别

Stable Diffusion不同类型模型的作用及区别如下：
1. Checkpoint主模型

作用：作为Stable Diffusion的核心模型，Checkpoint主模型专注于生成特定艺术风格或主题的图像，例如动漫、油画、水彩画、赛博朋克等风格。通过主模型，用户可以快速获得符合需求的风格化图像。特点：文件后缀为.ckpt或.safetensors（安全类型，防止DOS攻击、加载迅速、支持懒加载、通用性强）。
体积庞大，通常在2GB到7GB之间。
官方模型的价值在于降低了训练门槛，用户可在现有大模型基础上，通过少量文本图像数据和微调方法，训练出应用于特定领域的定制模型。
训练成本低，本地民用级显卡训练数小时即可获得稳定出图的定制化模型，且针对特定方向的绘图能力更强，出图效果显著提升。
存储位置：models/Stable-diffusion

2. LoRA模型

作用：LoRA（Low-Rank Adaptation Models）是低秩适应模型，属于微调模型，主要用于对大模型进行特定方面的微调，例如控制画风、生成的角色或角色的姿势等。特点：无需重新训练整个基础模型，仅需将训练参数插入模型神经网络，显著降低训练参数，提升训练效率。
体积较主模型小得多，文件后缀为.safetensors。
在开源社区中有大量专门设计的插件，是目前最热门的模型类型。
存储位置：models/Stable-diffusion

3. Hypernetworks模型

作用：用于调整模型神经网络权重，进行风格的微调，帮助生成模型根据特定参数调整结果，例如风格或角色的微调。特点：原理是在扩散模型外新建一个神经网络（超网络）来调整参数。
训练难度大，应用范围较窄，目前大部分被LoRA模型替代。
文件后缀为.pt或.safetensors，体积在20MB到200MB之间。
存储位置：models/hypernetworks

4. ControlNet控制模型

作用：强大的控制模型，可实现画面控制、动作控制、色深控制、色彩控制等，是精准控制Stable Diffusion绘图的关键工具。特点：文件后缀为.safetensors，体积为KB级别。
具体应用将在后续章节专题介绍。
存储位置：models/ControlNet

5. Embeddings模型（Textual Inversion）

作用：文本编码器模型，用于改变文字向量，将提示词转换为电脑可识别的文本向量。通过训练将特定风格特征映射到模型中，输入对应关键词时自动启用相关文本向量进行绘制。特点：可理解为封装好的提示词文件，通过整合特定目标描述信息，简化输入流程。
可解决避免错误画手、脸部变形等问题，例如著名的EasyNegative模型。
文件后缀为.pt或.safetensors，体积为KB级别。
存储位置：embeddings

6. VAE模型

作用：将潜空间的图像信息还原为正常图片，对图像的压缩和解码起关键作用。不同VAE模型可能影响生成图像的色彩、清晰度和细节。特点：文件后缀为.pt或.safetensors，体积为335MB或823MB。
辅助Checkpoint主模型使用，可将大模型对应的VAE修改为相同名称，并在选项中勾选“自动”，切换Checkpoint模型时VAE会自动跟随变换。
存储位置：models/VAE

模型对比总结

Checkpoint主模型：核心模型，决定图像基础风格，体积大。LoRA模型：轻量级微调模型，专注特定控制，效率高。Hypernetworks模型：风格微调，训练难度大，逐渐被替代。ControlNet模型：精准控制绘图，功能强大。Embeddings模型：简化提示词输入，解决特定问题。VAE模型：图像还原关键，辅助主模型使用。