Generative AI
  • 序言
  • Chapter 1 Engine for GenAI
    • 1.1 Basic Concepts
    • 1.2 Install Ollama
    • 1.3 Model Download
    • 1.4 Local Installation of Dify
    • 1.5 Quickly Build Applications with Dify and Ollama
    • 1.6 Additional Information
  • Chapter 2 TTS model Inference Fine-tuning
    • 2.1 Basic Concepts
    • 2.2 Introduction to GPT-SoVIST
    • 2.3 Deploying and Preprocessing the Model
    • 2.3 Processing the Training Dataset.
    • 2.4 Model Dataset Formatting
    • 2.5 Model Fine-Tuned Training
    • 2.6 Model Inference
    • 2.7 Additional Information
  • Chapter 4 SD Model Inference
    • 4.1 Stable diffusion install
    • 4.2 SD good Practices
    • 4.3 Kohya install
    • 4.4 Dataset Formatting
    • 4.5 Set standard Parameters
    • 4.7 training
    • 4.8 Validate models
    • 4.10 Basic Concepts
    • 4.11 Prompt
    • 4.12 Prompt plug-in and Embedding
    • 4.13 Training by SD-trainer
    • 4.14 GPU and Accelerated
    • 4.15 Learning Unet(Training parameter)
  • Chapter 5 Computer Vision Video Generation
    • 5.1 Basic concepts of computer vision
    • 5.2 Introduction to Video Generation Model-Stable video diffusion
    • 5.3 Introduction to Video Generation Model-Sora
    • 5.4 Video Generation Best Practices01
    • 5.5 Video Generation Best Practices02
    • 5.6 Video Generation Model Industry Trends
    • 5.7 Comparison of U-Net and Transformer architectures
    • 5.8 CV Toolset
    • 5.6 Video Generation Best Practices03
  • Chapter 6 AI agent (on goning)
    • 6.1Agent Basic Concepts
    • 6.2 Comparison of Workflow Engine Platforms
    • 6.3 Agent Best Practices01-Notebook LLM
    • 6.4 Agent Best Practices02-Url
    • 6.5 Agent Best Practices03-Replicate
    • 6.6 Agent Best Practices04-Thought connection
    • 6.7 Agent Best Comprehensive- music, illustration, copywriting, blogging
  • Chapter 5 Developer Series
    • 5.1 Google Developer Platform API calls
    • 5.2 AWS data service calls
    • 5.3 Cloudflare open platform call
    • 5.4 Oneinstack Configuration
    • 5.5 Huggingface cache directory
  • Conclusion
  • Appendix
    • SDXL Prompt Style
    • Model index
Powered by GitBook
On this page
  1. Chapter 4 SD Model Inference

4.13 Training by SD-trainer

本小节主要介绍使用SD- trainer进行快速训练。

Previous4.12 Prompt plug-in and EmbeddingNext4.14 GPU and Accelerated

Last updated 4 months ago

基本介绍

相比之前的使用Kohya 进行的训练，使用的SD-trainer 进行训练因为是使用的整合包，所以其训练的参数的现在变的比较少，训练起来更加地简单以及方便。另外一个好处是，使用SD-trainer 进行训练本身自带的便签管理器可以进行的标签的优化处理。

我这里使用的是1024*1024 像素级别，并且进行了去除背景处理，去除背景可以直接使用的PS 进行处理，或者使用免费的在线服务进行处理.

图片Caption

这里是路径填写你要处理的照片的文件夹的路径

这里的阈值 我使用是0.35 使用数值越小，打标签越详细

这里我们第一次不实用的添加提示附加 提示词，进行打标签，我们看下是什么结果.这里使用的是wd14-tagger算法进行的打标签的。

我们可以从后台看到，模型自动完成了打标签的工作。

优化标签提示词

接下来的我们进入重要的环节就是处理打标签的工作

点击加载按钮的就可以将之前所有的打标签的文件的加载在的界面的之中，接下来可以进行处理

首先我们打开的下看某张照片的标签内容

1男孩，单人，男性焦点，眼镜，帽子，衬衫，耳机，白色背景，写实，简单背景，耳塞，黑发，面向观众，棒球帽，带领子的衬衫，白衬衫

我们可以批量添加的标签，这里我们添加的标签最好是的具有独一性的例如“lynn”使用批量添加，添加之后我们再看下

这样就在每张图片上添加了触发词 ”lynn“

我们可以批量移除选中的标签的，比如在这里我们有两个标签”simple backgroud“可以移除

我们可以看到已经没有了”simple backgroud“的标签。关于打标签的以及删除标签对训练结果的影，需要后续进行继续实践进行，看整体的实践的内容..

训练模型

这里训练模型我们直接使用新手模式，因为在训练的过程之中我们发现，高级配置选项目前对配置的影响不是很大，使用快速模型进行训练。

但是的经过实践发现新手模式只能训练SD 系列模型不能训练SDXL 系列模型，这里的重新使用高级模式训练SDXL 模型。

  • 基本介绍
  • 图片Caption
  • 优化标签提示词
  • 训练模型
LogoGitHub - Akegarasu/lora-scripts: LoRA & Dreambooth training scripts & GUI use kohya-ss's trainer, for diffusion model.GitHub
Page cover image