Generative AI
  • 序言
  • Chapter 1 Engine for GenAI
    • 1.1 Basic Concepts
    • 1.2 Install Ollama
    • 1.3 Model Download
    • 1.4 Local Installation of Dify
    • 1.5 Quickly Build Applications with Dify and Ollama
    • 1.6 Additional Information
  • Chapter 2 TTS model Inference Fine-tuning
    • 2.1 Basic Concepts
    • 2.2 Introduction to GPT-SoVIST
    • 2.3 Deploying and Preprocessing the Model
    • 2.3 Processing the Training Dataset.
    • 2.4 Model Dataset Formatting
    • 2.5 Model Fine-Tuned Training
    • 2.6 Model Inference
    • 2.7 Additional Information
  • Chapter 4 SD Model Inference
    • 4.1 Stable diffusion install
    • 4.2 SD good Practices
    • 4.3 Kohya install
    • 4.4 Dataset Formatting
    • 4.5 Set standard Parameters
    • 4.7 training
    • 4.8 Validate models
    • 4.10 Basic Concepts
    • 4.11 Prompt
    • 4.12 Prompt plug-in and Embedding
    • 4.13 Training by SD-trainer
    • 4.14 GPU and Accelerated
    • 4.15 Learning Unet(Training parameter)
  • Chapter 5 Computer Vision Video Generation
    • 5.1 Basic concepts of computer vision
    • 5.2 Introduction to Video Generation Model-Stable video diffusion
    • 5.3 Introduction to Video Generation Model-Sora
    • 5.4 Video Generation Best Practices01
    • 5.5 Video Generation Best Practices02
    • 5.6 Video Generation Model Industry Trends
    • 5.7 Comparison of U-Net and Transformer architectures
    • 5.8 CV Toolset
    • 5.6 Video Generation Best Practices03
  • Chapter 6 AI agent (on goning)
    • 6.1Agent Basic Concepts
    • 6.2 Comparison of Workflow Engine Platforms
    • 6.3 Agent Best Practices01-Notebook LLM
    • 6.4 Agent Best Practices02-Url
    • 6.5 Agent Best Practices03-Replicate
    • 6.6 Agent Best Practices04-Thought connection
    • 6.7 Agent Best Comprehensive- music, illustration, copywriting, blogging
  • Chapter 5 Developer Series
    • 5.1 Google Developer Platform API calls
    • 5.2 AWS data service calls
    • 5.3 Cloudflare open platform call
    • 5.4 Oneinstack Configuration
    • 5.5 Huggingface cache directory
  • Conclusion
  • Appendix
    • SDXL Prompt Style
    • Model index
Powered by GitBook
On this page
  • Part 1 更新最新版本安装包
  • Part 2 下载预处理的模型文件及权重文件weights
  • Part 3 Finetune and inference 微调与推理
  1. Chapter 2 TTS model Inference Fine-tuning

2.3 Deploying and Preprocessing the Model

本章节重新介绍安装以及更新的教程

Previous2.2 Introduction to GPT-SoVISTNext2.3 Processing the Training Dataset.

Last updated 5 months ago

Part 1 更新最新版本安装包

更新安装包，重新更新

sudo git clone https://github.com/RVC-Boss/GPT-SoVITS.git

pyenv versions

pyenv activate GPTSoVits

python -m pip install -r requirements.txt

因为本地化部署之后不能进行自动更新，所以需要手动更新文件夹之后，然后进行重新生成python 环境，这里使用pyenv 进行虚拟环境的管理。

下载完成之后我们可以看到的目录结构我们需要提前下载的相关的数据进行预处理阶段，以及预处理模型，方便后续进行微调，这里涉及到的URV5 ，以及TTS 等相关的模型

Part 2 下载预处理的模型文件及权重文件weights

下载预处理模型 GPT-SoVITS

s2G488k.pth 是Pytorch 训练集文件

pth是PyTorch的默认文件格式，通常用于保存和加载模型参数。 pth文件是一个二进制文件，其中包含了模型的所有参数信息，包括权重和偏置等。 通过加载pth文件，我们可以快速地将训练好的模型应用到新的数据集上，进行预测或者微调。 同时，我们也可以将训练好的模型保存为pth文件，以便后续使用。

模型文件地址：https://huggingface.co/lj1995/GPT-SoVITS/tree/main

git lfs install

git clone https://huggingface.co/lj1995/GPT-SoVITS

G2PW models模型下载 https://paddlespeech.bj.bcebos.com/Parakeet/released_models/g2p/G2PWModel_1.1.zip

g2pW：一种有条件的加权 Softmax BERT，用于汉语多音字消歧

ONNX（Open Neural Network Exchange）是一种开放式的文件格式，用于存储和交换训练好的机器学习模型。 它使得不同的人工智能框架（如PyTorch、TensorFlow）可以共享模型，促进了模型在不同平台之间的迁移和复用。

wget https://paddlespeech.bj.bcebos.com/Parakeet/released_models/g2p/G2PWModel_1.1.zip

UVR5 工具模型下载

这里我们可以使用两种模式，一种是直接下载使用UVR 5 软件进行生成操作，另外一种是可以直接使用的

GPT-SoVIST 提供的UI界面根据现有的模型进行处理前期的音频语料。

模型地址：https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/uvr5_weights

AI人声伴奏音频分离软件UVR5（Ultimate Vocal Remover 5.5）是一款功能强大的伴奏制作/人声提取工具，其表现不仅优于RX9、RipX和SpectraLayers 9等同类工具，而且它提取出来的伴奏已经无限接近原版立体声。

Chinese ASR 模型下载

ASR（Automatic Speech Recognition）是自动语音识别的缩写，它是指将人类的语音信号转换成计算机可以理解的文本信息的技术。简单来说，就是让机器“听”懂人类说的话并将其转化为文字。这项技术在许多领域都有广泛的应用，如智能助手、语音搜索、语音输入等。

模型下载地址：

Paraformer语音识别-中文-通用-16k-离线-large-pytorch

https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/files

FSMN语音端点检测-中文-通用-16k

https://modelscope.cn/models/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch/files

CT-Transformer标点-中文-通用-pytorch

https://modelscope.cn/models/iic/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/files

英语及外语ASR 模型

这里我们直接是用Openai 的Whisper 进行

模型下载地址：https://huggingface.co/Systran/faster-whisper-large-v3/tree/main

最终的模型文件如下：

Part 3 Finetune and inference 微调与推理

启动界面

python webui.py <language(optional)>

启动推理界面

python GPT_SoVITS/inference_webui.py <language(optional)>

如果在使用过程之中，需要重新启动需要，删除相关的端口占用

sudo lsof -i:9874

sudo kill -9 PID

Page cover image
‘