语音转中文转音标wav-to-lab

2023.8.17学习记录

在colab借助飞浆套件VTuberTalk标注音频（colab用cpu模式完成就可以）

https://github.com/jerryuhoo/VTuberTalk

#下载VTuberTalk官方文件安装依赖

%cd /content

!git clone https://github.com/jerryuhoo/VTuberTalk.git

%cd /content/VTuberTalk

!pip install -r requirements_cpu.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

#安装paddlespeech套件一下是在colab安装必须的

!pip install paddleocr

!pip install pytest-runner

!pip install paddlespeech

!pip install "paddlepaddle<2.5" -i https://mirror.baidu.com/pypi/simple

!pip install "paddlenlp<2.6" -i https://mirror.baidu.com/pypi/simple

!pip install "ppdiffusers<0.16" -i https://mirror.baidu.com/pypi/simple

!wget http://nz2.archive.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.1_1.1.1f-1ubuntu2.19_amd64.deb

!sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2.19_amd64.deb

!pip install numpy==1.23 -i https://pypi.tuna.tsinghua.edu.cn/simple

!pip install typeguard==2.13.3

!pip install paddleaudio==1.0.1

!pip install ffmpeg

#开始转换中文 /content/raw换成自己的音频目录

#/content/raw里的音频是16000zh小于20秒其余不知道可以不

#执行后会在音频目录出现同名txt文件里面是中文

%cd /content/VTuberTalk      #切换安装VTuberTalk目录

!python tools/split_audio.py --ag 3 --in_path /content/raw      

#可跳过下面两步太多了

#收集所有txt文件内容到VTuberTalk文件夹内text.txt文件中查看修改

!python tools/glob_text.py --path /content/raw/

#将修改的好的从新传回到每个txt文件

!python tools/revise_text.py --path /content/raw/

#把文件下所有txt中文汉字转换成拼音

#如果不需要数字音标去掉hanzi_to_pinyin.py中

#[^a-zA-Z0-9]中的0-9这3个字符就可以在diffsinger中使用

#直接双击就可以在浏览器中修改VTuberTalktools/hanzi_to_pinyin.py

!python tools/hanzi_to_pinyin.py --path /content/raw

#转换完成lab删除不需要的txt文件

!rm -rf /content/raw/*.txt

标注完成/content/raw生成lab的diffsinger

可以直接进入MakeDiffSinger继续

在colab可以继续cpu使用MakeDiffSinger数据集制作部分