语音AI测试记录

我目前试过的可用方法：

diff-svc，音频变声，只需要训练一个角色，优点：转换较长的声音很快，对于存在音高变化的人声歌唱转换后的效果很好。 缺点：如果转换的是音调变化较少的语音，比如普通说话，当原音与需要变声的角色音调、音色差距很大时，结果也会比较糟，转换后经常会有电流音。

so vits， 用插件实时变声+音频变声，只需要训练一个角色 实时变声很香，其他待测

VITS，TTS文字转声音+音频变声， 需要训练两个音色然后1对1转换 ，优点：可以文字转语音，音频变声基于1对1转换，只要两个音色训练到位，转换效果很好。缺点：文字转语音的效果与训练素材有很高的相关性，特别是缺少某些比较少见的句子时，合成的语音会有较大瑕疵。情感可调，但并不使用与多角色，遗憾，要是能多角色通用就好了。日语训练素材转到中文说话时，会有很浓厚的大佐音，目前的解决办法是用语音转换后再训练，效果还行。