制作AI字幕所用到的工具
有小伙伴问AI字幕是怎么做的,详细解答一下。步骤,1、语音识别获取源语言字幕。2、AI翻译成中文。3、校对,听不懂无法校对,只做了微小的修改。
语音识别
WhisperX
基于 OpenAI 的 Whisper 模型,通过强制对齐方式与语音模型 ASR,改进了 Whisper 的时间戳精度。缺点是有时候句子会很长。(好像可以改善,没研究过)
GitHub地址:https://github.com/m-bain/whisperX
我是在Google Colab运行的,可以参考:https://github.com/JimLiu/whisper-subtitles/blob/main/whisperx_youtube_subtitle.ipynb
Buzz
基于Whisper的开源软件,可以离线使用,缺点是只能使用CPU,识别速度较慢。
GitHub地址:https://github.com/chidiwilliams/buzz
N46Whisper
乃木坂46字幕组制作的Google Colab应用,语音识别+AI翻译,语音识别相较于WhisperX,时间戳会有偏差。
GitHub地址:https://github.com/Ayanaminn/N46Whisper
剪映国际版和PR
识别的字幕也不错,缺点是句子有些零碎,在翻译过程中无法发挥AI联系上下文的优势。
翻译
需要一个ChatGPT账号,获取API key,在应用内填入。(注册会送5美元API额度,但有限速,可以付费或使用第三方key,可自行搜索相关教程)
也可以直接跟ChatGPT对话
用到的工具首先是上面的N46Whisper,还有下面两个分别可以在网页和本地运行。如果用搜索引擎搜索还有很多,我只用过这三个。
AI Subtitle Translation:https://github.com/cgsvv/AISubtitle
Subtitle Translator:https://github.com/gnehs/subtitle-translator-electron

感谢各位小伙伴的支持和认可~
个人能力有限无法保证字幕准确度,仅供参考哦~
希望大家看得开心~~
Vamos Argentina!