欢迎光临散文网 会员登陆 & 注册

制作AI字幕所用到的工具

2023-08-24 23:20 作者:不会花式的菜鸡  | 我要投稿

有小伙伴问AI字幕是怎么做的,详细解答一下。步骤,1、语音识别获取源语言字幕。2、AI翻译成中文。3、校对,听不懂无法校对,只做了微小的修改。

语音识别

WhisperX

基于 OpenAI 的 Whisper 模型,通过强制对齐方式与语音模型 ASR,改进了 Whisper 的时间戳精度。缺点是有时候句子会很长。(好像可以改善,没研究过

GitHub地址:https://github.com/m-bain/whisperX

我是在Google Colab运行的,可以参考:https://github.com/JimLiu/whisper-subtitles/blob/main/whisperx_youtube_subtitle.ipynb

Buzz

基于Whisper的开源软件,可以离线使用,缺点是只能使用CPU,识别速度较慢。

GitHub地址:https://github.com/chidiwilliams/buzz

N46Whisper

乃木坂46字幕组制作的Google Colab应用,语音识别+AI翻译,语音识别相较于WhisperX,时间戳会有偏差。

GitHub地址:https://github.com/Ayanaminn/N46Whisper

剪映国际版和PR

识别的字幕也不错,缺点是句子有些零碎,在翻译过程中无法发挥AI联系上下文的优势。

翻译

需要一个ChatGPT账号,获取API key,在应用内填入。(注册会送5美元API额度,但有限速,可以付费或使用第三方key,可自行搜索相关教程)

也可以直接跟ChatGPT对话

用到的工具首先是上面的N46Whisper,还有下面两个分别可以在网页和本地运行。如果用搜索引擎搜索还有很多,我只用过这三个。

AI Subtitle Translation:https://github.com/cgsvv/AISubtitle

Subtitle Translator:https://github.com/gnehs/subtitle-translator-electron

感谢各位小伙伴的支持和认可~

个人能力有限无法保证字幕准确度,仅供参考哦~

希望大家看得开心~~

Vamos Argentina!

制作AI字幕所用到的工具的评论 (共 条)

分享到微博请遵守国家法律