大佬出品,微软/谷歌都自叹不如
小妹曾经分享过如何在 Windows11 上启用实时字幕(Windows 11 新版发布,实时字幕支持简体中文),还分享过怎样实现基于字幕文件的实时翻译(看大片、刷剧,实时翻译功能来了),今天结合两者,分享一位大佬开发的真正意义上的实时字幕/翻译。
尽管实时翻译开发难度没有想象中的那么大,但到目前为止,无论是微软还是谷歌,都未真正在自家的软件产品中实现该功能(谷歌的 Pixel 手机支持实时翻译功能)。
所有桌面版实时翻译软件或手机版实时翻译APP的实现原理都一样,实时翻译首先会将播放的音频或用户语音输入转录成原始语言,然后再将原始语言翻译成用户需要的目标语言,其核心技术仍然属于语音识别领域。
所以,实时翻译的准确率取决于在语音识别阶段的准确率,语音或音频识别越准,实时翻译的准确率也就越高。
如何安装“实时翻译”?
从文章末尾下载扩展程序,打开 Chrome 浏览器并点击右上角的(3个点),点击“更多工具”选项,然后选择“扩展程序”。单击右上角的“开发者模式”按钮,激活该模式。

下载的插件压缩包解压缩之后,会看到一个 cors.crx 文件和一个名为“实时翻译”的文件夹,这两个都属于 Chrome 插件。
点击“加载已解压的扩展程序”按钮,然后选择“实时翻译”文件夹(注意,这里选择的是文件夹),然后点击“选择文件夹”按钮即可完成“实时翻译”插件的安装。

cors.crx 的安装更简单,只需要将 Chrome 窗口进行缩放,然后将文件直接拖到 Chrome 窗口即可完成安装。

至此实时翻译插件就设置完成了。
扬声器和麦克风设置
要使实时翻译功能生效,需要对扬声器和麦克风进行设置,按 Windows+R 键盘快捷键,在弹出的“运行”窗口中,输入"mmsys.cpl"并点击确定按钮,系统弹出声音设置界面。
切换到“麦克风”选项卡,在“立体声混音”上点击鼠标右键,并选择“启用”。如果在“麦克风”选项界面没有“立体声混音”选项,请在空白处点击鼠标右键,激活“显示禁用的设备”和“显示已断开连接的设备”即可显示“立体声混音”。

声卡设置完成之后,所有的准备工作已经就绪。
如何使用“实时翻译”
将安装完成的两个插件固定到 Chrome 工具栏,点击 CORS Unblock 以激活该插件。
鼠标右键单击“实时翻译”插件,点击“选项”,选择原始语言和目标语言,然后选中 “Show recognized audio text” 和 “Show translation text” 两个选项,最后点击 “Save” 进行保存。

使用 Chrome 打开观看的视频或音频页面,开始播放视频,鼠标左键点击“实时翻译”插件,如果 Chrome 需要麦克风权限,请点击“允许”,稍等片刻,被识别的原始语言和实时翻译的目标语言即可出现在屏幕上。

大家对该技术有什么看法,欢迎给小妹私信留言哦。
微信公众号“傻大个黑科技”回复"230713"获取链接