最近被刷爆的的，郭德纲用英语说相声、霉霉说中文的背后的AI系统：Heygen，是目前最强大的数字人生成AI。但是由于这个系统是闭源的，需要商业付费，大家玩的不痛快。所以，HeyGen的破解版应运而生。

HeyGenClone是一个简单且开源的HeyGen系统的模拟版本。由一位来自莫斯科的开发者创建，该项目目前仍在积极的开发阶段。目前，该系统只支持从英语进行翻译。它具有多种功能，包括视频翻译、语音叠加与唇同步、场景检测、面部检测、语音增强、文本翻译、语音克隆等。

项目地址：https://github.com/BrasD99/HeyGenClone

详细介绍

安装与配置：用户可以通过GitHub克隆此仓库，并按照给定的步骤进行安装和配置。

使用方法：项目根目录下有一个翻译脚本，可以翻译您设置的视频。还添加了一个脚本，可以在视频上叠加语音并进行唇同步。

功能：

● 场景检测：使用PySceneDetect

● 面部检测：使用yolov8-face

● 语音增强：使用MDXNet

● 文本翻译：使用googletrans

● 语音克隆：使用TTS

● 唇同步：使用lipsync

● 面部修复：使用GFPGAN

● 社区贡献：项目鼓励社区贡献，并计划在未来列出所有的贡献者。

 观点

HeyGenClone确实是一个野心勃勃的项目。

在学术领域，它为研究人员提供了一个实验平台，可以在此基础上进行进一步的研究和改进。而且因为他开源的性质，我相信他们可以事实结合目前最先进的模型进行改进，而且也可以容纳更多国家和地区的人助力开源。

在商业领域，由于其开源性质，中小企业和初创公司（或者是某些没有技术底蕴的公司）可以使用此系统为其产品或服务添加视频翻译和语音叠加功能，而无需从零开始开发。这些公司也可以进行“提前布局”了。

特邀作者：日本早稻田大学计算机系博士  王军杰