chatgpt api+azure Speech Studio+ue5 metahuman相关资料

有很多人要分享代码,其实代码很少的,我也是四处找的被人分享的代码,组合起来用的,现在我把这些都贴下面,感兴趣的拿去玩吧.

首先,整个流程

1,按回车后录入几秒声音,发送到azure获得文本

2,将文本发送到chatgpt获得AI反馈的文本

3,将catagpt发送到azure获得声音

4,使用c#的很简单的程序获得当前系统的声音大小,用udp发送到ue5

5,ue5使用udp接受数据拿到声音强度系数,在动画蓝图中应用到jawOpen曲线上驱动嘴.

6,输入quit退出

1-3为python,4为c#,5为UE5

python:

这段代码的部分参考了该网页的内容,感谢

https://cloud.tencent.com/developer/article/2179399?areaSource=&traceId=

os.environ.get('SPEECH_KEY')    写到系统变量里的key

os.environ.get('SPEECH_REGION')    直接把文本写代码里也可以的,不过安全系数不够高,也不方便多个代码文件的使用.

c#部分只是获取系统主音量的大小让嘴巴动而已,非常low,现在很多人在做audio2face,这个效果会好很多,只是我不是做这一块的,手头上没有现成的,反倒是有个以前做的一个获取系统音量的简单程序,拿来就用了.

UE5部分,因为我是在以前有一点点功能的基础上改了一下用的,所以有点不相关的代码.其实呢,这里建议你们找一下UE5有个udp插件,直接提供udp的蓝图使用方式,会更简单,没必要去折腾这个代码,就是监听一个udp端口拿到数据.

AIVision.h

AIVision.cpp

动画蓝图中获取音量值

modify curve节点使用音量值修改jawOpen的值,这是张嘴幅度,效果low到爆,哈哈哈哈

总结:说实话,效果好主要是使用了UE5的metahuman资产和都市人群的表情动作,让人物很生动,其他的就是调接口转来转去,没啥含金量,放出来给大家参考吧.

python部分是可以单独运行的,语音对话功能,c#和UE5只是利用系统的声音做了个假假的表演而已,非常非常临时敷衍的拼凑