一种基于YOLO物体识别的彩六直播方式
本人没有太多时间、精力进行相关方法的实现,只是记录下个人的想法。也欢迎有能力实现这个方案的大佬尝试下把这个想法变成现实~
当然,这篇文章也只是提出一个假设,我并没有尝试过这样究竟能不能行

YOLO是一种性能优异的图像识别算法,可以识别图片内的物体并将其标记出来。

我们的目的,即是:通过模型把一张彩六的图像转化成一个个带有标记的方框。
此时,我们将原视频的画面用纯白替代(或者用基于动态视力的直播方式替代),前景使用标记出来的方框(还可以加上姿态识别,这样看得更清楚些),即可进行彩六的直播。
对于音频方面,可以使用语音转文字的模型,需要专门训练一个枪声的模型,这样音频也转化为文字,可以在屏幕上显示出来。至于枪声的方向,以及是不是直播者自己的枪声都可以通过训练其他的模型解决。
总之,这套方案完全抛弃了图像,试图以文字代替图像,给每一个游戏中的物体打上标签,物体的贴图自然可以由观众脑补。这样单帧来看的话就只有一些方框和文字,没有准确的画面来确定到底是不是在播彩六。