所有人都为AI疯狂,这个科技巨头却押注三维超写实数字人赛道
来源丨元宇宙简史
编写丨元宇宙简史主理人 Fun
【元宇宙导读】本文将从什么是虚拟数字人、英特尔在数字人方面有哪些优势、英特尔更偏重三维的超逼真效果数字人、英特尔在数字人方面的未来规划和愿景等方面展开。
英特尔研究院副总裁、英特尔中国研究院院长宋继强在参加英特尔中国研究院2023探索创新日时表示:
未来,数字人可以应用在多个领域,去替代真人完成很多不同过程型或者是表现型的任务,所以英特尔希望基于自身在视觉AI方面的优势去继续推进,更好地把数字人技术应用在一些关键领域。
01、什么是虚拟数字人?
什么是数字人?简单来说,就是利用人工智能技术,通过对真实人物的面部、身体、声音、动作等特征的捕捉、建模和渲染,生成具有高度逼真度和交互性的虚拟人物。数字人可以是基于真实人物的复制品,也可以是完全由想象创造出来的角色。数字人可以在各种平台和场景中呈现,比如电影、游戏、社交媒体、教育、医疗等。
数字人技术的发展历史可以追溯到上世纪80年代,当时电影《电子世界争霸战》中出现了第一个三维计算机生成的角色。
随着计算机图形学、计算机视觉、深度学习等技术的进步,数字人技术也不断提升,从最初的低分辨率、低帧率、低真实感的图像,到现在的高清晰度、高流畅度、高逼真度的视频。数字人技术已经达到了可以欺骗人类视觉系统的水平,甚至可以产生所谓的“不可信任之谷”效应,即当数字人的逼真度接近真实人物时,会引起观众的反感和恐惧。
数字人技术涉及多个领域和层次的技术难点,包括面部和身体建模、动作捕捉和驱动、表情和情感生成、语音合成和识别、对话系统和自然语言处理等。其中,面部建模是最具挑战性的部分,因为面部是人类最重要的身份识别和情感表达的载体,任何细微的差异都可能导致不自然或不真实的感觉。
目前,有两种主流的方法来生成数字人的面部:一种是基于三维模型的方法,即通过扫描或手工建模得到三维面部模型,然后通过渲染技术将其投影到二维平面上;另一种是基于二维图像的方法,即通过深度神经网络直接从一张或多张二维图像中生成另一张二维图像。
两种方法各有优劣,基于三维模型的方法可以产生更高质量和更灵活的结果,但需要更多的数据和计算资源;基于二维图像的方法可以快速地生成结果,但可能存在失真或不一致的问题。
02、英特尔在数字人方面有哪些优势?
英特尔作为全球领先的半导体公司,在数字人技术方面也有着深厚的积累和优势。英特尔研究院是英特尔的核心创新部门,负责探索未来十年甚至更长时间的技术趋势和挑战,为英特尔的产品和业务提供前瞻性的指导和支持。
英特尔研究院目前拥有八个分院,分别位于美国、中国、印度和以色列,涵盖了人工智能、计算机视觉、机器学习、深度学习、自然语言处理、计算机图形学、虚拟现实、增强现实等多个领域。
其中,英特尔中国研究院是英特尔研究院最大的分院之一,成立于2004年,目前拥有近300名研究人员,主要从事视觉AI、智能计算、边缘计算等方向的研究。在数字人技术方面,英特尔中国研究院已经取得了一系列的成果和突破,包括:
基于三维模型的数字人生成技术。该技术可以从单张或多张二维图像中重建出三维面部模型,并通过神经网络生成逼真的面部表情和动作。该技术可以用于电影、游戏、社交媒体等场景中,实现真实人物或虚构角色的数字化复制或创造;
基于二维图像的数字人生成技术。该技术可以从一张二维图像中生成另一张二维图像,实现面部属性的转换或合成。该技术可以用于美颜、换脸、变妆等场景中,实现个性化或趣味化的数字化变换或编辑;
基于语音的数字人生成技术。该技术可以从一段语音中生成对应的二维或三维面部动画,实现语音与表情的同步和匹配。该技术可以用于视频通话、视频配音、视频直播等场景中,实现语音与图像的数字化融合或替换。
03、英特尔更偏重三维的超逼真效果数字人
宋继强表示,不同种类的数字人的表现形态要达到逼真效果,所需的计算量不同,英特尔可能会偏向于三维的超逼真效果数字人。这是因为三维数字人可以提供更高的自由度和灵活性,可以在任何角度和距离下观察和交互,也可以在任何环境和背景下呈现和融合。
而二维数字人则受限于固定的视角和距离和光照的影响,可能导致图像的失真或不一致。因此,三维数字人相比二维数字人,可以提供更高的逼真度和交互性,更适合用于高端的娱乐、教育、医疗等场景。
英特尔中国研究院在三维数字人技术方面,已经开展了多个项目和合作,例如:
北京理工大学合作,开发了一种基于深度学习的三维面部重建技术,可以从单张或多张二维图像中重建出高质量的三维面部模型,并通过神经网络生成逼真的面部表情和动作。该技术可以用于电影、游戏、社交媒体等场景中,实现真实人物或虚构角色的数字化复制或创造;
与北京电影学院合作,开发了一种基于三维扫描和渲染的数字演员技术,可以从真实演员的三维扫描数据中生成高质量的数字演员模型,并通过渲染技术将其投影到不同的场景和光照条件下。该技术可以用于电影、广告、教育等场景中,实现真实演员或虚构角色的数字化替身或变换;
与北京大学合作,开发了一种基于语音的三维面部动画技术,可以从一段语音中生成对应的三维面部动画,实现语音与表情的同步和匹配。该技术可以用于视频通话、视频配音、视频直播等场景中,实现语音与图像的数字化融合或替换。
04、英特尔在数字人方面的未来规划和愿景
宋继强表示,英特尔中国研究院在三维数字人技术方面,还有很多未来的规划和愿景,例如:
探索更多的三维数字人应用场景和需求,比如虚拟主播、虚拟助手、虚拟教师、虚拟医生等,为不同领域和行业提供更多的数字化解决方案和服务;
探索更多的三维数字人生成方式和方法,比如基于视频、基于文本、基于手势等,为用户提供更多的数字化创造和表达的工具和平台;
探索更多的三维数字人交互方式和模式,比如基于眼神、基于情感、基于语境等,为用户提供更多的数字化沟通和互动的机会和体验。
严正声明:本文为元宇宙简史原创,未经授权禁止转载!内容仅供参考交流,不构成任何投资建议。任何读者若据此进行投资决策,风险自担。