欢迎光临散文网 会员登陆 & 注册

三维人脸重建讲解

2022-02-18 17:59 作者:深度之眼官方账号  | 我要投稿

来源:投稿 作者:小灰灰 

编辑:学姐带你玩AI 公众号

什么是三维人脸重建

三维人脸重建就是从一张或多张2D图像中重建出人脸的3D模型,如果是物体重建就是物体的图片当作输入输出物体的模型。



如图所示,我们将input图片当作输入,通过网络输出三维模型,这个三维模型可以是一个以obj,PLY后缀名的文件名。下图所示:



2.obj讲解

我们将obj文件通过 meshlab 软件打开,打开后就可以看到我们需要的重建模型。


我们将result.obj用记事本打开可以看到。


那么接下来我们看看obj文件里面怎么表示的。

.obj : 是一种简单的单独表示3D几何图元的文件格式,通俗来讲就是包含顶点的坐标,每个顶点纹理的UV坐标,顶点法向量,以及组成多边形的面的顶点坐标、以及纹理UV坐标序列,Obj文件可以是ASCII的编码(.obj)方式也可以是二进制格式(.mod)。以ASCII格式存储的obj文件必须用.obj作为文件拓展名。

我们的result.obj



第一行# OBJ File:是注释

第二行 mtllib ./result.mtl


因为obj文件不包含面的颜色定义信息,不过可以引用材质库,材质库信息储存在一个后缀是".mtl"的独立文件中。mtl文件是obj文件附属的材质库文件,材质库中包含材质的漫射(diffuse),环境(ambient),光泽(specular)的RGB的定义值,以及反射(specularity),折射(refraction),透明度(transparency)等其它特征。


所以将 mtllib: 此关键字后参数为文件名称,指定了obj文件所使用的材质库文件(mtl文件)的文件名称。

我们打开result.mtl


可以看见——


newmtl: 定义新的材质组,后面参数为材质组名称

Ka: 材质的环境光(ambient color)

Kd: 散射光(diffuse color)

Ks: 镜面光(specular color)

d,Tr 均可用于定义材质的Alpha透明度

illum:照明度(illumination)后面可接0~10范围内的数字参数

0 Color on and Ambient off :颜色打开和环境光关闭

1 Color on and Ambient on : 启用颜色和环境光

2 Highlight on

3 Reflection on and Ray trace on

4 Transparency: Glass on

Reflection: Ray trace on

5 Reflection: Fresnel on and Ray trace on

6 Transparency: Refraction on

Reflection: Fresnel off and Ray trace on

7 Transparency: Refraction on

Reflection: Fresnel on and Ray trace on

8 Reflection on and Ray trace off

9 Transparency: Glass on ,Reflection: Ray trace off

10 Casts shadows onto invisible surfaces

map_Ka、map_Kd map_Ks 材质的环境,散射和镜面贴图,对应数据为贴图文件名称

我们对应的是 canonical_image.png



第三行是提示,我们要写几何顶点信息 

# vertices:

v -9.1863 9.1863 -5.0000

v -8.8947 9.1863 -5.0000

v -8.6778 9.2662 -5.9126

v -8.3545 9.2339 -5.5443

v -8.0521 9.2233 -5.4228


一个顶点可以用字符 v开头的一行来提示。接着后面跟上(x, y, z [w])的值来表示顶点坐标。W是可选项,默认为1.0。一些应用支持顶点颜色,通过在x y z后面跟上red, green, blue值来表示。颜色值的范围为0到1.0。



由上图可以看见有8065个顶点,有8065行。


接下来是 # vertice textures: 顶点的贴图坐标点 (Texture vertices)纹理坐标列表,在(u,v[,w])坐标中,这些坐标将在0和1之间变化,w是可选的,默认为0。



接下来是#vertice normals: (x,y,z)形式的顶点法线列表;法线可能不是单位向量。


vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000


接下来是#faces: 


是顶点法线索引,法线索引用于描述顶点的法向量,在描述面的时候是可选项。要添加顶点法线索引,必须在纹理索引之后添加第二根斜线(/),然后在之后添加法线索引。斜线前后不能有空格。


合法的法线索引从1开始,并符合之前面描述的格式。每个面可以包含三个或者更多的单元。


比如"usemtl tex"表示使用的材质。


"f 71/71/71"是 “f 顶点索引/uv点索引/法线索引”


usemtl tex


f 1/1/1 65/65/65 4097/4097/4097

f 2/2/2 66/66/66 4098/4098/4098

f 3/3/3 67/67/67 4099/4099/4099

f 4/4/4 68/68/68 4100/4100/4100

f 5/5/5 69/69/69 4101/4101/4101

f 6/6/6 70/70/70 4102/4102/4102

f 7/7/7 71/71/71 4103/4103/4103


以上就是result.obj里面的所有内容。


PLY讲解


PLY:这个格式主要用以储存立体扫描结果的三维数值,透过多边形片面的集合描述三维物体,与其他格式相较之下这是较为简单的方法。它可以储存的资讯包含颜色、透明度、表面法向量、材质座标与资料可信度,并能对多边形的正反两面设定不同的属性。


每个PLY档都包含档头(header),用以设定网格模型的“元素”与“属性”,以及在档头下方接着一连串的元素“数值资料”。一般而言,网格模型的“元素”就是顶点(vertices)、面(faces),另外还可能包含有边(edges)、深度图样本(samples of range maps)与三角带(triangle strips)等元素。


第一行写PLY


format ascii 1.0 #开头作为PLY格式的识别。


接着第二行是版本。


element vertex 97991 # 描述元素及属性,必须使用’element’及’property’的关键字。

element face 194286 一个具有10个面的物体,其PLY档头可能包含。


property list uchar int vertex_indices


'property list’表示该元素face的特性是由一行的顶点列表来描述。列表开头以uchar型态的数值表示列表的项目数,后面接着资料型态为int的顶点索引值(vertex_indices),顶点索引值从0开始。最后,标头必须以此行结尾:end_header



-0.7221392 63.663975 97.95859 201 150 121: 顶点元素列表一般以x y z方式排列。


3 17141 17426 17427 :表示面元素列表。



更多干货👇关注我,记得标星哦~



三维人脸重建讲解的评论 (共 条)

分享到微博请遵守国家法律