双双棱镜同轴结构光三维测量系统（Applied Optics 2022）
简介：提出一种新型同轴三维测量技术，用于降低因三角测量引起的遮挡问题的影响，本文推导了系统的光路模型，为实现无阴影三维测量提供了一种新的探索思路。
Title: Dual-biprism-based coaxial fringe projection system
期刊: Applied Optics
年份：2022
作者：Jian Li1, Shumeng Ding1, Zhoumo Zeng1, Ji deng2,*
单位：1：State Key Laboratory of Precision Measurement Technology and Instruments, School of Precision Instruments and Optoelectronics Engineering, Tianjin University2：School of Mechanical Engineering, Southwest Jiaotong University*：dengji@swjtu.edu.cn文稿由已发表论文和现有数据共同整理而成
论文链接：https://opg.optica.org/ao/fulltext.cfm?uri=ao-61-14-3957&id=472332
本文作者：邓吉|来源：微信公众号「3D视觉工坊」
摘要：
结构光投影测量技术同时具有硬件组成简单、测量精度高等特点，被广泛地应用于物体的三维面型测量。尽管如此，目前大多数结构光系统在测量诸如阶梯、深孔、深洞状物体时会受到遮挡或者阴影的影响，出现较大范围的数据缺失。针对这一问题，研究团队设计了一种新型的同轴结构光测量方法，提升现有结构光系统的数据采集完整性。所提出系统的基本构成元件价格低廉，系统结构简单且容易实现，并且在测量过程中无需引入机械运动部分；只需通过双双棱镜的光路转折特性为系统提供几何约束即可三维重建。实验结果显示本方法具有无阴影测量的能力，能够显著提升采集数据的数据完整度。
1 引言：
结构光系统具有高精度与高鲁棒性的优点，被广泛地应用于质量检测、自动化制造、视觉导航和医疗诊断领域。传统的结构光基于三角测量原理实施场景的三维重建，为了保证测量精度，通常需使相机与投影仪之间的基线较长。然而，当测量深孔、深洞等场景时，宽基线的视觉系统会不可避免的受到遮挡的影响，使得数据出现丢失。为解决仪器遮挡这一问题，目前主要有下列几种方法：
a)多视角方法
为获取相对完整的点云，这类方法采集的不同视角的点云需转化至同一坐标系下进行配准。配准的过程可以通过附加仪器的方法实现，如通过转台、机械臂和平面镜。
b)同轴与窄基线方法
该类方法通过调整仪器设备光路同轴或减少基线距离的方式进行测量。Takeda选取离焦程度与条纹对比度之间的关系实施三维重建。Xu通过分析离焦引起相位误差的方式获得三维数据。Sicardi-Segade搭建同轴光路，采用分析条纹频率与深度之间关系的方式重建场景。Zhao提出了圆光栅的方法实施三维重建，Ma采用移动投影仪的方式构建空间几何约束实现解包裹。这些方法主要限制于实现场景、实现方式以及同轴情况下的中心区域测量问题。Vishwanath提出了一种微基线结构光系统实现重建，但精度相对较低。本文基于双双棱镜的光路转折模型实现同轴结构光三维重建。显著的降低了仪器设备搭建所需的空间，在重建过程中无需标定投影仪的参数。具有数据采集完整度高、空间占位小以及技术实施便捷的特征。
2 基本模型：
2.1 成像模型
添加图片注释，不超过 140 字（可选）
图1 双双棱镜系统的成像模型系统主要转折光路由两个双棱镜构成，它们的规格完全相同：侧边长度均为a，底角大小均为 γ，折射率均为 n。它们对称地固定在相机光轴的两侧，底边与相机光轴的夹角均为α。将光轴与这两个双棱镜的交点设为点O，以该点作为原点建立一个空间坐标系OXYZ。坐标系OXYZ的OZ轴与相机光轴重合，可列出双棱镜各个侧面的表达式为：
添加图片注释，不超过 140 字（可选）
令相平面坐标系为Ixy,对于棱镜前的空间点P，其在 OXYZ 坐标系中的坐标为 (X, Y, Z)。来自该点的光线经过棱镜后进入相机，成像于Ixy上的点p+与p−。系统的成像过程包含了折射与反射，依次对折反射过程进行分析。
2.1.1 折射模型
添加图片注释，不超过 140 字（可选）
图2 折射情况下的像点与空间点关系令πr为折射率分别为n与n’两种介质的分界面，其平面表达式为nxX+nyY+nzZ+d1= 0，法向量为Nr= [nx, ny, nz]。P点的入射光线PCr与平面πr相交于Cr，折射光线的反向延长线与PC相交于Pr。设入射光线PCr和折射光线入射光线PrCr的单位矢量分别为V和Vr。联立空间关系，利用折射定理可得空间点P与虚像点Pr之间的转换关系为
添加图片注释，不超过 140 字（可选）
其中
添加图片注释，不超过 140 字（可选）
，
添加图片注释，不超过 140 字（可选）
2.1.2 反射模型
添加图片注释，不超过 140 字（可选）
图3 反射情况下的像点与空间点关系Pl(Xl, Yl, Zl) 是P(X, Y, Z)的虚像点，两个点的连线垂直交平面πl于点C。平面πl的方程为 mxX+myY+mzZ+d2= 0，其法向量为Nl= [mx, my, mz]。设入射光线 PCl与反射光线 PlCl的单位矢量分别为V和Vl。求解可得
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
2.2 重建模型
依据图1可知，待测点光线依次经过面π1的折射，π2的折射与π3的折射，可将其视为完整的光学成像系统。综合相机成像模型，可得
添加图片注释，不超过 140 字（可选）
η为尺度因子，Mc 为与相机参数有关的矩阵。M+为双棱镜Bi1的转换矩阵，M−为双棱镜Bi2的转换矩阵。3 实验：
图4 实验流程图
添加图片注释，不超过 140 字（可选）
图5 实验装置图实验实施的流程如图4，主要由系统调整、仪器标定、光栅投影与三维重建组成。实验装置图如图5，投影仪为TI公司的LightCrafter 4500，相机为Point Gray公司的BFS-U3-13Y3M-C。
添加图片注释，不超过 140 字（可选）
图6 量块测量结果图6(a)为传统条纹投影方法的测量结果，求解出量块的厚度为 9.0885 mm，误差为88.5 µm。图6(a)为双双棱镜同轴测量方法的测量结果，求解出的厚度为 9.1622mm，误差为 162.2 µm，由此可见所提出方法对量块厚度的测量精度低于 200 µm。图7、8、9依次对一些典型易遮挡场景进行了测量，显示了所提出方法的特殊测量性质。
添加图片注释，不超过 140 字（可选）
图7 深洞测量结果
添加图片注释，不超过 140 字（可选）
图8 台阶测量结果
添加图片注释，不超过 140 字（可选）
图9 铁轨测量结果图10显示了不同基线下传统结构光系统的测量结果，实验结果表明，当缩短系统基线时会引入较大的测量误差。
图10 传统测量系统缩短基线的测量结果
供稿人简介：邓吉，西南交通大学机械工程学院助理教授，长期从事光学无损检测与轨道交通智能运维等方面的研究，在Optics Express、Optics and Lasers in Engineering、Signal Processing、Applied Optics等光学与信号处理领域的著名期刊发表高水平论文十余篇，研究主页为https://www.researchgate.net/profile/Ji-deng-3。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3D视觉工坊
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
更多干货
欢迎加入【3D视觉工坊】交流群，方向涉及3D视觉、计算机视觉、深度学习、vSLAM、激光SLAM、立体视觉、自动驾驶、点云处理、三维重建、多视图几何、结构光、多传感器融合、VR/AR、学术交流、求职交流等。工坊致力于干货输出，为3D领域贡献自己的力量！欢迎大家一起交流成长~
添加小助手微信：dddvision，备注学校/公司+姓名+研究方向即可加入工坊一起学习进步。
