通过基于物理原理的主动立体传感器模拟来弥合光学感知领域的差距

#论文##开源# TRO 2023|通过基于物理原理的主动立体传感器模拟来弥合光学感知领域的差距 【Close the Optical Sensing Domain Gap by Physics-Grounded Active Stereo Sensor Simulation】 作者单位：加利福尼亚大学、清华大学 文章链接：Close the Optical Sensing Domain Gap by Physics-Gr... Kuafu实时光线跟踪渲染引擎：GitHub - jetd1/kuafu: Real-Time Ray Tracer with Vu... SimSense深度计算模块：GitHub - angli66/simsense: A Real-Time Depth Senso... SAPIEN仿真器：GitHub - haosulab/SAPIEN 在这篇论文中，我们专注于模拟活动立体视觉深度传感器，在学术界和工业界都非常流行。受到传感器的基本机制的启发，我们设计了一个完全基于物理原理的模拟流程，包括材料获取、基于光线追踪的红外（IR）图像渲染、IR噪声模拟和深度估计。该流程能够实时生成具有材料相关误差模式的深度图，类似于真实深度传感器。我们进行了真实实验，以展示在我们的模拟平台中训练的感知算法和强化学习策略可以在真实世界的测试案例中无需任何微调就进行良好的转移。 此外，由于这种模拟的高度逼真，我们的深度传感器模拟器可以用作在真实世界中评估算法性能的便捷试验台，这将大大减少开发机器人算法所需的人力资源。整个流程已经整合到SAPIEN模拟器中，并开源供视觉和机器人社区研究使用。