Nature-热辅助检测和测距

    机器感知使用先进的传感器来收集关于周围场景的信息，用于态势感知。最先进的机器感知使用主动声纳，雷达和激光雷达增强相机视觉脸差异时，智能代理的数量增加。利用无处不在的热信号可能是可扩展感知的新前沿。

    然而，物体和它们的环境不断地发射和散射热辐射，导致了被称为“重影效应”的无纹理图像。因此，热视觉没有受到信息丢失的限制，而热测距——对导航至关重要——即使与人工智能（AI）结合，也难以捉摸。

    针对上述问题，该文章提出并通过实验演示了热辅助检测和测距（HADAR），克服了重影的开放挑战，并将其与人工智能增强的热传感进行基准测试。HADAR不仅在黑暗中看到纹理和深度，就像是白天一样，还能感知到RGB或热视觉之外的模糊的物理属性，为完全被动和物理感知的机器感知铺平了道路。

图1 HADAR是机器感知中的一种转变。a，完全无源HADAR为TeX-Net，见所有分解方法的方法)和使用热信号，而不是主动声纳、雷达、激光雷达和准无源产生TeX视觉，以改进探测和测距。c，TeX视觉摄像机。大气透射率窗口（白色区域）和温度在我们的HADAR数据库和室外实验中演示(见场景确定了HADAR的工作波长。b，HADAR取扩展的数据图。2-4)清楚地表明，HADAR通过热光子流看到的纹理作为输入，记录了高光谱成像的热立方体，黑暗和对场景的全面理解。通过TeX分解来解决重影效应。

图3 HADAR可识别性的|镜头噪声极限。a，TeX简并度限制了HADAR的可识别性，就像在说明性的人机识别问题中一样。顶部插入，人（灰色身体）和机器人（铝）的明显发射率。底部插图，人类（37°C，红色）和机器人（72.5°C，蓝色）接近相同的入射光谱。b，HADAR可识别性（香农信息）作为归一化光子数Nd0 2的函数。

图4 |HADAR范围的基本极限。a，d，基于原始热图像的测距显示，由于重影，精度较差。b，e，与热测距相比，在HADAR中恢复的纹理和增强的测距精度（约100×）。c，f，本文还展示了光学成像(c)和RGB立体视觉(f)进行比较。d和e中的插图显示了蒙特卡罗实验中的深度误差δz（青色点），与本文的理论边界（红色曲线）相比，沿着白色虚线。

图5 美国印第安纳州的|物理驱动的HADAR感知。对于人体的户外场景，一个爱因斯坦纸板切口和一辆黑色汽车，视觉驱动的物体检测产生两个人体（错误）和一个汽车从光学成像(a)，两个人体和激光雷达点云(c).没有汽车（错误）基于TeX物理属性的HADAR感知对场景有全面的理解和准确的语义（b；一辆人体和一辆车），用于无人决策。比例尺，1米。

图6  HADAR测距（TeX视觉+ AI）夜间击败最先进的热测距（热视觉+ AI），白天匹配RGB立体视觉，缩写为“TeX_night≈RGB_day>IR_night”。a，可以清楚地看到，热成像由于重影效应而受到了一定的阻碍，而HADAR TeX视觉则克服了重影效应，提供了提取热纹理的基本途径。这种纹理对于人工智能算法实现最佳功能至关重要。

扩展数据图1 | HADAR TeX视觉算法。用于TeX逆分解的TeX-Net架构。TeX-Net在三个方面受到物理学的启发。

原文链接：https://doi.org/10.1038/s41586-023-06174-6

声明：文章仅用于学术分享交流，为确保科学严谨，如推文内容有不科学、不准确之处，或涉及知识产权问题，欢迎专业人士或作者下方私信更正或删除。论文免费推荐、推广合作请后台私信。