CVPR 2023 | OpenLane性能自动驾驶挑战赛冠军解决方案

作者使用YOLOv8作为2D检测器，它只接收前方图像作为输入，并预测一组2D框。基于OpenlaneV2数据集的特点，作者提出了一系列策略来提高交通元素检测的性能。

• 强数据增强。OpenLane-V2数据集中的许多帧共享相似的场景，并且缺乏前景样本，因此检测器容易出现过拟合。作者采用YOLOX中的强数据增强方法，包括混合、镶嵌增强和对HSV颜色空间进行色域增强。在引入时需要谨慎，因为颜色增强可能会模糊交通信号灯的颜色，而水平翻转可能会破坏交通标志的方向性。
  

• 重新加权分类损失。通过可视化预测结果，作者发现主要困难在于交通标志之间的高相似性，而不是小尺寸对象的定位，比如“左转”、“禁止左转”和“稍左转”的属性。同时，交通标志具有相对固定的矩形形状。因此，作者选择仅针对前景中这些难样本重新加权分类损失。
  

• 重新采样难样本。数据集中类别的分布也值得注意。通过统计，作者观察到交通信号灯中“unknown”的数量几乎占所有注释的一半，而黄灯的数量显著少于绿灯和红灯。剩下的九种交通标志的数量只占总注释的20%。与CBGS类似，作者根据上述类别统计重新对数据集中的帧进行采样。
  

• 伪标签学习。作者发现在自车前行时，视频帧中首次出现的远处交通元素通常由于其小尺寸而没有进行注释。此外，训练集和验证集中都不可避免地存在缺失的注释，这会困扰模型训练并导致次优的性能。图3中的可视化显示了在验证集上的推断结果，其中模型仅在训练集上进行了训练。可以看出，模型具有较高的召回率，并对那些远处小尺寸对象产生了可接受的预测。作者认为高性能的检测器可以用于伪标签学习，辅助模型进一步训练。在消融实验中，作者发现与仅在训练集上使用伪标签相比，使用验证集上的伪标签显著改善了结果。
  

• 测试时间数据增强。测试时间数据增强可以在推断阶段稳定地带来好处。z在只采用多尺度测试，因为复杂的变换可能导致性能下降。这种选择的尺度范围在0.7∼1.4之间。放大的图像可以提高检测器对小尺寸对象的召回率，而缩小的图像对于检测自车前方地面上的大尺寸道路标志很有帮助。
  

本文介绍了车道-车道拓扑的方法。通过收集解码器层的解码特征和预测的车道坐标，使用MLP对坐标进行维度转换，并将特征相加得到拓扑特征。拓扑特征经过MLP转换为二进制拓扑表示，并使用Focal loss进行监督学习。该方法能够有效地学习车道之间的拓扑关系，提高车道检测与分割的准确性。

本文介绍了车道-交通拓扑的方法。该方法直接利用YOLOv8对交通的预测结果作为输入，并通过连接和投影操作得到车道-交通的特征。通过MLP和sigmoid函数，预测的车道-交通拓扑表示受到Focal loss的监督。通过该方法，可以有效地学习车道与交通之间的拓扑关系，提高车道与交通的检测与分析精度。

本节中，作者首先提供一些实现细节。然后作者在OpenLaneV2验证集上评估作者方法中前述的各个部分。最后，作者会呈现在挑战赛中的最终结果。

• 车道检测中，所有输入图像都被调整为1550×2048大小。
  

• 不同的主干网络被用于实现模型，包括ResNet50、VOV和ViT-L。
  

• AdamW优化器被用于整个网络的优化，学习率设置为2e-4，主干网络使用2e-5的学习率。- 车道查询的数量设置为300。
  

• 默认情况下，模型进行20轮的训练。
  

• 交通元素检测中，图像垂直方向上的注释分布被统计分析，并进行裁剪成896×1550以提高训练效率。
  

• 前景分类损失的加权因子为2，伪标签损失的加权因子为1。
  

• 数量比例低于10%的类别进行重新采样，采样比例为5到20倍。
  

• COCO预训练检查点被加载，并进行为期20轮的微调作为2D检测器的基准线。
  

• 拓扑预测中，2D交通和3D车道检测器被固定，只训练MLP网络，训练周期为10轮。
  

• 学习率设置为2e-4。
  

• 在OpenLane-V2验证数据集上，作者测试了不同的主干网络。
  

• 更强的主干网络带来了更好的性能。
  

• 使用更长的训练时间（48个epochs）可以显著提升性能（DET1上提升了6.05%）。
  

• 使用鸟瞰数据增强（BDA）可以使DET1性能提升约1%。
  

• 性能的提升可以通过表格1和表格2来进行定量评估。这里也推荐「3D视觉工坊」新课程《面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)》。
  

• 在OpenLane-V2验证数据集上，作者评估了2D交通元素检测器的性能。
  

• YOLOv8-x在无任何技巧的情况下可以达到65.32%的DET1得分。
  

• 应用强大的数据增强技术可以提高3.77%的性能。
  

• 调整分类权重后，模型性能从之前的水平提高到了71.90%。
  

• 重新采样解决了样本分布不平衡的问题，并进一步提升了性能。
  

• 结合伪标签训练可以带来1.31%和2.95%的性能提升。
  

• 测试时增强技术将性能提升到了79.89%，无需训练模型。
  

• 在训练过程中，增加训练轮数从20增加到75并没有带来性能的提升。
  

• 降低微调阶段的学习率会严重损害性能。
  

• 没有地面真值注释的样本仍然对模型训练有帮助。
  

• 拓扑性能受到车道检测和交通检测性能的影响。
  

• 消融实验表明，拓扑性能随着基本检测性能的提高而改善。
  

• 更好的车道检测和交通检测结果对于拓扑预测有积极的影响。
  

• 对于拓扑性能的提升可以通过检测的最佳得分来定量衡量（35.28% DET1和79.89% DET1）。
  

• 作者的方法在OpenLane拓扑挑战中取得了显著的性能提升。
  

• 与第二解决方案相比，作者的方法在DETt、TOPll、TOPlt和OLS上分别提高了16%、16%、3%和8%。
  

• 最终提交的模型是在OpenLaneV2的训练和验证集上联合训练得到的，但没有进行集成。
  

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

标签：