什么是BEV？

自动驾驶中的感知识别任务的目的是对物理世界的三维几何重建。随着自动驾驶汽车（SDV）装备传感器类型的多样性和数量不断增多，人们需要用统一的视角来展现出不同视角。而鸟瞰视图（BEV）可以有效展示出这一点。 BEV本身并不是新热点，最常见的BEV感知是3D检测，根据输入数据模态的不同，可以划分为基于图像、基于LiDAR和基于多模态三种方式。另一种常见感知是BEV分割，可分为地图分割和车道线分割两种方式。

BEV感知算法能够很好的融合多传感器的特征，在一定程度上提高自动驾驶技术感知和预测的准确率。

BEV的发展历史在BEV空间中，传统的BEV变换算法通常是在图像空间中进行特征提取，并产生分割结果，再利用逆透视变换（IPM）将其转化为BEV空间。BEV感知相当于给自动驾驶开启了“上帝视角”，能够让车辆无遮挡的“看清”道路上的实况信息，在BEV视角下统一完成感知和预测任务。

在传统的image-view方案中，3D目标检测、障碍物实例分割、车道线分割、轨迹预测等各项感知任务互相分离，使得该方案下的自动驾驶算法需要串联多个子模块，极大增加了算法的开发、维护成本。而BEV感知能够让这些感知任务在一个算法框架上实现，大大减少人力需求。

BEV感知：下一代自动驾驶感知算法学习计划

讲师介绍

李弘扬博士，上海人工智能实验室青年科学家。研究方向为通用视觉下游应用研发、自动驾驶感知与决策算法研发等。香港中文大学博士学位。以第一作者身份完成的相关成果，发表于相关国际会议如CVPR/ICCV/NeurIPS/ICML等，累计引用率1400余次，专利授权10余项。2021年至今，担任清华大学研究生课程高等计算机视觉主讲人。带领团队斩获自动驾驶国际挑战赛Waymo Open Challenge 2022第一名，在纯视觉、激光雷达等赛道上取得国际领先地位，提出的BEVFormer工作为自动驾驶量产落地提供了实际解决方案。 适合学员

自动驾驶行业研发相关从业人员； 对自动驾驶系统及感知算法模块有一定程度的了解； 对自动驾驶感兴趣，有一定编程代码能力及数理基础； 其他算法从业者，有数理基础。

课程收获

系统理解域控制器在整车开发各环节的顶层设计作用和地位、重构汽车架构具体落地方案、Al算法、域控制器硬件软件安全设计等

2023-04-22

09:00-12:00BEV｜感知背景与动机Recap on where we start:  Tesla AI Day Core issues in 3D Perception BEV Perception: Next Paradigm for AD

14:00-15:30BEV感知融合｜Trending in Industry 工业界Sensor Configuration: A Roadmap / 传感器配置 Popular approaches for Industry / 主流方法 3D Data generation / 三维场景重建

15:30-17:00BEV感知融合｜Trending in Academia 学术界General BEV Perception / 发展脉络一览 3D-2D v.s. 2D-3D / 两种方式

2023-04-23

09:00-12:00BEVFormer 环视感知方案介绍Motivation & Overall Architecture Explicit BEV feature Performance on nuScenes & Waymo 1.2 Ablation on Attention Module BEVFormer++：Waymo Challenge Camera-Only Track

14:00-17:00BEV感知｜思考与讨论未来工作的思考 BEV 后续的发展 未来研究方向