2022年9月的Tesla AI Day上，一种称之为Occupancy Network的占用模型突然出现到大家的视野中，轻语义重几何，更好地辅助自动驾驶系统感知Driverable space！自动驾驶在动静态障碍物感知领域的发展大概分为三个阶段：1）2D图像空间检测障碍物，映射到鸟瞰空间做多相机和时序融合；2）直接在BEV空间中完成动态障碍物的3D检测和静态障碍物的识别建模；3）直接在3D空间中感知占用关系，为系统规划可行驶空间。

然而，2D感知结果不太好直接被下游规划控制使用，投影到BEV空间也不太准，后续的跨相机融合无法保证一致性，融合困难，特别是在高速场景投影误差较大，所以大多被应用在泊车上。为了解决2D到3D映射不准的问题，特斯拉直接在BEV空间上建模，输入环视的多个相机，端到端感知动静态障碍物，这种方式更加友好，可以直接输出下游可用的目标。

然而，如何面对一些长尾问题呢？比如截断目标、形状不规则、未有清晰语义的目标（比如挂车、树木、垃圾、以及石子等），传统的3D检测始终无法cover all？那么是否可以直接对环境建模，表达为占据栅格的形式呢？不过度区分语义、更关注是否占用，是否为空。特斯拉做到了，并取得了和激光接近的效果！Occupancy Network也被普遍认为是下一代的感知范式，成为各大自动驾驶公司抢占的高地。

当前大火的BEV模型和Occupancy有较多相似之处，BEV的特征生成范式几乎和Occ完全相同，时序方法也完全适用。Occupancy networks本身即具有voxel级别高精度的环境表示能力和function space的高效表示方法。3D occupancy用在bev框架下，则赋予了BEV新优势：首先解耦了geometry和semantics信息，其次解决了悬空物体等3D问题，最后还方便转化成Bbox，freespace等其他表示，可谓是弥补了当前感知算法最后一公里的缺陷！

如何入门学习？

目前国内还没有任何一套关于Occupancy Network的教程，导致无论工程界，抑或是学术界，都对这个领域比较陌生，不知道如何搭建自己的数据集和优化模型，为此，自动驾驶之心自研了国内首套Occupancy课程，从0到1为大家详细阐述占用栅格网络的数据生成、评测、可视化、训练加速、模型优化、后处理等方方面面。内容不仅适用学术界，更直接面向工业界，适合刚入门小白和企业算法工程人员，帮助大家快速入门，成为早期研究Occupancy Network的人员，大纲如下：

课程采用T型结构，横向注重基础，纵向注重深度： 

第1~3部分注重Occupancy Networks的理论基础和完整实践，让学员快速打通由初识到训练到应用的全链路； 

第4部分进阶，深入理解多传感器前融合在Occupancy的应用； 

第5部分进阶，深入理解Occupancy的细分领域及优化和改进方向； 

第6部分前沿探索，探讨Occupancy的交叉领域和发展方向 课程全部资料来自公开内容的重构。

课程特色

•   由浅入深，循循渐进：从占用栅格最基础的概念到如何生成训练数据、BEV与Occ的关联、Occ损失函数、如何训练加速占用网络，以及各类网络实战、后处理解析，一应俱全，同时面向工业界和学术界；

•   小白友好：能够站在初学者的角度，从0到1为大家展开讲解，真正做到知其然，更知其所以然；

•   大量实战：项目实战和理论结合，针对可视化、指标评测、训练加速、后处理、真值数据生成以及各类网络代码详解，应有尽有；

•   学完达到1年感知算法工程师水平；

课件+代码，随时学习

好的学习方式，不仅仅只停留在算法理论上，实践出真知，要做到知行合一。课程为大家配套了一系列实战类代码，从数据读取、可视化、指标评测、到后面的训练加速、真值数据生成、Eigen矩阵计算、后处理、以及各类模型设计（SurroundOcc、FB-OCC等）展开了详细教学，彻底搞懂每一个知识点，少踩坑。

讲师介绍

思凯，就职于某头部自动驾驶公司，在自动驾驶和计算机视觉领域深耕多年，多项顶会比赛中拿到第一或前列，在自动驾驶感知算法领域积累了全面的技术洞察力和实践经验。

课程学后收获

1. 对占用网络有一个非常完整的认识，从方法论到coding，真正能够理解这个领域的发展、应用、优化以及后面的方向；

   
   

2. 能够将课程中的内容快速应用到科研工作与实际量产项目中，节省时间成本；

   
   

3. 相比于其他行业从业者，更具有竞争力，同时也能够结识许多行业从业人员与学习合作伙伴！

   
   

4. 学完达到1年感知算法工程师水平，成为早期研究Occupancy的科研/工程人员；

   
   

适合人群

1. 计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；

   
   

2. CV与自动驾驶2D/3D感知相关算法工程人员；

   
   

3. 量产和预研工作需要的同学，面向L2~L4级应用；

   
   

4. 对计算机视觉有部分了解，具有一定的Python、Pytorch基础的小伙伴；

   
   

开课时间与学习方式

2023年10月15号开始学习之路，历经两个月，离线视频授课。主讲老师在微信学习群内答疑，对课程中的算法、代码、环境配置等问题一一解惑！

课程咨询与购买

扫码加入学习

咨询小助理微信咨询：AIDriver004

版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)