两大模型了解自动驾驶测试框架

测试闭环模型

关于场景
场景,是在一定时间和空间范围内环境与驾驶行为的综合反映,由天气条件、道路、交通设施、交通参与者等外部状态以及自车的驾驶任务和状态等信息共同作用组成的驾驶工况。
自动驾驶汽车测试方法主要分为基于场景的测试方法和基于里程的测试方法两大类。
基于场景的测试方法是通过预先设定的场景,要求被测车辆完成某项特定目标或任务而对其进行测试的方法。
基于里程的测试方法是让被测车辆在一定的环境条件下连续行驶,而不预先设定其测试任务或目标。
针对场景测试基础理论、应用方法、技术的研究越来越受到产业界和学术界的重视,但仍存在亟待突破的技术难点,包括场景提取、筛选以及测试场景的构建等技术。
由于场景具有不可预测、极其复杂、重复性差、无法穷举的特点,选择一个通用的、被业界认可的场景分类方式并对场景要素进行整合是建立场景库的关键。
关于场景库
场景按照抽象程度,分为功能场景、逻辑场景和具体场景
功能场景:是语义级别的操作场景,通过语言场景符合来描述实体和实体之间的关系,用于概念阶段的项目定、危害分析和风险评估。案例:在高速公路行驶时的功能场景需要描述道路几何结构和拓扑结构、与其他交通参与者的交互以及天气状况等,而在地下停车场行驶则只需描述建筑物的布局,而此时天气条件则不需要进行详细的描述。
逻辑场景:通过状态空间描述两个实体之间的关系,是对功能场景的进一步描述,可以用于在项目开发阶段生成需求。逻辑场景通过状态空间来描述实体和实体之间的关系,因此需要对状态空间的参数范围进行确定,此时一般采用概率分布的方式,通过收集到的信息来确定状态空间的参数范围,不同参数之间的关系可以通过一定的公式或算法来确定。逻辑场景中包括解决问题的所有需求要素。
具体场景:通过在逻辑场景中的状态空间选择确定的参数值,使用具体的数值。
场景按照存储方式,分为文本化描述和仿真化描述
场景按照来源分为需求,自然驾驶场景、危险工况场景,标准法规场景和参数重组场景
需求,来源于需求文档
自然驾驶场景:来源于汽车真实的自然驾驶状态的场景,是构建自动驾驶测试场景中最基础的数据来源,也是证明自动驾驶有效性的一种最充分的测试场景。
危险工况场景:危险工况驾驶是验证自动驾驶有效性的一种必要的测试场景,自动驾驶汽车在各种恶劣的环境(包括恶劣的天气情况和复杂的道路交通)下进行操作,避免交通事故的发生。
标准法规场景是验证自动驾驶有效性的一种基础测试场景,其通过现有的标准、评价规程等构建测试场景。
参数重组测试场景:由于场景具有无限、复杂的特点,所收集的驾驶信息永远不能涵盖所有的驾驶情况,此时就需要采用参数重组的方式构建驾驶场景。
场景按照方式的概率,危险等级分为典型场景、边缘场景和危险场景。
典型场景:车辆行驶过程中最普通、最常见的场景,几乎覆盖自动驾驶场景80%以上。
边缘场景:实际行驶过程中遇到概率非常小的场景。
危险场景:实际车辆发生事故或即将发生事故的场景。
关于ODD分类
ODD主流构建框架有:NHTSA ODD, SAE AVSC ODD, PEGASUS ODD, BSI ODD, 下图展示PEGASUS ODD案例:


关于 测试设计模型

测试评价库
测试评价库,存储各功能的质量指标,供测试用例和测试评估使用,案例:

关于测试平台
自动驾驶主流三支柱测试方法,包括仿真测试,封闭道路测试和开发道路测试。
测试平台包括测试任务管理、测试执行和测试评估三大块业务。其中,测试评估依据测试评价指标,分析测试数据,展示测试报表。

HIL仿真测试评估模型

关于仿真
仿真即是通过一组公式模仿真实世界,或者说使用一个数学模型简化替代真实世界;
数学模型的复杂度越高,计算结果与真实世界越相近,但是建模难度越高、计算速度越慢。
关于仿真测试
自动驾驶算法通过各种传感器探测周围环境的状态,进行决策后对车辆进行控制。
为了在仿真环境对自动驾驶算法进行测试,需要模拟自动驾驶算法的各种输入,并响应其输出,从而“欺骗”它,让它以为在真实世界工作。
依据测试对象和测试目的将仿真测试分为MIL/SIL/PIL//HIL/VIL几种类型

HIL仿真设计/工具需求案例:


总结
1.自动驾驶主流三支柱测试方法,包括仿真测试,封闭道路测试和开发道路测试。
测试平台包括测试任务管理、测试执行和测试评估三大块业务。其中,测试评估依据测试评价指标,分析测试数据,展示测试报表。
2. 测试度量赋能优化场景库
1)测试完输出测试报表,依据测试报表的数据分析优化场景库
2)优化的场景继续测试输出测试报表
3) 依据测试报表的数据分析优化场景库
3. 测试度量赋能加速优化软件
1)测试完输出测试报表,依据测试报表的数据分析优化软件
2)优化的软件继续测试输出测试报表
3)依据测试报表的数据分析优化软件
参考:
PEGASUS Symposium官网
https://www.pegasusprojekt.de/en/pegasus-symposium-2019
仿真测试
1)https://mp.weixin.qq.com/s?__biz=MzI3OTAwOTcyNA==&mid=2247483781&idx=1&sn=1e1c2dfa4fa6c21fc9954f4594670e3b&chksm=eb4f0156dc388840f3850b2405897e5fa5ba8ee182d2937d2dc6631b541c370c2fe3ff686ffa&scene=21#wechat_redirect
2)https://zhuanlan.zhihu.com/p/445281443