自动驾驶热成像数据集
Teledyne FLIR 为高级驾驶辅助系统（ADAS）和自动驾驶汽车的研究人员和开发人员发布免费的扩展热成像数据集。最新版扩展后的数据集（V2.0.0）几乎达到原始数据集的两倍，总共包含 26,442 个完全注释的帧，包含 15 个不同的对象类。其标签类别数量也增加了两倍，目前包括：行人、自行车、汽车、摩托车、公共汽车、火车、卡车、红绿灯、消防栓、路标、狗、滑板、婴儿车以及其他车辆标签。扩展后的热成像数据集将帮助汽车行业和学术界快速评估车辆安全算法性能、神经网络测试以及热成像传感器（如 FLIR ADK™）。
数据组织
数据分为三个部分：训练图像 ("train")、验证图像 ("val") 和验证视频 ("val_video")。从完全独立的视频序列中对这三个类别中的每一类的帧进行采样，以鼓励模型泛化。数据组织和拆分是促进可重复研究的建议，但最终用户可以自由使用不同的方案来满足他们的特定需求。共有 9,711 个热图像和 9,233 个 RGB 训练/验证图像 包含在 90%/10% 的训练/验证拆分中。验证视频总共包含 7,498 帧。3,749 个热/RGB 视频对每个都由一系列以每秒 30 帧 (FPS) 捕获的连续帧组成。一个频谱中的每个视频帧都映射到另一个频谱中的时间同步帧对，在文件中指定 rgb_to_thermal_vid_map.json。该数据集中的镜头是在多个位置收集的，包括各种照明/天气条件。请参阅 "extra_info" 注释 (coco.json) 的图像部分。
数据采集
该数据集是通过安装在车辆上的热成像和可见光相机对获取的。使用具有 45 度水平视场 (HFOV) 和 37 度垂直视场 (VFOV) 的 Teledyne FLIR Tau 2 13 mm f/1.0 获取热图像。热像仪以T 线性模式运行模式。可见图像是使用配备 52.8 度 HFOV Edmund Optics 镜头（部件号 68215）的 Teledyne FLIR BlackFly S BFS-U3-51S5C (IMX250) 相机拍摄的。时间同步捕获由 Teledyne FLIR 的 Guardian 软件执行。验证视频以每秒 30 帧的帧速率收集，包括目标 ID，允许开发人员计算跟踪指标，例如 MOTA/MOTP。训练/验证图像片段帧在各种不同的镜头中进行采样，以确保训练和验证的高度多样性。在某些情况下，帧样本是手动选择的，而在其他情况下则使用跳帧。每个视频通常使用不同的跳帧。策展团队排除了多余的镜头，例如车辆在等红灯时几乎相同的帧。
数据标注
给定拆分（文件夹）的所有注释都在一个名为 index.json. 该文件格式是为 Teledyne FLIR 的专有数据集管理工具 Conservator 创建的。它类似于 Microsoft 的 COCO 注释文件格式，但允许具有帧级和注释级属性的更丰富的注释。除了 Conservator JSON 文件之外，我们还包括了名为 COCO 格式的文件 coco.json，其中包含注释的过滤版本。过滤后的版本重新映射或删除了一些多余或多余的类，如“面部”和“车牌”。包含的 Conservator JSON 文件提供来自注释器的原始/未经过滤的数据，而 COCO JSON 文件是一个可供实验的精炼版本。建议将 COCO 格式的文件 (coco.json) 用于训练模型。报告的指标基于在 COCO 格式文件上训练的模型。
标签
修改后的 MSCOCO 标签映射与主要受伯克利深度驱动数据集启发的约定一起使用。
Category Id 1: person
Category Id 2: bike (renamed from "bicycle")
Category Id 3: car (this includes pick-up trucks and vans)
Category Id 4: motor (renamed from "motorcycle" for brevity)
Category Id 6: bus
Category Id 7: train
Category Id 8: truck (semi/freight truck, excluding pickup truck)
Category Id 10: light (renamed from "traffic light" for brevity)
Category Id 11: hydrant (renamed "fire hydrant" for brevity)
Category Id 12: sign (renamed from "street sign" for brevity)
Category Id 17: dog
Category Id 37: skateboard
Category Id 73: stroller (four-wheeled carriage for a child, also called pram)
Category Id 77: scooter
Category Id 79: other vehicle (less common vehicles like construction equipment and trailers)
个人用户请通过微信搜索【跨象乘云】公众号（kxcy_ai）或扫描下方二维码，关注后发送关键字【220608】，免费获取 FLIR 自动驾驶热成像数据集 V2。跨象乘云™ 原创实验演示视频内全部代码、数据集仅授权予个人用户学习与实验使用。禁止用于二次销售、分发传播、课堂教学及培训用途。校企用户采购请通过公众号菜单【了解我们】->【商务合作】联系。
