自动驾驶技术正在重新塑造我们出行的方式，高质量数据集是推动这一变革的关键因素。在当年的淘金热中，真正获利的是卖铲子的人。在AI开发领域，掌握优质数据集就意味着掌握了实现技术突破的关键所在。本文会对当前最具价值的自动驾驶开源数据集进行系统整理，帮助开发者快速找到适合自身项目的“宝藏”。
KITTI数据集
KITTI数据集是自动驾驶领域的“经典教材”，它由德国卡尔斯鲁厄理工学院采集，有超7小时真实交通场景数据，它同步记录了高分辨率图像，还同步记录了3D激光雷达点云，也同步记录了GPS/IMU数据，这是它的独特之处，这种多模态特性使它成为算法验证的黄金标准，该数据集涵盖城市场景，涵盖乡村场景，还涵盖高速公路场景，很适合开发目标检测算法，也很适合开发三维重建算法。
需要注意的是，KITTI使用的是旋转式激光雷达，这种雷达与当前主流自动驾驶车辆所用的固态雷达不一样，然而，正是因为这种“不完美”，它能够更有效地测试算法在非理想状况下的鲁棒性，许多论文至今仍以在KITTI排行榜上的表现为傲，这充分证明了它在学术界的影响力。
Waymo Open
谷歌旗下的Waymo开放了一套数据集，这套数据集是行业标杆，它的数据量处于顶尖水平，数据质量也是顶尖水平，它包含超1000万帧标注数据，覆盖复杂城市道路，覆盖恶劣天气，覆盖夜间场景，和学术数据集不一样，Waymo的数据直接来自其商业化运营的自动驾驶车队，具有极高的工程参考价值。
数据集特别加强了对行人、自行车等“弱势道路使用者”的标注，每个对象平均有15个3D包围框标注，这种精细标注对开发安全的决策系统非常关键，2023年新增了交互预测任务数据，这些数据为研究车辆行为预测提供了宝贵资源。
数据集
安波福（Aptiv）发布了，它以丰富的传感器配置闻名，该配置中有6个摄像头，还有1个激光雷达以及5个雷达，这些雷达能提供同步数据。该数据集是从波士顿和新加坡的1000个场景采集而来的，它突出展现了东西方城市交通文化的差异，这种差异对开发全球化自动驾驶系统很有价值。
首次提出了“全场景标注”这一概念，它会对车辆、行人等对象开展标注工作，还会涵盖交通灯状态、施工区域等环境信息，它采用的“雷达热图”标注方式具有创新性，可为研究传感器融合提供新的思路，该数据集还包含23类物体的事故风险评分，这在同类数据集中极为少见。
系列
这套数据集由Argo AI提供，聚焦于高精地图和运动预测， 1含有290公里的高清地图数据，其精度达到了10厘米级别，十分惊人， 2引入了立体视觉和事件相机数据，它很适合研究极端光照条件下的感知算法。
该数据集存在一个运动预测挑战，这个挑战很有特色，它提供了32万条真实轨迹数据，每条轨迹都带有丰富的上下文信息，像红绿灯状态、路权规则等，“场景理解 + 行为预测”的这种组合，正成为新一代自动驾驶系统的研发重点。
Lyft Level 5数据集
网约车平台Lyft开放了一个数据集，这个数据集着重突出真实世界的复杂性，它含有超过5.5万帧手工标注的3D点云数据，这些数据记录了旧金山多元化的交通场景，该数据集最显著的特点是包含大量“边缘案例”，比如违规穿行的行人、突发故障的车辆等 。
那些在常规数据集中被过滤掉的“异常数据”，是检验系统安全性的关键之处。Lyft提供了完整的传感器校准数据，同时还提供了基准算法。这极大地降低了研究的门槛。对于关注长尾问题的开发者来说，这个数据集非常难得。
数据集
是由伯克利大学发布的，它规模庞大，包含10万段高清视频，覆盖全美6个不同气候区域，该数据集特别注重驾驶场景的时空多样性，涵盖黎明、黄昏、雨天、雪天等复杂条件。
该数据集有常规的2D标注，也有常规的3D标注，还包含司机注视点数据，以及驾驶行为标签，它的数据结构是“人车一体”的，能为研究人机共驾提供独特视角，2023年新增了V2X通信模拟数据，这使得它成为研究车路协同的重要平台。
其他特色数据集
数据集因重复采集同一路线而被众人所知，它非常适合用来研究环境变化对感知系统的影响，H3D数据集专注于重型车辆视角，填补了商用车自动驾驶方面的数据空白，KAIST多光谱数据集通过融合可见光与热成像，为夜间自动驾驶提供了新的思路。
新兴的仿真数据集CARLA和LGSVL不能被忽视，它们生成的是合成数据，它们还能无限生成极端场景，这大大降低了实车测试的成本，特别是CARLA的开源社区越来越活跃，各种定制化场景不断出现，CARLA已成为算法快速迭代的试验场。
看完这些关于数据集的介绍之后，你最想试着用哪个数据集开展项目？欢迎在评论区分享你选择的理由，说不定能找到志同道合的开发伙伴。
