本文经自动驾驶之心公众号授权转载，转载请联系出处。

论文思路

自动驾驶指通过传感器计算设备、信息通信、自动控制和人工智能的集成，将车辆转变为能够自我导航的实体。环境感知系统是智能车辆获取外部信息的通道，它的任务是收集、处理和分析与车辆周围环境有关的数据，作为自动驾驶的先决条件。感知系统作为智能驾驶技术的关键要素，为后续模块如定位、预测、决策、规划、控制等提供必要的输入数据。目前，大多数用于车辆实现的感知算法都是基于深度学习实现的，特别是神经网络，这些算法在带有标签的公共数据集上进行训练，并部署在一系列视觉感知任务中。为了解决感知算法开发过程中存在开发周期长、可复用性差、传感器设置复杂等问题，论文提出了一种新的分层BEV感知范式，旨在提供一个基本感知模块库和用户友好的图形界面，从而能够快速构建定制模型。

挑战及主要贡献

挑战

• 算法在不同和动态设置中的可泛化性：在一种情况下表现出色的模型可能在另一种情况下表现不佳，这强调了适应性强、效率高的感知系统的必要性；
• 开发智能感知算法的传统过程受到长周期和缺乏模块化的阻碍：这导致了组件的低可重用性，复杂的配置，增加了工程工作中的冗余，增加了开发成本；
• 在部署过程中缺乏系统的方法来利用公共功能模块，使得大规模生产感知系统的优化变得复杂，阻碍了对特定任务需求的有效适应。

主要贡献

为了应对上述的这些挑战，论文中引入了一种分层感知方案，设计了一个综合框架来简化自动驾驶汽车感知算法的开发。通过将基本算法组件组织到一个功能模块库中，所提出的感知方案使汽车工程师能够以更高的效率构建和定制满足特定操作需求的感知模型。该方案根据感知模型的功能角色对其进行分类，每个模块提供网络结构的选择，这种设计不仅有利于与各种平台的计算能力保持一致，而且简化了对自定义数据集的适应，从而提高了开发效率。这些标准化功能模块的可复用性大大减少了重复的工作，从而缩短了开发时间。另外，考虑到智能汽车平台的快速发展和对快速功能更新的需求，该模块化感知系统具有固有的可扩展性。它允许开发人员轻松地引入新模块或改进现有模块，确保系统的发展响应新出现的需求和技术进步。

为了提高开发效率，论文还提出了一种将预训练与微调相结合的范式。通过利用开源数据集，建立一个性能良好的模型的多样化存储库，这些预训练模型提供了一个坚实的基础，使得在微调阶段需要更少的训练数据和更少的迭代。这种方法使用户能够适应功能和调整参数以匹配自定义数据集，而后通过迁移学习和领域适应等技术在现实场景中实现最佳性能。具体来说，预训练方案包括对每个潜在模块组合进行详尽的训练，以确保每个感知模块被赋予与上游和下游功能对应的兼容权重。一旦建立了感知功能模块库，那就在预训练阶段引入了一种新的多模块学习（MML）范式。MML是针对分层解耦的感知系统设计的，它提高了整体的训练效率，并且可以同时优化多种模型架构以获得性能提升。在后续的研究中，MML框架已经证明了其有效性。主要贡献可以概括如下:

模型架构：自动驾驶感知集成方案

分层感知范式

图1 分层感知方案概述

论文中提出的分层感知系统的技术细节如图1所示。其核心创新在于提供了一个模块化且易于操作的BEV感知算法构建过程视图，该过程分别通过集成功能模块组件的预训练算法和微调算法来实现。如表1所示，在集成车辆-云端-道路架构的背景下，封装了一套39个通用感知功能模块来表示概念分类。车辆-云端-道路集成感知系统以单个车辆智能感知为基础，主要包括车辆之间、车辆与基础设施之间的协同感知。为了构建数字感知功能模块库，采用多模块集成的知识共享训练方法。首先，在庞大的公共数据集上预训练感知功能模块的各种组合，从而创建模块化组件的存储库。随后，设计一个用户友好的图形化软件界面，通过直观的拖放操作来促进模型的构建。这种图形化软件可以轻松地组装感知模型，为训练、推理和微调提供统一的界面。

表1 车辆-云端-道路集成架构感知功能模块库

以视觉为中心的三维物体检测的原型设计

2）图像视图转换

3）时间特征融合:

图2 两种不同的时间特征融合方法

4）检测头：

图3 多模块学习框架

通过采用软参数共享的方法，MML提供了一种更加灵活的多模型学习体系结构。在软参数共享的框架下，每个模型都有自己独立的结构和一组排他的参数，而不是直接共享很大一部分网络层。这种设计考虑到不同的任务可能需要学习不同的特征表示，因此，赋予每个模型一定程度的排他性能力有助于提高整体性能。然而，为了实现知识迁移和促进通用表示的学习，软参数共享并没有完全隔离每个任务的模型参数。相反，它通过施加一定的约束，促使不同任务的模型参数趋于相似，从而在一定程度上实现参数共享。

算法1 平均模块组装策略

实验

实现细节

比较结果

表2 不同模型配置的详细信息表3 对不同的集成模型实现了一致的改进

图4 不同模块组件的三维探测器在nuScenes数值集上的对比结果图5 nuScenes验证集的可视化比较结果

消融实验

图6 消融方法表4 在nuscenes验证数据集上与1:9分割的性能比较表5 在nuscenes验证数据集上与3:7分割的性能比较

讨论

图7 不同权值合并策略的比较，每个子图显示了训练过程中每个模型的mAP指标图8 不同权值合并策略的比较，每个子图显示了训练过程中每个模型的NDS指标

表6 8种模型在nuscenes val数据集上的预训练对比结果

结论

该论文旨在开发模块化感知系统架构，支持可重用和可重构组件，为下一代汽车计算智能平台量身定制。提出的框架提供了丰富灵活的基础算法构建模块，允许开发者根据具体需求选择和组合不同的功能模块，从而促进定制化智能驾驶感知算法的快速开发。该框架可以不断扩展功能模块库，适应不同的用户需求，并具有持续学习的能力，从而缩短开发周期。