BEVFormer
BEVFormer
3/5
🧩 软硬件结合
已发布
项目简介
[ECCV 2022] This is the official implementation of BEVFormer, a camera-only framework for autonomous driving perception,
BEVFormer 是一个基于纯视觉摄像头实现鸟瞰图（BEV）感知的开源框架，由 OpenDriveLab 提出，发表于 ECCV 2022。该项目核心解决了自动驾驶场景中，仅依靠多路摄像头输入，如何高效、准确地构建三维空间感知表征的问题。传统方法往往难以同时融合多视角空间特征与时间序列信息，而 BEVFormer 通过设计时空 Transformer 架构，利用预定义的网格状 BEV 查询，在空间上通过空间交叉注意力机制从不同摄像头的感兴趣区域提取特征，在时间上通过时间自注意力机制循环融合历史 BEV 信息，从而统一了时空维度的特征学习。该框架在 nuScenes 测试集上以纯视觉方案取得了 56.9% 的 NDS 指标，大幅超越此前最优方法，甚至达到了与基于激光雷达方案相当的性能。其升级版本 BEVFormer++ 更是在 Waymo 开放数据集 3D 纯视觉检测挑战赛中夺得第一名。技术栈方面，项目基于 PyTorch 和 MMDetection3D 构建，提供了从 ResNet-50 到 ResNet-101-DCN 等多种骨干网络的预训练模型，并支持 tiny、small、base 等不同显存需求的配置，便于研究者在不同硬件条件下进行复现与部署。BEVFormer 适用于自动驾驶中的 3D 目标检测、多传感器融合感知、以及需要实时生成统一 BEV 表征的各类下游任务，是目前纯视觉感知领域的重要基线。
标签
项目特点
**时空 Transformer 架构**：通过空间交叉注意力（Spatial Cross-Attention）从多相机视角提取感兴趣区域的空间特征，通过时间自注意力（Temporal Self-Attention）循环融合历史 BEV 信息。
**纯视觉方案**：仅使用多摄像头图像即可实现与 LiDAR 方法相媲美的 3D 检测性能，大幅降低传感器成本。
**SOTA 性能**：在 nuScenes 检测任务上达到 56.9% NDS，比之前最佳方法高出 9.0 个百分点。
**多版本支持**：提供 tiny、small、base 等多种配置，适应不同 GPU 内存和精度需求；还包含 BEVFormerV2 增强版本。
**完整生态**：提供预训练模型、配置文件、日志、中文博客、视频讲解等丰富资源。
技术规格
| 框架 | PyTorch + MMDetection3D |
|---|---|
| 骨干网络 | ResNet-50 / ResNet-101-DCN |
| 输入 | 多摄像头图像（nuScenes 6 相机） |
| 输出 | 3D 检测框（位置、尺寸、朝向、速度） |
| 评价指标 | NDS（nuScenes Detection Score）、mAP |
| 训练数据 | nuScenes 数据集 |
| 显存需求 | 6.5GB（tiny）~ 40GB（V2-t8） |
| 训练周期 | 24ep / 48ep |
| 论文发表 | ECCV 2022 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.8+ | 1 | — | 开发环境 |
| PyTorch 1.9+ | 1 | — | 深度学习框架 |
| MMDetection3D | 1 | — | 3D检测工具包 |
| GPU（如 NVIDIA A100/RTX 3090） | 1 | — | 训练需要大显存 |
| nuScenes 数据集 | 1 | — | 官方完整版 |
| 预训练权重（R50/R101-DCN） | 1 | — | 可选下载 |
能力画像
⚪ 记忆与知识检索: 3/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 2/5
⚪ 感知与观察: 1/5
⚪ 数理与计算: 5/5
⚪ 动手与操作: 1/5
⚪ 狂热与坚持: 4/5
⚪ 创造与创新: 5/5
项目图库
视频
所需技能
🔧 **动手能力**：需要配置深度学习环境、管理数据集、运行训练脚本，具备基本的 Linux 命令行操作能力。
💻 **编程能力**：精通 Python，熟悉 PyTorch 和 MMDetection3D 框架，理解 Transformer 和注意力机制原理。
⚡ **电子电路**：不涉及硬件电路。
适用场景
**自动驾驶 3D 目标检测研究**：作为纯视觉 BEV 感知的基线方法，用于学术研究和算法对比。
**多传感器融合感知系统开发**：BEVFormer 的 BEV 表示可与其他传感器（如雷达、LiDAR）融合。
**计算机视觉 Transformer 应用**：学习如何将 Transformer 应用于空间-时间特征聚合。
**低成本自动驾驶方案**：仅使用摄像头即可实现高精度 3D 检测，降低硬件成本。