TransFuser transfuser

智能家居 ⭐⭐⭐☆☆ (3/5) 🧩 软硬件结合 已发布
autonomousvision 940 Stars 未知 BOM 完整度: /5 教程完整度: /5
查看源码

项目简介

[PAMI'23] TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving; [CVPR'21] Multi-Modal Fusio

TransFuser 是一个基于 Transformer 的多传感器融合模仿学习框架，专为自动驾驶场景设计，发表于 PAMI 2023。该项目核心解决的是如何高效融合摄像头图像与激光雷达点云两种异构传感器数据，从而提升自动驾驶模型在复杂城市环境中的决策能力。传统方法往往简单拼接或平均处理多模态特征，导致信息丢失或冗余；TransFuser 则利用 Transformer 的注意力机制，在特征层面实现图像与点云的自适应交互与融合，让模型能够更精准地理解道路结构、交通参与者及动态障碍物。

标签

autonomous-driving imitation-learning sensor-fusion transformers

项目特点

基于 Transformer 的多模态传感器融合架构，有效整合视觉和激光雷达信息
支持端到端模仿学习训练，无需手工设计的中间表示
提供完整的训练、评估和部署流程
支持在 CARLA 模拟器上进行 Longest6 基准测试
提供预训练模型权重，可直接用于评估
支持 Docker 容器化部署，可提交至 CARLA 排行榜

技术规格

论文发表
模拟器
框架
传感器
训练方式
数据集大小
支持GPU
基准测试

项目资源

autonomousvision/transfuser publications/Chitta2022PAMI.pdf publications/Chitta2022PAMI_supplementary.pdf www.youtube.com/watch?v=-GMhYcxOiEU publications/Chitta2022PAMI_poster.pdf talks/Chitta2022AIR.pdf transfuser/models_2022.zip stable/carla_headless leaderboard.carla.org/submit autonomousvision/carla_garage autonomousvision/plant autonomousvision/king autonomousvision/neat

物料清单 (BOM)

物料名称 数量 参考价格 备注
CARLA 0.9.10.1 1 — 模拟器环境
PyTorch 1.12.0 1 — 深度学习框架
CUDA 11.3 1 — GPU计算平台
Conda 1 — 环境管理
训练数据集 1 — 210GB，包含8个CARLA城镇
预训练权重 4 — 4种方法的预训练模型

所需工具

工具用途是否必需
GPU (NVIDIA) 训练和评估深度学习模型 ✅ 是
CARLA 0.9.10.1 自动驾驶模拟环境 ✅ 是
Conda Python环境管理 ✅ 是
Docker 排行榜提交容器化 ▢ 推荐
AlphaDrive CLI 排行榜提交工具 ▢ 推荐

能力画像

记忆与知识检索
1/5
逻辑推演
4/5
表达与交流
1/5
感知与观察
5/5
数理与计算
5/5
动手与操作
3/5
狂热与坚持
4/5
创造与创新
5/5

视频

watch

watch

所需技能

🔧 **动手能力**：需要配置CARLA模拟器环境、管理数据集（210GB）、设置多GPU训练环境 💻 **编程能力**：需要Python编程经验，熟悉PyTorch深度学习框架，理解Transformer架构 ⚡ **电子电路**：不涉及硬件电路

适用场景

自动驾驶研究：端到端驾驶模型的学术研究
传感器融合研究：多模态信息融合方法的实验验证
模仿学习研究：基于专家演示的驾驶策略学习
CARLA排行榜竞赛：提交模型参与自动驾驶基准测试
自动驾驶安全研究：分析驾驶模型的行为和潜在偏差