ACT++ 模仿学习算法库
act-plus-plus
比赛/竞技
高级
🧩 软硬件结合
已发布
项目简介
Co-training模仿学习算法用于Mobile ALOHA：ACT、Diffusion Policy、VINN。
act-plus-plus是一个专注于模仿学习算法与协同训练的开源项目，主要面向Mobile ALOHA机器人平台。该项目实现了三种核心算法：ACT（Action Chunking with Transformers）、Diffusion Policy和VINN，并提供了两个仿真环境——Transfer Cube和Bimanual Insertion，支持用户在仿真或真实机器人上进行训练和评估。
标签
项目特点
实现三种主流模仿学习算法：ACT、Diffusion Policy 和 VINN
提供两个模拟环境：Transfer Cube（转移立方体）和 Bimanual Insertion（双臂插入）
支持模拟环境和真实机器人部署
提供脚本化策略生成演示数据
支持时间集成（temporal ensembling）提升策略平滑度
包含完整的训练、评估和数据可视化工具
与 Mobile ALOHA 硬件系统无缝集成
技术规格
| 支持算法 | |
|---|---|
| 模拟环境 | |
| 控制方式 | |
| 框架依赖 | |
| Python版本 | |
| 数据格式 | |
| 硬件支持 | |
| 训练策略 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Mobile ALOHA 机器人 | 1 | — | 真实部署需要 |
| 工作站/服务器 | 1 | — | 训练和推理用，建议配备GPU |
| Ubuntu/Linux系统 | 1 | — | 推荐使用 |
| Conda | 1 | — | 环境管理 |
| PyTorch | 1 | — | 深度学习框架 |
| MuJoCo 2.3.7 | 1 | — | 物理模拟引擎 |
| DM_Control 1.0.14 | 1 | — | 控制库 |
| robomimic (r2d2分支) | 1 | — | Diffusion Policy依赖 |
3D 模型
tabletop.stl
vx300s_10_custom_finger_left.stl
vx300s_10_custom_finger_right.stl
vx300s_10_gripper_finger.stl
vx300s_11_ar_tag.stl
vx300s_1_base.stl
vx300s_2_shoulder.stl
vx300s_3_upper_arm.stl
vx300s_4_upper_forearm.stl
vx300s_5_lower_forearm.stl
vx300s_6_wrist.stl
vx300s_7_gripper.stl
vx300s_8_gripper_prop.stl
vx300s_9_gripper_bar.stl
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| GPU (NVIDIA) | 训练和推理深度学习模型 | ✅ 是 |
| 摄像头 | 真实机器人数据采集 | ▢ 推荐 |
| 数据采集设备 | 收集人类演示数据 | ▢ 推荐 |
能力画像
记忆与知识检索
逻辑推演
表达与交流
感知与观察
数理与计算
动手与操作
狂热与坚持
创造与创新
所需技能
🔧 **动手能力**：需要组装和调试 Mobile ALOHA 机器人硬件系统，进行真实环境的数据采集和部署
💻 **编程能力**：需要 Python 编程经验，理解深度学习框架（PyTorch），熟悉命令行操作和环境配置
⚡ **电子电路**：需要基本的机器人硬件知识，了解传感器和执行器的连接与通信
适用场景
机器人模仿学习算法研究与开发
双臂协作任务的自动化（如转移物体、插入操作）
基于人类演示的机器人技能学习
移动操作机器人（Mobile Manipulator）的策略训练
学术研究：比较不同模仿学习算法在机器人任务上的表现