ACT++ 模仿学习算法库 act-plus-plus

比赛/竞技 1/5 🧩 软硬件结合 已发布
MarkFzp 3622 Stars MIT BOM 完整度: 0/5 教程完整度: 0/5

项目简介

Co-training模仿学习算法用于Mobile ALOHA:ACT、Diffusion Policy、VINN。


act-plus-plus是一个专注于模仿学习算法与协同训练的开源项目,主要面向Mobile ALOHA机器人平台。该项目实现了三种核心算法:ACT(Action Chunking with Transformers)、Diffusion Policy和VINN,并提供了两个仿真环境——Transfer Cube和Bimanual Insertion,支持用户在仿真或真实机器人上进行训练和评估。

标签

项目特点

实现三种主流模仿学习算法:ACT、Diffusion Policy 和 VINN
提供两个模拟环境:Transfer Cube(转移立方体)和 Bimanual Insertion(双臂插入)
支持模拟环境和真实机器人部署
提供脚本化策略生成演示数据
支持时间集成(temporal ensembling)提升策略平滑度
包含完整的训练、评估和数据可视化工具
与 Mobile ALOHA 硬件系统无缝集成

技术规格

支持算法 ACT, Diffusion Policy, VINN
模拟环境 Transfer Cube, Bimanual Insertion
控制方式 关节空间控制、末端执行器空间控制
框架依赖 PyTorch, MuJoCo 2.3.7, DM_Control 1.0.14
Python版本 3.8.10
数据格式 HDF5 (.hdf5)
硬件支持 Mobile ALOHA 机器人系统
训练策略 行为克隆、扩散策略、最近邻

项目资源

物料清单 (BOM)

物料名称 数量 参考价格 备注
Mobile ALOHA 机器人 1 真实部署需要
工作站/服务器 1 训练和推理用,建议配备GPU
Ubuntu/Linux系统 1 推荐使用
Conda 1 环境管理
PyTorch 1 深度学习框架
MuJoCo 2.3.7 1 物理模拟引擎
DM_Control 1.0.14 1 控制库
robomimic (r2d2分支) 1 Diffusion Policy依赖

3D 模型

模型名称文件名文件
tabletop tabletop.stl
vx300s_10_custom_finger_left vx300s_10_custom_finger_left.stl
vx300s_10_custom_finger_right vx300s_10_custom_finger_right.stl
vx300s_10_gripper_finger vx300s_10_gripper_finger.stl
vx300s_11_ar_tag vx300s_11_ar_tag.stl
vx300s_1_base vx300s_1_base.stl
vx300s_2_shoulder vx300s_2_shoulder.stl
vx300s_3_upper_arm vx300s_3_upper_arm.stl
vx300s_4_upper_forearm vx300s_4_upper_forearm.stl
vx300s_5_lower_forearm vx300s_5_lower_forearm.stl
vx300s_6_wrist vx300s_6_wrist.stl
vx300s_7_gripper vx300s_7_gripper.stl
vx300s_8_gripper_prop vx300s_8_gripper_prop.stl
vx300s_9_gripper_bar vx300s_9_gripper_bar.stl

能力画像

⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 3/5
⚪ 数理与计算: 4/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 4/5
⚪ 创造与创新: 4/5

所需技能

🔧 **动手能力**:需要组装和调试 Mobile ALOHA 机器人硬件系统,进行真实环境的数据采集和部署 💻 **编程能力**:需要 Python 编程经验,理解深度学习框架(PyTorch),熟悉命令行操作和环境配置 ⚡ **电子电路**:需要基本的机器人硬件知识,了解传感器和执行器的连接与通信

适用场景

机器人模仿学习算法研究与开发
双臂协作任务的自动化(如转移物体、插入操作)
基于人类演示的机器人技能学习
移动操作机器人(Mobile Manipulator)的策略训练
学术研究:比较不同模仿学习算法在机器人任务上的表现