real-stanford/umi-on-legs
机器人
3/5
🧩 软硬件结合
已发布
项目简介
UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers
UMI on Legs 是一个由斯坦福大学、哥伦比亚大学和Google DeepMind联合开发的开源框架，旨在将人类示教数据与仿真训练的全身体控制器相结合，让原本固定或移动受限的机械臂操作策略能够灵活部署在四足机器人（机器狗）上。该项目的核心创新在于提出了一种“以操作为中心”的全身体控制器（Manipulation-Centric Whole-Body Controller），使得搭载机械臂的四足机器人能够在行走、小跑甚至在不平地形上移动时，依然稳定地执行抓取、放置、抛掷等精细操作任务。
标签
项目特点
**操作与移动深度融合**：提出“以操作为中心”的全身体控制器，让四足机器人在动态移动中也能保持机械臂的精准操作。
**人类示教数据驱动**：支持利用人类示教数据来训练操作策略，降低了对复杂编程的依赖。
**仿真到真实迁移**：框架支持在仿真环境中训练全身控制器，并直接部署到真实机器人上，减少真实实验成本。
**多地形适应能力**：在平地、斜坡、不平整路面等多种地形下，均能稳定执行抓取、放置、抛掷等任务。
**开源且模块化**：代码、模型和配置文件完全开源，便于研究者复现、修改和扩展。
技术规格
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| 四足机器人（如Unitree Go1） | 1 | — | 基础移动平台 |
| 轻量级机械臂（如Franka Emika Panda） | 1 | — | 执行操作任务 |
| NVIDIA Jetson Orin / 桌面GPU | 1 | — | 运行控制器和策略 |
| RGB-D相机（如Intel RealSense D435） | 1 | — | 可选，用于视觉感知 |
| IMU（内置） | 1 | — | 姿态估计 |
| 机器人电池组 | 1 | — | 根据机器人型号配置 |
| 无线网卡/路由器 | 1 | — | 远程控制与数据传输 |
3D 模型
能力画像
**记忆与知识检索**：3/5 — 项目文档和论文提供了详细的技术说明，但需要自行查阅和整合。
**动手与操作**：4/5 — 需要组装机器人、安装机械臂、调试硬件，动手要求较高。
**编程与算法**：4/5 — 涉及Python、ROS、深度学习框架，需要一定的算法实现能力。
**设计与建模**：3/5 — 可能需要调整机械臂安装座、传感器支架等，但核心模型已提供。
**实验与调试**：5/5 — 从仿真到真实部署，需要大量实验和参数调优。
**协作与分享**：3/5 — 开源社区活跃，但主要依赖个人或小团队协作。
**学习与研究**：5/5 — 涉及全身控制、示教学习、迁移学习等前沿领域，研究价值高。
**系统集成**：4/5 — 需要将机器人、机械臂、传感器、计算单元和软件框架整合为一个完整系统。
项目图库
所需技能
机器人学基础（运动学、动力学、控制理论）
Python编程与深度学习框架（PyTorch）
ROS/ROS2使用与调试
四足机器人操作与维护
机械臂安装与标定
仿真环境搭建（Isaac Gym / MuJoCo）
硬件调试与故障排查
版本控制（Git）
适用场景
高校与科研机构的机器人操作与移动结合研究
四足机器人自主抓取与搬运任务开发
复杂地形下的移动操作（如搜救、巡检）
人类示教数据驱动的机器人技能学习实验
机器人竞赛或演示项目（如机器狗递物、抛掷）
开源机器人社区的技术复现与改进