Sirui-Xu/InterMimic

项目简介

[CVPR 2025 Highlight] InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions

InterMimic 是一个面向物理仿真中全身人-物交互控制的统一框架，由伊利诺伊大学厄巴纳-香槟分校与 Electronic Arts 联合开发，荣获 CVPR 2025 Highlight 论文。该项目核心解决了一个长期存在的难题：如何让一个统一的控制策略，能够驱动数字角色与各种形状、材质和动态特性的物体进行自然、多样且物理可信的全身交互。

项目特点

**统一控制框架**：采用单一控制策略即可处理多种人-物交互场景，无需针对不同物体单独训练模型。

**全身交互支持**：不仅限于手部操作，而是覆盖全身（包括躯干、腿部等）与物体的协调互动。

**物理可信仿真**：基于物理仿真引擎，确保交互动作符合真实物理规律，避免穿模或非自然运动。

**多样物体适配**：支持不同形状、材质和动态特性（如刚性、柔性、可变形）的物体交互。

**CVPR 2025 Highlight**：论文被计算机视觉顶级会议 CVPR 2025 接收为 Highlight 论文，学术认可度高。

**开源可复现**：代码、模型和数据集完全开源，便于研究者复现和扩展。

技术规格

项目资源

GitHub仓库论文PDF 项目主页演示视频

搜索资源

百度必应搜狗 Google DuckDuckGo GitHub Gitee B站 YouTube 知乎小红书微信 CSDN Hackster Hackaday Printables Instructables OSHWHub

物料清单 (BOM)

物料名称	数量	参考价格	备注
Python 3.8+	1	—	运行环境
PyTorch 1.13+	1	—	深度学习框架
Isaac Gym (Preview 3/4)	1	—	物理仿真环境
CUDA 11.7+	1	—	GPU加速
NVIDIA GPU (RTX 3090/4090)	1	—	训练与推理
64GB+ RAM	1	—	内存需求
SMPL人体模型参数	1	—	需从SMPL官网获取
物体网格/点云数据	若干	—	根据交互场景准备

3D 模型

模型名称	文件名	文件
连杆 - head link	`head_link.STL`
连杆 - left ankle pitch link	`left_ankle_pitch_link.STL`
连杆 - left ankle roll link	`left_ankle_roll_link.STL`
连杆 - left elbow link	`left_elbow_link.STL`
连杆 - left hand index 0 link	`left_hand_index_0_link.STL`
连杆 - left hand index 1 link	`left_hand_index_1_link.STL`
连杆 - left hand middle 0 link	`left_hand_middle_0_link.STL`
连杆 - left hand middle 1 link	`left_hand_middle_1_link.STL`
连杆 - left hand palm link	`left_hand_palm_link.STL`
连杆 - left hand thumb 0 link	`left_hand_thumb_0_link.STL`
连杆 - left hand thumb 1 link	`left_hand_thumb_1_link.STL`
连杆 - left hand thumb 2 link	`left_hand_thumb_2_link.STL`
连杆 - left hip pitch link	`left_hip_pitch_link.STL`
连杆 - left hip roll link	`left_hip_roll_link.STL`
连杆 - left hip yaw link	`left_hip_yaw_link.STL`
连杆 - left knee link	`left_knee_link.STL`
手 - left rubber hand	`left_rubber_hand.STL`
连杆 - left shoulder pitch link	`left_shoulder_pitch_link.STL`
连杆 - left shoulder roll link	`left_shoulder_roll_link.STL`
连杆 - left shoulder yaw link	`left_shoulder_yaw_link.STL`
连杆 - left wrist pitch link	`left_wrist_pitch_link.STL`
连杆 - left wrist roll link	`left_wrist_roll_link.STL`
手 - left wrist roll rubber hand	`left_wrist_roll_rubber_hand.STL`
连杆 - left wrist yaw link	`left_wrist_yaw_link.STL`
连杆 - logo link	`logo_link.STL`
pelvis	`pelvis.STL`
连杆 - pelvis contour link	`pelvis_contour_link.STL`
连杆 - right ankle pitch link	`right_ankle_pitch_link.STL`
连杆 - right ankle roll link	`right_ankle_roll_link.STL`
连杆 - right elbow link	`right_elbow_link.STL`
连杆 - right hand index 0 link	`right_hand_index_0_link.STL`
连杆 - right hand index 1 link	`right_hand_index_1_link.STL`
连杆 - right hand middle 0 link	`right_hand_middle_0_link.STL`
连杆 - right hand middle 1 link	`right_hand_middle_1_link.STL`
连杆 - right hand palm link	`right_hand_palm_link.STL`
连杆 - right hand thumb 0 link	`right_hand_thumb_0_link.STL`
连杆 - right hand thumb 1 link	`right_hand_thumb_1_link.STL`
连杆 - right hand thumb 2 link	`right_hand_thumb_2_link.STL`
连杆 - right hip pitch link	`right_hip_pitch_link.STL`
连杆 - right hip roll link	`right_hip_roll_link.STL`
连杆 - right hip yaw link	`right_hip_yaw_link.STL`
连杆 - right knee link	`right_knee_link.STL`
手 - right rubber hand	`right_rubber_hand.STL`
连杆 - right shoulder pitch link	`right_shoulder_pitch_link.STL`
连杆 - right shoulder roll link	`right_shoulder_roll_link.STL`
连杆 - right shoulder yaw link	`right_shoulder_yaw_link.STL`
连杆 - right wrist pitch link	`right_wrist_pitch_link.STL`
连杆 - right wrist roll link	`right_wrist_roll_link.STL`
手 - right wrist roll rubber hand	`right_wrist_roll_rubber_hand.STL`
连杆 - right wrist yaw link	`right_wrist_yaw_link.STL`

能力画像

**记忆与知识检索**：3/5 — 需要理解物理仿真和强化学习相关文献，但框架本身不依赖大规模知识库。

**动手与操作**：4/5 — 需要配置GPU环境、安装Isaac Gym等复杂依赖，并可能涉及3D数据准备。

**编程与算法**：5/5 — 核心涉及强化学习、物理仿真、神经网络训练，需要较强的算法实现能力。

**设计与建模**：3/5 — 需要设计奖励函数和交互策略，但物体和人体模型通常使用现成格式。

**实验与调试**：5/5 — 训练过程需要大量调参、调试物理交互稳定性，实验周期较长。

**协作与分享**：3/5 — 开源项目支持协作，但主要面向研究团队，社区规模尚在增长。

**学习与研究**：5/5 — 前沿研究项目，需要深入理解人-物交互、物理仿真和强化学习理论。

**系统集成**：4/5 — 需要将仿真环境、深度学习框架和数据处理流程整合为完整工作流。

项目图库

所需技能

Python编程（中级以上） PyTorch深度学习框架使用经验强化学习（特别是基于物理仿真的RL）计算机图形学与物理仿真基础 3D数据处理（SMPL模型、网格、点云） Linux系统操作与命令行 CUDA与GPU编程基础论文阅读与复现能力

适用场景

学术研究：人-物交互、物理仿真、角色动画方向的科研项目

游戏开发：为游戏角色生成自然、物理可信的交互动作

虚拟现实：提升VR/AR中虚拟角色与物体的交互真实感

机器人仿真：在仿真环境中训练机器人操作技能

动画制作：辅助生成复杂的全身交互动画

人机交互研究：探索数字人与物理环境的交互机制