TidyBot tidybot

TidyBot: Personalized Robot Assistance with Large Language Models

TidyBot 是一个结合大型语言模型（LLM）实现个性化机器人辅助的开源项目，由普林斯顿大学等机构的研究团队开发，相关论文发表于 IROS 2023 和 Autonomous Robots 期刊。该项目聚焦于家庭环境中的物品整理任务，核心目标是让机器人能够通过少量用户交互示例，快速学习并泛化个人的收纳偏好——例如有人喜欢把衬衫放抽屉，有人则偏好放在架子上。TidyBot 利用 LLM 的少样本摘要能力，结合语言驱动的规划和视觉感知，从寥寥数次的用户示范中推断出可广泛适用于未来场景的偏好规则。在基准数据集上，该方法对未见过的物品分类准确率达到 91.2%，在真实移动操作平台 TidyBot 上的实际测试中，成功将 85.0% 的物品归位。技术栈方面，项目代码分为服务器端（运行 GPU 工作站）和机器人端（运行移动底盘计算机），服务器负责物体检测（使用 ViLD 环境）和 LLM 推理，机器人端负责底层控制。项目提供了完整的设置指南，支持遥操作和全自动两种模式：遥操作模式下用户可通过点击图像选择路径和操作原语（如抓取、放置、投掷）；全自动模式下系统加载预定义的场景和用户偏好文件，自主完成整理任务。此外，项目还包含 3D 打印零件文件和基准数据集代码。TidyBot 适用于家庭服务机器人、个性化辅助系统等场景，解决了传统机器人难以适应个体差异、需要大量编程或示范数据的痛点，为机器人实现真正个性化、可泛化的物理交互提供了高效解决方案。