LeRobot SO-ARM101 机械臂视觉抓取系统 LeRobot_SO101_Visual_Servo

AI视觉、机械臂、智能家居、AI边缘计算 3/5 🧩 软硬件结合 已发布
XWen1024 3 Stars Apache-2.0 BOM 完整度: 0/5 教程完整度: 0/5
查看源码

项目简介

LeRobot SO-ARM101六轴机械臂视觉伺服抓取系统，含YOLO-World开放词汇检测与PySide6 GUI。

LeRobot_SO101_Visual_Servo 是一个面向 SO-ARM101 六轴机械臂的视觉伺服抓取系统，旨在通过摄像头视觉引导机械臂完成对指定物体的自主识别、跟踪与抓取操作。项目核心解决的是传统机械臂抓取中依赖固定坐标或人工示教的痛点，让机械臂能够根据实时视觉反馈动态调整姿态，实现更灵活、智能的抓取。

项目特点

**开放词汇检测**：基于 YOLO-World 模型，支持通过自然语言指定任意抓取目标，无需预训练。
**完整状态机**：从连接、待机、检测、跟踪、逼近到抓取和放置，流程清晰可控。
**视觉伺服控制**：实时计算目标偏差，动态调整机械臂关节，实现精准跟踪与逼近。
**示教录制**：支持手动示教并录制轨迹数据（CSV格式），便于后续分析与模仿学习。
**双系统架构**：包含主系统（YOLO-World + 机械臂）和旧系统（VLM + OpenCV追踪器，不含机械臂）。
**深色https://raw.githubusercontent.com/XWen1024/LeRobot_SO101_Visual_Servo/main/docs/SO-ARM101开源6轴机械臂使用文档.pdf)明 | |------|---https://raw.githubusercontent.com/XWen1024/LeRobot_SO101_Visual_Servo/main/docs/视觉定位Grounding调用文档.md)ower) | | 通信方式 | USB 串口 (默认 COM24) | | 关节数量 | 6 (5个臂关节 + 1个夹爪) | | 关节控制范围 | 归一化 -100 到 +100 | | 视觉模型 | YOLO-World (yolov8s-worldv2.pt) | | 摄像头要求 | USB 摄像头，推荐 1280×720 | | 操作系统 | Windows 10/11 | | Python 版本 | 3.12+ | | 主要依赖 | PySide6, opencv-python, ultralytics, lerobot |

项目资源

GitHub 仓库 SO-ARM101开源6轴机械臂使用文档 视觉定位Grounding调用文档

物料清单 (BOM)

物料名称 数量 参考价格 备注
LeRobot SO-ARM101 (SO-101 Follower) 1 — 六轴机械臂，含夹爪
USB 摄像头 (1280×720) 1 — 推荐分辨率
Windows 10/11 电脑 1 — 运行控制程序
USB 数据线 1 — 连接机械臂

能力画像

⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 3/5
⚪ 数理与计算: 4/5
🔵 动手与操作: 4/5
⚪ 狂热与坚持: 3/5
⚪ 创造与创新: 3/5

所需技能

🔧 **动手能力**：需要组装和调试机械臂硬件，连接串口和摄像头。 💻 **编程能力**：需要 Python 编程基础，理解状态机、多线程和 GUI 开发。 ⚡ **电子电路**：了解串口通信和基本电路知识，能够排查连接问题。

适用场景

机器人抓取研究与原型开发
开放词汇目标检测与抓取实验
机械臂视觉伺服控制教学与演示
示教学习数据采集