亚太大学生机器人大赛2024赛季视觉代码
ABU-Robocon-2024
比赛/竞技
1/5
🧩 软硬件结合
已发布
项目简介
SPR Robotics的RC部门开发的RC2024赛季Vision Group代码。
ABU-Robocon-2024 是中国石油大学（北京）SPR 机器人协会 Robocon 分队下 CV 算法组为 2024 年全国大学生机器人大赛（ROBOCON）开发的完整技术方案。该项目旨在解决全自主机器人在复杂竞赛场景中的视觉感知与智能决策问题，核心任务是让机器人能够自主识别并拾取特定颜色的球，然后策略性地将球放入五个框架中，每个框架最多可容纳三球。比赛的获胜条件是任意三个框架同时满足：框架被填满、其中至少两球为己方颜色、且最顶部的球也属于己方颜色。
项目特点
**全自主机器人视觉系统**：集成多摄像头（Orbbec深度相机和MindVision工业相机）进行环境感知。
**YOLOv5 + OpenVINO加速推理**：使用YOLOv5进行球体检测，并通过Intel OpenVINO工具包进行推理加速，提高实时性。
**强化学习决策模块**：基于时序差分（TD）学习实现策略决策，用于球体的放置策略，以最大化获胜概率。
**模块化项目结构**：代码组织清晰，包含相机配置、模型文件、工具库、决策策略等独立模块，便于开发和调试。
**完善的文档与支持**：提供详细的硬件环境规格、使用说明和依赖安装指南。
技术规格
| 相机 | 2x Orbbec Astra Pro (深度相机), 2x MindVision (工业相机) |
|---|---|
| 转换器 | USB转RS485 |
| Python版本 | 3.9.x |
| 操作系统 | Ubuntu 22.04 |
| 目标检测框架 | YOLOv5 (OpenVINO加速) |
| 决策算法 | 基于TD学习的强化学习 |
| 模型文件 | 包含大于100MB的状态文件 (`all_states.pickle`)，需Git LFS |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Orbbec Astra Pro 深度相机 | 2 | — | 用于环境感知和深度信息 |
| MindVision 工业相机 | 2 | — | 用于高精度视觉检测 |
| USB转RS485模块 | 1 | — | 用于与机器人底层通信 |
| 高性能计算机/工控机 | 1 | — | 运行Ubuntu 22.04和Python 3.9 |
| 全自主机器人底盘及机械臂 | 1 | — | 比赛用机器人本体 |
能力画像
⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 4/5
⚪ 数理与计算: 4/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 4/5
⚪ 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：需要搭建和调试多摄像头系统、连接USB转RS485转换器、配置机器人硬件平台。
💻 **编程能力**：需要熟悉Python 3.9、YOLOv5目标检测、OpenVINO推理加速、强化学习（TD学习）以及Linux环境（Ubuntu 22.04）下的开发与调试。
⚡ **电子电路**：需要了解相机与计算平台的连接（USB、RS485通信），以及基本的硬件接口调试。
适用场景
**大学生机器人竞赛**：适用于参加亚太大学生机器人大赛（ROBOCON）或其他类似自主机器人竞赛的团队。
**机器人视觉与决策研究**：可作为研究多传感器融合、实时目标检测、强化学习在机器人决策中应用的参考项目。
**自动化分拣系统**：其视觉识别和策略放置逻辑可借鉴于工业自动化中的物料分拣和放置任务。