butia_vision butia_vision

四足/人形机器人 3/5 🧩 软硬件结合 已发布
fbotathome 4 Stars 未知 BOM 完整度: 0/5 教程完整度: 0/5

项目简介

ROS包组,用于Butia Bots家用机器人(DoRIS)的计算机视觉处理。


butia_vision 是一个专为家庭服务机器人 DoRIS 设计的计算机视觉开源项目,由巴西 FURG 大学的 BUTIÁBots 团队开发,主要应用于 RoboCup@Home 国际机器人竞赛。该项目基于 ROS Noetic 构建,旨在为家庭机器人提供一套完整的视觉感知能力,使其能够识别物体、识别人脸并跟踪人员移动。

标签

项目特点

基于 ROS Noetic 构建,与机器人系统无缝集成
包含物体识别、人脸识别、人员跟踪三大核心视觉功能
支持 Kinect 深度相机,提供 RGB-D 视觉能力
集成 YOLOv5 和 Mask R-CNN 等先进深度学习模型
提供一键安装脚本,简化部署流程
模块化设计,主包、辅助包和第三方包层次清晰

技术规格

操作系统 Ubuntu 20.04 (ROS Noetic)
框架 ROS Noetic
编程语言 C++, Python
核心依赖 OpenCV, OpenFace, scikit-learn
深度学习框架 darknet_ros (YOLO), mask_rcnn_ros (Mask R-CNN), YOLOv5
硬件支持 Kinect v2 (通过 libfreenect2 和 iai_kinect2)
视觉功能 物体识别、人脸识别、人员跟踪

项目资源

物料清单 (BOM)

物料名称 数量 参考价格 备注
运行 ROS 的计算机 1 建议配备 GPU
Kinect v2 深度相机 1 可选,用于 RGB-D 视觉
Ubuntu 20.04 1 操作系统
ROS Noetic 1 机器人操作系统
OpenCV 1 计算机视觉库
OpenFace 1 人脸识别库
scikit-learn 1 机器学习库
darknet_ros 1 YOLO 目标检测
mask_rcnn_ros 1 Mask R-CNN 实例分割
YOLOv5 1 目标检测框架

能力画像

⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 4/5
⚪ 数理与计算: 4/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 3/5
⚪ 创造与创新: 3/5

所需技能

🔧 **动手能力**:需要搭建和配置 ROS 环境,连接 Kinect 等硬件设备 💻 **编程能力**:需要 C++ 和 Python 编程基础,熟悉 ROS 节点和消息通信机制 ⚡ **电子电路**:无需电子电路知识,但需要了解计算机硬件配置

适用场景

参加 Robocup@Home 家庭服务机器人竞赛
开发家庭服务机器人的视觉感知系统
研究和实现基于 ROS 的计算机视觉流水线
学习如何集成多种视觉算法(物体识别、人脸识别、跟踪)到机器人平台