LIRA: 语言指令机器人助手 language-instructed-robotic-assistant

嵌入式 3/5 🧩 软硬件结合 已发布
AryanMadhavVerma 0 Stars 未知 BOM 完整度: 0/5 教程完整度: 0/5
查看源码

项目简介

开源研究项目，探索NLP、CV与物理交叉领域。

一个探索自然语言处理、计算机视觉和物理硬件交叉领域的开源研究项目。LIRA可以接收自然语言命令、控制硬件、捕捉和分析周围环境并做出相应响应。

项目特点

**自然语言命令处理**：支持"向左看"、"扫描房间"、"你看到了什么？"等自然语言指令
**计算机视觉作为工具**：使用YOLOv8进行目标检测和空间理解，集成到LLM代理架构中
**LLM驱动的决策**：使用语言模型规划和执行物理动作
**多步规划能力**：将复杂命令分解为原子动作序列
**对话记忆**：跨交互保持上下文
**鲁棒错误处理**：从硬件和处理故障中优雅恢复
**模拟硬件模式**：无需物理硬件即可https://raw.githubusercontent.com/AryanMadhavVerma/language-instructed-robotic-assistant/main/docs/README.md | 参数 | 说明 | |------|------|https://raw.githubusercontent.com/AryanMadhahttps://raw.githubusercontent.com/AryanMadhavVerma/language-instructed-robotic-assistant/main/docs/README.md)ucted-robotic-assistanhttps://raw.githubusercontent.com/AryanMadhavVerma/language-instructed-robotic-assistant/main/CONTRIBUTING.md)gent with Tools（命令路由器-工具系统-硬件层-响应生成） | | 视觉系统 | YOLOv8目标检测与分类 | | 硬件平台 | Raspberry Pi 4或更新版本 | | 摄像头 | Raspberry Pi Camera Module（5MP或8MP） | | 舵机 | SG90或类似型号 | | 编程语言 | Python 3 | | 关键依赖 | opencv-python, numpy, RPi.GPIO, picamera2, ultralytics | | 运行模式 | 真实硬件模式 / 模拟模式（Mock Mode） | | API需求 | OpenAI API Key或OpenRouter免费LLM API Key |

项目资源

GitHub仓库 技术文档 贡献指南

物料清单 (BOM)

物料名称 数量 参考价格 备注
Raspberry Pi 4或更新版本 1 — 核心控制器
Raspberry Pi Camera Module（5MP或8MP） 1 — 视觉输入
SG90或类似型号 1 — 控制摄像头旋转
杜邦线 若干 — 连接舵机和树莓派
外部电源（可选） 1 — 为大型舵机供电

能力画像

⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 3/5
⚪ 感知与观察: 4/5
⚪ 数理与计算: 3/5
⚪ 动手与操作: 4/5
⚪ 狂热与坚持: 3/5
⚪ 创造与创新: 4/5

所需技能

🔧 **动手能力**：需要组装树莓派、摄像头和舵机硬件，连接电路和GPIO引脚 💻 **编程能力**：需要Python编程经验，理解LLM API调用、工具代理架构和命令行操作 ⚡ **电子电路**：需要基本电路知识，了解GPIO引脚、舵机控制和电源管理

适用场景

**智能家居辅助**：通过语音或文本命令控制机器人进行环境感知和监控
**机器人研究**：探索LLM与物理机器人系统的集成，研究自然语言驱动的机器人控制
**教育实验**：作为AI和机器人学教学平台，展示LLM代理架构的实际应用
**自动化监控**：自动扫描房间、检测物体并生成环境报告