LIRA: 语言指令机器人助手
language-instructed-robotic-assistant
嵌入式
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
开源研究项目，探索NLP、CV与物理交叉领域。
一个探索自然语言处理、计算机视觉和物理硬件交叉领域的开源研究项目。LIRA可以接收自然语言命令、控制硬件、捕捉和分析周围环境并做出相应响应。
项目特点
**自然语言命令处理**：支持"向左看"、"扫描房间"、"你看到了什么？"等自然语言指令
**计算机视觉作为工具**：使用YOLOv8进行目标检测和空间理解，集成到LLM代理架构中
**LLM驱动的决策**：使用语言模型规划和执行物理动作
**多步规划能力**：将复杂命令分解为原子动作序列
**对话记忆**：跨交互保持上下文
**鲁棒错误处理**：从硬件和处理故障中优雅恢复
**模拟硬件模式**：无需物理硬件即可开发和测试
技术规格
| 核心架构 | |
|---|---|
| 视觉系统 | |
| 硬件平台 | |
| 摄像头 | |
| 舵机 | |
| 编程语言 | |
| 关键依赖 | |
| 运行模式 | |
| API需求 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Raspberry Pi 4或更新版本 | 1 | — | 核心控制器 |
| Raspberry Pi Camera Module（5MP或8MP） | 1 | — | 视觉输入 |
| SG90或类似型号 | 1 | — | 控制摄像头旋转 |
| 杜邦线 | 若干 | — | 连接舵机和树莓派 |
| 外部电源（可选） | 1 | — | 为大型舵机供电 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| 计算机 | 开发环境和代码编写 | ✅ 是 |
| 焊台 | 焊接电子元件（如需） | ▢ 推荐 |
| 螺丝刀 | 安装摄像头和舵机 | ✅ 是 |
| 3D打印机 | 打印外壳和支架（可选） | ▢ 推荐 |
能力画像
记忆与知识检索
逻辑推演
表达与交流
感知与观察
数理与计算
动手与操作
狂热与坚持
创造与创新
所需技能
🔧 **动手能力**：需要组装树莓派、摄像头和舵机硬件，连接电路和GPIO引脚
💻 **编程能力**：需要Python编程经验，理解LLM API调用、工具代理架构和命令行操作
⚡ **电子电路**：需要基本电路知识，了解GPIO引脚、舵机控制和电源管理
适用场景
**智能家居辅助**：通过语音或文本命令控制机器人进行环境感知和监控
**机器人研究**：探索LLM与物理机器人系统的集成，研究自然语言驱动的机器人控制
**教育实验**：作为AI和机器人学教学平台，展示LLM代理架构的实际应用
**自动化监控**：自动扫描房间、检测物体并生成环境报告