智能R2-D2助手
Smart-R2-D2-Assistant
ESP32
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
开源AI驱动的R2-D2复制品，含3D打印部件、ESP32实时语音交互、Whisper STT。
开源AI驱动的R2-D2复制品，采用3D打印部件，通过ESP32实现实时语音交互，集成Whisper语音识别、Gemini大语言模型和Edge-TTS语音合成。
项目特点
**实时边缘到云通信**：ESP32通过I2S协议采集麦克风的RAW PCM音频数据，并通过HTTP实时传输到本地服务器。
**高精度语音转文字**：使用OpenAI Whisper (Turbo) 模型进行高精度语音识别。
**上下文感知AI对话**：集成Google Gemini API，生成符合R2-D2角色设定的上下文感知对话回复。
**自然语音合成**：利用Edge-TTS基础设施进行流畅自然的语音合成。
**动态OLED面部表情**：使用`RobotFace`库在OLED显示屏上显示基于状态（聆听、思考、说话等）的动态面部动画。
**无线管理与OTA更新**：支持通过WiFiManager进行网络配置，并通过ArduinoOTA进行远程无线代码更新。
技术规格
| 主控制器 | |
|---|---|
| 麦克风 | |
| 音频输出 | |
| 显示屏 | |
| 唤醒传感器 | |
| 电源 | |
| 语音识别 | |
| 大语言模型 | |
| 语音合成 | |
| 服务器框架 | |
| 通信协议 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| ESP32 开发板 (如 DevKit V1) | 1 | — | 项目核心，负责WiFi、I2S音频和OLED动画 |
| INMP441 I2S MEMS麦克风 | 1 | — | 用于清晰拾音 |
| MAX98357A I2S D类功放模块 | 1 | — | 将数字音频转换为声音 |
| 3W扬声器 | 1 | — | 播放语音回复和系统音效 |
| SSD1306 I2C OLED显示屏 | 1 | — | 显示实时面部表情和系统状态 |
| TTP223 电容式触摸传感器 | 1 | — | 作为唤醒触发，开始监听 |
| 18650锂电池 | 1 | — | 高容量可充电锂离子电池，提供主要电源 |
| TP4056 锂电池充电模块 | 1 | — | 带保护电路的锂电池充电器 |
| MT3608 升压转换器 | 1 | — | 将电池电压升压至稳定的5V |
| 3D打印外壳和底盘 | 1套 | — | 从零设计，完全优化用于3D打印 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| 3D打印机 | 打印外壳和内部结构件 | ✅ 是 |
| 焊台 | 焊接电子元件和连接线 | ✅ 是 |
| 螺丝刀套件 | 组装和固定硬件 | ✅ 是 |
| 热熔胶枪 | 固定线和元件 | ▢ 推荐 |
| 万用表 | 测试电路连接和电压 | ▢ 推荐 |
| 计算机 | 运行Flask服务器和Arduino IDE | ✅ 是 |
能力画像
记忆与知识检索
1/5
逻辑推演
3/5
表达与交流
1/5
感知与观察
2/5
数理与计算
3/5
动手与操作
4/5
狂热与坚持
3/5
创造与创新
4/5
项目图库
所需技能
🔧 **动手能力**：需要具备3D打印、电子元件焊接、电路连接和机器人组装的能力。
💻 **编程能力**：需要熟悉Arduino IDE (C++) 和 Python (Flask)，能够配置WiFi、API密钥和修改代码。
⚡ **电子电路**：需要理解I2S、I2C等通信协议，以及电源管理（锂电池、升压模块）的基本知识。
适用场景
**个人机器人项目**：作为学习机器人技术、AI集成和3D打印的综合性实践项目。
**桌面AI助手**：作为一个具有角色扮演功能的、可交互的桌面语音助手。
**创客展示与教育**：在创客空间、科技展览或教育环境中展示边缘计算与AI的结合。
**《星球大战》粉丝项目**：为粉丝提供一个高度还原且功能丰富的R2-D2复制品。