ESP-Brookesia AIoT人机交互开发框架
esp-brookesia
嵌入式
3/5
💻 纯软件
已发布
项目简介
ESP-Brookesia is a human-machine interaction development framework designed for AIoT devices.
ESP-Brookesia 是乐鑫科技推出的一款面向 AIoT 设备的人机交互开发框架，旨在简化 AI 应用开发与集成的复杂度。该框架基于 ESP-IDF 原生构建，采用 C/C++ 语言开发，深度融入乐鑫的开源组件生态，为开发者提供从硬件抽象、系统服务到 AI 智能体的全栈式支持。
标签
项目特点
**原生 ESP-IDF 支持**：使用 C/C++ 开发，深度集成 ESP-IDF 开发生态和 ESP Registry 组件注册表，充分利用乐鑫开源组件生态
**可扩展硬件抽象**：定义统一的硬件接口（音频、显示、触摸、存储等），提供板级适配层，可快速移植到不同硬件平台
**丰富系统服务**：提供开箱即用的系统级服务，包括 Wi-Fi 连接、音频/视频处理，采用 Manager + Helper 架构实现解耦和可扩展性
**多 LLM 后端集成**：内置主流 AI 平台适配器（OpenAI、Coze、小智），提供统一的 Agent 管理和生命周期控制
**MCP 协议支持**：通过 Function Calling / MCP 协议将设备服务能力暴露给大语言模型，实现 LLM 与系统服务的统一通信
**AI 表情能力**：支持通过表情集、动画集等方式实现可视化 AI 表达，为拟人化交互提供丰富的视觉反馈
技术规格
| 框架类型 | AIoT 人机交互开发框架 |
|---|---|
| 基础平台 | ESP-IDF |
| 支持芯片 | ESP32 系列（ESP32、ESP32-S、ESP32-C、ESP32-P 等） |
| 开发语言 | C/C++ |
| 组件架构 | 组件化架构，通过 ESP Registry 分发 |
| 硬件接口 | 音频（播放/录制）、显示面板、触摸、状态 LED、存储文件系统 |
| 系统服务 | Wi-Fi、音频、视频、NVS、SNTP、自定义服务 |
| AI 后端 | OpenAI、Coze、小智（XiaoZhi） |
| 通信协议 | Function Calling / MCP 协议 |
| 通信模式 | 本地调用 & TCP RPC |
| 计划功能 | GUI 系统、WebAssembly/Python/Lua 运行时支持 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| ESP32 系列开发板（如 ESP32-S3-LCD-EV-Board） | 1 | — | 需支持显示和音频接口 |
| LCD 显示屏（SPI/并行接口） | 1 | — | 根据开发板配置 |
| 触摸屏（可选） | 1 | — | 根据开发板配置 |
| 麦克风 + 扬声器 | 1套 | — | 音频输入输出 |
| microSD 卡（可选） | 1 | — | 文件系统存储 |
| Wi-Fi 天线 | 1 | — | 内置或外置 |
能力画像
⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 2/5
🔵 数理与计算: 3/5
🔵 动手与操作: 4/5
⚪ 狂热与坚持: 3/5
🔵 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：需要能够搭建和连接 ESP32 开发板、LCD 显示屏、音频模块等硬件，掌握基本的电路连接和调试技能
💻 **编程能力**：需要具备 C/C++ 编程基础，熟悉 ESP-IDF 开发框架，了解组件化开发和 CMake 构建系统
⚡ **电子电路**：需要了解基本的嵌入式硬件接口（SPI、I2C、I2S、GPIO 等），能够阅读原理图和硬件文档
适用场景
**智能家居控制面板**：开发带触摸屏的智能家居中控设备，集成语音控制和 AI 助手
**AIoT 交互终端**：构建具备 AI 对话能力的物联网终端设备，如智能音箱、桌面机器人
**HMI 人机界面**：开发工业或消费类产品的图形用户界面，支持触摸交互和多媒体播放
**AI 表情机器人**：利用 AI 表情能力开发拟人化交互设备，如情感陪伴机器人
**原型验证与产品开发**：快速验证 AIoT 产品概念，从原型到量产的全流程支持