ESP-Brookesia AIoT人机交互开发框架

项目简介

ESP-Brookesia is a human-machine interaction development framework designed for AIoT devices.

ESP-Brookesia 是乐鑫科技推出的一款面向 AIoT 设备的人机交互开发框架，旨在简化 AI 应用开发与集成的复杂度。该框架基于 ESP-IDF 原生构建，采用 C/C++ 语言开发，深度融入乐鑫的开源组件生态，为开发者提供从硬件抽象、系统服务到 AI 智能体的全栈式支持。

项目特点

**原生 ESP-IDF 支持**：使用 C/C++ 开发，深度集成 ESP-IDF 开发生态和 ESP Registry 组件注册表，充分利用乐鑫开源组件生态

**可扩展硬件抽象**：定义统一的硬件接口（音频、显示、触摸、存储等），提供板级适配层，可快速移植到不同硬件平台

**丰富系统服务**：提供开箱即用的系统级服务，包括 Wi-Fi 连接、音频/视频处理，采用 Manager + Helper 架构实现解耦和可扩展性

**多 LLM 后端集成**：内置主流 AI 平台适配器（OpenAI、Coze、小智），提供统一的 Agent 管理和生命周期控制

**MCP 协议支持**：通过 Function Calling / MCP 协议将设备服务能力暴露给大语言模型，实现 LLM 与系统服务的统一通信

**AI 表情能力**：支持通过表情集、动画集等方式实现可视化 AI 表达，为拟人化交互提供丰富的视觉反馈

技术规格

框架类型
基础平台
支持芯片
开发语言
组件架构
硬件接口
系统服务
AI 后端
通信协议
通信模式
计划功能

项目资源

espressif/esp-brookesia esp-brookesia/zh_CN esp-brookesia/en latest/getting_started.html#getting-started-versioning latest/getting_started.html#getting-started-dev-environment latest/getting_started.html#getting-started-hardware latest/getting_started.html#getting-started-component-usage latest/getting_started.html#getting-started-example-projects espressif/brookesia_lib_utils

物料清单 (BOM)

物料名称	数量	参考价格	备注
ESP32 系列开发板（如 ESP32-S3-LCD-EV-Board）	1	—	需支持显示和音频接口
LCD 显示屏（SPI/并行接口）	1	—	根据开发板配置
触摸屏（可选）	1	—	根据开发板配置
麦克风 + 扬声器	1套	—	音频输入输出
microSD 卡（可选）	1	—	文件系统存储
Wi-Fi 天线	1	—	内置或外置

所需工具

工具	用途	是否必需
ESP-IDF 开发环境	编译、烧录、调试 ESP32 固件	✅ 是
C/C++ 编译器（如 GCC）	编译 C/C++ 代码	✅ 是
串口调试工具（如 minicom、PuTTY）	串口通信与调试	✅ 是
Git	版本控制与代码管理	✅ 是
CMake	构建系统	✅ 是
Python 3	ESP-IDF 工具链依赖	✅ 是
逻辑分析仪（可选）	调试硬件接口时序	▢ 推荐
示波器（可选）	调试音频/显示信号	▢ 推荐

能力画像

记忆与知识检索

逻辑推演

表达与交流

感知与观察

数理与计算

动手与操作

狂热与坚持

创造与创新

项目图库

所需技能

🔧 **动手能力**：需要能够搭建和连接 ESP32 开发板、LCD 显示屏、音频模块等硬件，掌握基本的电路连接和调试技能 💻 **编程能力**：需要具备 C/C++ 编程基础，熟悉 ESP-IDF 开发框架，了解组件化开发和 CMake 构建系统 ⚡ **电子电路**：需要了解基本的嵌入式硬件接口（SPI、I2C、I2S、GPIO 等），能够阅读原理图和硬件文档

适用场景

**智能家居控制面板**：开发带触摸屏的智能家居中控设备，集成语音控制和 AI 助手

**AIoT 交互终端**：构建具备 AI 对话能力的物联网终端设备，如智能音箱、桌面机器人

**HMI 人机界面**：开发工业或消费类产品的图形用户界面，支持触摸交互和多媒体播放

**AI 表情机器人**：利用 AI 表情能力开发拟人化交互设备，如情感陪伴机器人

**原型验证与产品开发**：快速验证 AIoT 产品概念，从原型到量产的全流程支持