language

👉简体中文

👉Japanese

Intro

为您的开发板提供完整的AI对话解决方案，包括但不限于针对ESP32系列开发板的IAT(ASR)+LLM+TTS一体化方案。它以依赖库的形式注入项目中，不会影响现有项目。

在开发机器人对话功能时，您只需准备好IAT(ASR)、LLM和TTS服务，剩下的就交给ESP-AI吧。

该项目的服务器端代码基于Node.js，硬件代码则基于Arduino/IDF。

开源不易，请点击右上角的Star按钮以示支持~

🖥 Website

• 中文网站
• English

🖥 open platform

一个基于ESP-AI的平台，为企业和个人提供终端服务与管理服务。访问开放平台。 该平台提供免费的ASR（自动语音识别）、TTS（文本转语音）和LLM（大型语言模型）服务。您只需一段15秒的音频，即可在此平台上克隆出属于自己的专属声音。

✨ Features

• ✔️ 可自定义离线唤醒词，并内置多种唤醒方式（语音、按键、串口、天问ASRPro）
• ✔️ 完整的对话链：IAT (ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ 针对TTS/LLM的快速响应算法，旨在平衡服务成本的同时提供最快的响应速度
• ✔️ 支持对话打断
• ✔️ 能够识别用户指令（家电控制、唱歌等），并根据上下文动态响应
• ✔️ 可配置性
• ✔️ 基于插件架构，可通过插件集成任何LLM/TTS/IAT服务
• ✔️ 服务与客户端之间为一对多关系，每个客户端（硬件）可独立配置
• ✔️ 连接支持认证
• ✔️ 全链路流式数据交互
• ✔️ 开发者平台提供免费服务、可视化配置等功能
• ✔️ 提供客户端配置网页
• ✔️ 轻松应对高并发场景（需使用Nginx进行负载均衡）
• ✔️ 即装即用
• ✔️ 支持 esp32s3/esp32c3
• ✔️ 支持 OPEN API

🧐 Next Steps

• 🤔 提升内置离线唤醒的准确性（目前推荐使用天问ASRPro）
• 🤔 在线唤醒词生成

📦 Install

Server

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Client

在发布页面下载依赖库并烧录到开发板上，详情请见：客户端安装

🔨 仅需几行代码，即可为您的机器人注入灵魂

以下是在仅需对话功能的情况下，您需要编写的Node.js和Arduino代码。

🏪 Discussion Group

QQ 交流群1: 854445223

QQ 交流群2: 952051286

🎥 Case Study Video

【生活不易，Doro卖艺！】 https://www.bilibili.com/video/BV1uvbKzREYP/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【一键制作你的AI动图桌宠（在线免费制作）】 https://www.bilibili.com/video/BV1xut4zuEf8/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【ESP-AI 玩偶方案板】 https://www.bilibili.com/video/BV1YTbDzQEk8/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【强噪音下对话和tft屏(ESP-AI新版预)】 https://www.bilibili.com/video/BV1KD7KzsEoc/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

🤝 贡献

让我们一起构建更优秀的 esp-ai。

我们热烈欢迎所有人的贡献。请随时通过 Pull Requests 或 GitHub Issues 分享您的想法。

🌍 星标地理分布

引用

如果本项目对您的研究有所帮助，请引用我们：

@software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub仓库},
    publisher    = {GitHub},
    howpublished = {\url{https://github.com/wangzongming/esp-ai}}
}

ESP-AI 快速上手指南

ESP-AI 是为 ESP32 系列开发板提供完整 AI 对话解决方案的开源项目，支持 IAT(语音识别) + LLM(大语言模型) + TTS(语音合成) 的全链路集成。只需几行代码，即可让硬件具备智能对话能力。

1. 环境准备

系统要求

• 服务器端：支持 Docker 的 Linux/macOS/Windows 系统
• 客户端（硬件）：
  • 开发板：ESP32-S3 或 ESP32-C3
  • 开发环境：Arduino IDE 或 ESP-IDF
  • 外设：麦克风模块、扬声器模块（可选配 TFT 屏幕）

前置依赖

• 服务器端：已安装 Docker 和 Docker Compose
• 客户端：
  • 安装 Arduino IDE 并配置 ESP32 开发板支持
  • 或安装 ESP-IDF 开发框架
• 账号准备：建议访问 ESP-AI 开放平台 获取免费的 ASR、TTS 和 LLM 服务密钥（支持自定义音色克隆）

2. 安装步骤

步骤一：部署服务器端

使用 Docker 一键启动 ESP-AI 服务端（已包含国内镜像加速）：

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

说明：该命令将容器端口 8088 映射到主机，并挂载配置文件。确保主机防火墙已放行 8088 端口。

步骤二：烧录客户端固件

1. 访问 ESP-AI 发布页 下载最新版本的客户端固件包。
2. 根据硬件型号选择对应的固件文件（如带屏幕版或基础版）。
3. 使用烧录工具（如 ESP32 Download Tool 或 Arduino IDE）将固件烧录至开发板。
4. 详细烧录教程请参考：客户端安装文档

3. 基本使用

配置连接

烧录完成后，开发板会自动尝试连接服务器。你需要通过网页配置客户端参数：

1. 浏览器访问服务器地址：http://<你的服务器IP>:8088
2. 在管理页面中添加新设备，获取 Device ID 和 Token。
3. 将获取的配置信息填入开发板（可通过串口输入或在代码中预设）。

代码注入示例

如果你需要自定义开发而非直接使用固件，仅需在项目中引入 ESP-AI 依赖并编写少量代码。

Node.js 服务端插件示例（用于自定义逻辑）：

// 伪代码示例，具体请参考官方文档
const espAi = require('esp-ai');
espAi.init({
  deviceId: 'your_device_id',
  token: 'your_token',
  serverUrl: 'ws://localhost:8088'
});

Arduino 客户端核心逻辑： 在 Arduino 工程中引入库文件后，初始化对话流程：

#include <EspAI.h>

void setup() {
  Serial.begin(115200);
  // 初始化 WiFi 和音频接口
  EspAI.begin("WiFi_SSID", "WiFi_PASSWORD");
  // 设置唤醒方式（语音/按键/串口）
  EspAI.setWakeMode(WAKE_MODE_VOICE); 
}

void loop() {
  EspAI.run(); // 主循环处理对话流
}

开始对话

• 唤醒：说出自定义唤醒词（或使用按键/串口触发）。
• 交互：对着麦克风说话，系统将自动完成“语音转文字 -> AI 思考 -> 文字转语音”的全过程。
• 控制：可直接发送指令控制家电或播放音乐（需在服务端配置意图识别）。

提示：更多高级功能（如断点续聊、多角色配置、RAG 知识库）请访问 中文文档 或加入 QQ 交流群（854445223 / 952051286）获取支持。