小智 AI 聊天机器人文档中心 | 小智AI.Dev
小智 AI 聊天机器人文档中心 | 小智AI.Dev
📖 小智AI文档中心
小智AI 是一款基于ESP32系列芯片(S3、C3、C5、C6、P4 等)开发的开源智能语音机器人,集成语音唤醒、AI对话、设备控制和多协议通信功能。本文档中心提供从硬件搭建到AI集成的完整技术指南。
项目特色:
- 🎙️ 语音唤醒: 支持"你好小智"等26种唤醒词,<200ms响应
- 🧠 对话能力: 大模型由服务端对接,设备通过 WebSocket 或 MQTT + UDP 与服务器通信
- 🏠 IoT控制: 集成MQTT、MCP协议,支持智能家居控制
- 🔧 开源硬件: 覆盖 ESP32、C3、C5、C6、S3、P4 等芯片平台,完整开源方案
🚀 快速开始
新手入门路径
📚 文档导航
🛠️ 使用指南
面向用户的完整使用教程
- 硬件搭建指南 - ESP32-S3硬件组装与接线方案
- 固件下载与烧录 - 预编译固件获取和安装
- 网络配置说明 - Wi-Fi配网和网络故障排除
- 自建服务端 - 让设备连接你自己的服务器
- 功能使用教程 - 语音交互和智能控制功能
- ESP32丐版方案 - 低成本ESP32硬件方案
- 常见问题解答 - 使用过程中的问题和解决方案
💻 开发文档
面向开发者的技术深度指南
- ESP-IDF开发环境搭建 - 开发环境配置和编译指南
- WebSocket通信协议 - 设备与服务器通信协议
- MCP协议开发 - Model Context Protocol物联网控制
- MQTT+UDP混合协议 - 控制和音频的混合通信
- Emoji情感显示 - 大模型情感状态表达协议
- 自定义开发板指南 - 新增开发板与 scripts/build.py 编译打包
- 生态项目 - 社区服务端、客户端与移植方案
- 动态文字 Glyph Push 扩展 - 服务器下发本地字库缺失的字形
- 异步语音通知 - notify 消息与 Ogg Opus 流式播放
🔧 ESP32开发指南
ESP32-S3平台完整开发教程
- 芯片支持与存储规格 - 支持的芯片、音频引擎与分区表
- 固件代码导览 - 目录结构、状态机与开发规则
- 进阶扩展点 - 网络形态、唤醒词、MCP 与资源定制
- 问题排查 - 编译、烧录、音频与 assets 问题
🤖 AI功能特性
AI技术集成和能力介绍
- 🎯 语音处理: 本地唤醒 + 云端识别的混合方案
- 🧠 大模型接入: 由服务端对接,设备端不绑定具体模型
- ⚡ 本机唤醒: 乐鑫 WakeNet / MultiNet,按芯片与 PSRAM 条件提供
- 🎵 语音合成: 由服务端合成并以 Opus 音频下发
🛠️ 技术特色
硬件平台
- 主控芯片: ESP32-S3双核240MHz,16MB Flash + 8MB PSRAM
- 音频处理: INMP441数字麦克风 + MAX98357A数字功放
- 显示输出: SSD1306 OLED显示屏 + RGB状态灯
- 网络通信: Wi-Fi(支持的芯片可自动选择 5 GHz 频段)+ 4G Cat.1 通信(可选)
软件架构
- 开发框架: ESP-IDF v6.0.1+
- AI引擎: 乐鑫Wake Word Engine + 云端大模型
- 通信协议: WebSocket + MQTT + MCP Protocol
- 音频编码: 16kHz PCM + Opus压缩传输
📊 性能指标
| 功能模块 | 性能指标 | 备注 |
|---|---|---|
| 语音唤醒 | <200ms延迟,>99%准确率 | 本地离线处理 |
| 语音识别 | <1s延迟,>95%准确率 | 中文识别精度 |
| AI对话 | <3s响应,支持5+大模型 | DeepSeek推荐 |
| 设备控制 | <100ms指令响应 | 本地+云端混合 |
| 功耗管理 | 5mA待机,150mA工作 | 智能功耗优化 |
🗂️ 文档索引
| 文档分类 | 文档名称 | 主要内容 | 更新时间 |
|---|---|---|---|
| 使用指南 | 硬件搭建指南 | ESP32-S3组装、接线图解、元件清单 | 2025-03-19 |
| 使用指南 | 固件下载 | 预编译固件、烧录工具、配置指南 | 2025-03-18 |
| 使用指南 | 网络配置 | Wi-Fi配网、故障排除、高级设置 | 2025-03-18 |
| 使用指南 | 功能教程 | 语音交互、设备控制、个性化设置 | 2025-03-18 |
| 使用指南 | ESP32丐版方案 | 低成本ESP32开发板构建方案 | 2025-03-18 |
| 使用指南 | 常见问题FAQ | 使用问题、故障排除、技术支持 | 2025-03-18 |
| 使用指南 | 自建服务端 | OTA 地址、社区服务端、安全警示 | 2026-10-23 |
| 开发指南 | 生态项目 | 社区服务端、客户端与移植方案 | 2026-10-23 |
| 开发文档 | ESP-IDF环境搭建 | 开发环境配置、编译工具链安装 | 2025-03-06 |
| 开发文档 | WebSocket协议 | 通信协议规范、消息格式定义 | 2025-03-06 |
| 开发文档 | MCP协议规范 | Model Context Protocol交互流程 | 2025-03-20 |
| 开发文档 | MCP使用指南 | 物联网设备控制的具体应用 | 2025-03-20 |
| 开发文档 | MQTT+UDP协议 | 控制通道与音频通道混合通信 | 2025-03-20 |
| 开发文档 | Emoji情感显示 | 大模型情感状态表达协议 | 2025-03-06 |
| ESP32开发 | 芯片与存储规格 | 支持的芯片、音频引擎、分区表 | 2026-10-23 |
| ESP32开发 | 固件代码导览 | 目录结构、状态机、开发规则 | 2026-10-23 |
| ESP32开发 | 进阶扩展点 | 网络形态、唤醒词、MCP、资源定制 | 2026-10-23 |
| ESP32开发 | 问题排查 | 编译、烧录、音频与 assets 问题 | 2026-10-23 |
| AI特性 | AI 能力与分工 | 设备端与服务端分工、唤醒词、摄像头、多语言 | 2026-10-23 |
🔗 相关资源
社区资源
- 📖 在线文档: https://xiaozhi.dev/docs
- 💬 技术博客: https://xiaozhi.dev/blog
- 🚀 项目动态: 关注GitHub仓库更新
技术支持:
- 📧 联系邮箱: [email protected]
- 📖 在线文档: https://xiaozhi.dev/docs 、