Центр документации XiaoZhi AI чат-бота | 小智AI.Dev

Центр документации XiaoZhi AI чат-бота | 小智AI.Dev

📖 Центр документации XiaoZhi AI

XiaoZhi AI — это голосовой робот с открытым исходным кодом на базе семейства ESP32 (S3, C3, C5, C6, P4 и др.), интегрирующий обнаружение команд пробуждения, AI-диалоги, управление устройствами и многопротокольную связь. Данный центр документации предоставляет полные технические руководства от сборки оборудования до интеграции AI.

Особенности проекта:

  • 🎙️ Обнаружение команд пробуждения: Поддержка 26 команд включая “Привет XiaoZhi”, <200мс ответ
  • 🧠 Диалог: большие языковые модели подключаются на стороне сервера; устройство общается с сервером по WebSocket или MQTT + UDP
  • 🏠 Управление IoT: Интеграция протоколов MQTT, MCP для управления умным домом
  • 🔧 Открытое аппаратное обеспечение: Поддержка платформ ESP32, C3, C5, C6, S3, P4, полное решение с открытым исходным кодом

🚀 Быстрый старт

Руководство для начинающих

🔧 Сборка оборудования
Сборка платы ESP32-S3, схемы подключения и список компонентов
💾 Прошивка микропрограммы
Загрузка предкомпилированной прошивки, инструменты прошивки и руководство по настройке
🌐 Настройка сети
Настройка Wi-Fi, подключение устройства и устранение неполадок сети
🎤 Использование функций
Голосовое взаимодействие, AI-диалоги и функции управления устройствами

📚 Навигация по документации

🛠️ Руководство пользователя

Полные учебники для пользователей

💻 Документация разработчика

Углубленные технические руководства для разработчиков

🔧 Руководство по разработке ESP32

Полный учебник по разработке на платформе ESP32-S3

🤖 Возможности AI-функций

Интеграция AI-технологий и обзор возможностей

  • 🎯 Обработка голоса: Гибридное решение локальное пробуждение + облачное распознавание
  • 🧠 Интеграция LLM: подключается на стороне сервера; устройство не привязано к конкретной модели
  • ⚡ Локальное слово пробуждения: Espressif WakeNet / MultiNet, доступно в зависимости от чипа и PSRAM
  • 🎵 Синтез речи: синтезируется на сервере и передаётся в формате Opus

🛠️ Технические особенности

Аппаратная платформа

  • Основной контроллер: ESP32-S3 двухъядерный 240МГц, 16МБ Flash + 8МБ PSRAM
  • Обработка аудио: Цифровой микрофон INMP441 + цифровой усилитель MAX98357A
  • Вывод дисплея: OLED-дисплей SSD1306 + RGB-индикаторы состояния
  • Сетевая связь: Wi-Fi (поддерживаемые чипы могут автоматически выбирать диапазон 5 ГГц) + 4G Cat.1 связь (опционально)

Архитектура программного обеспечения

  • Фреймворк разработки: ESP-IDF v6.0.1+
  • AI-движок: Espressif Wake Word Engine + облачные LLM
  • Протоколы связи: WebSocket + MQTT + протокол MCP
  • Кодирование аудио: 16кГц PCM + сжатие Opus для передачи

📊 Метрики производительности

Функциональный модульМетрики производительностиПримечания
Обнаружение команд пробуждения<200мс задержка, >99% точностьЛокальная офлайн-обработка
Распознавание речи<1с задержка, >95% точностьТочность распознавания китайского языка
AI-диалог<3с ответ, поддержка 5+ LLMРекомендуется DeepSeek
Управление устройствами<100мс ответ на командуЛокальный + облачный гибрид
Управление питанием5мА ожидание, 150мА работаУмная оптимизация питания

🗂️ Индекс документации

Категория документацииНазвание документаОсновное содержаниеВремя обновления
Руководство пользователяРуководство по сборке оборудованияСборка ESP32-S3, схемы подключения, список компонентов2025-03-19
Руководство пользователяЗагрузка прошивкиПредкомпилированная прошивка, инструменты прошивки, руководство по настройке2025-03-18
Руководство пользователяНастройка сетиНастройка Wi-Fi, устранение неполадок, расширенные настройки2025-03-18
Руководство пользователяУчебник по функциямГолосовое взаимодействие, управление устройствами, персонализация настроек2025-03-18
Руководство пользователяБюджетная версия ESP32Решение для сборки низкозатратной платы разработки ESP322025-03-18
Руководство пользователяЧасто задаваемые вопросыПроблемы использования, устранение неполадок, техническая поддержка2025-03-18
Руководство пользователяСобственный серверАдрес OTA, серверы сообщества, предупреждение о безопасности2026-10-23
Документация разработчикаЭкосистема: серверы, клиенты и портыСерверы, клиенты и порты сообщества2026-10-23
Документация разработчикаНастройка среды ESP-IDFНастройка среды разработки, установка инструментальной цепочки компиляции2025-03-06
Документация разработчикаПротокол WebSocketСпецификации протокола связи, определения формата сообщений2025-03-06
Документация разработчикаСпецификация протокола MCPПоток взаимодействия Model Context Protocol2025-03-20
Документация разработчикаРуководство по использованию MCPКонкретные применения управления IoT-устройствами2025-03-20
Документация разработчикаПротокол MQTT+UDPГибридная связь канала управления и аудиоканала2025-03-20
Документация разработчикаОтображение эмоций EmojiПротокол выражения эмоционального состояния LLM2025-03-06
Разработка ESP32Поддержка чипов и хранилищеПоддерживаемые чипы, аудиодвижки, таблицы разделов2026-10-23
Разработка ESP32Обзор кода прошивкиСтруктура каталогов, конечный автомат, правила разработки2026-10-23
Разработка ESP32Точки расширенияТипы сетей, слова пробуждения, MCP, ресурсы2026-10-23
Разработка ESP32Устранение неполадокПроблемы сборки, прошивки, аудио и assets2026-10-23
AI-функцииВозможности AIРоли устройства и сервера, слово пробуждения, камера, языки2026-10-23

🔗 Связанные ресурсы

Ресурсы сообщества

  • 📖 Онлайн-документация: https://xiaozhi.dev/docs
  • 💬 Технический блог: https://xiaozhi.dev/blog
  • 🚀 Обновления проекта: Следите за обновлениями репозитория GitHub

Техническая поддержка: