Руководство по использованию функций

На этой странице собраны возможности XiaoZhi по списку «Features Implemented» из upstream README для прошивки v2.5.2. Конкретные возможности зависят от аппаратной части платы (дисплей, камера, эхоподавление и т. д.), поэтому смотрите описание в папке вашей платы.

Голосовой диалог

• Офлайн wake word: на основе ESP-SR, поддерживаются собственные wake word.
• Два подхода к диалогу: классическая цепочка потоковых ASR + LLM + TTS или сквозная Realtime-модель речи. Звук передаётся потоком Opus.
• Полный дуплекс: оборудование с AEC (эхоподавлением) позволяет вести диалог в режиме полного дуплекса в реальном времени.
• Распознавание говорящего: на основе 3D Speaker, определяет текущего говорящего.
• Протоколы: WebSocket или MQTT + UDP; сервер выбирает один из них в ответе OTA, см. первый запуск.

Дисплей и обратная связь

• OLED / LCD-дисплеи с выражениями и богатой передачей эмоций; см. отображение эмоций.
• Индикация заряда и управление питанием.
• Часть оборудования поддерживает визуальный ввод с камеры.
• Upstream README указывает 38 языков интерфейса. Голосовые подсказки сначала используют локализованные ресурсы, а при их отсутствии переключаются на английский.

Управление устройствами (MCP)

• MCP на устройстве: управление громкостью, подсветкой, моторами, GPIO и другим.
• Облачный MCP: расширение возможностей модели — управление умным домом, работа с рабочим столом ПК, поиск знаний, почта и т. д.

Протокол и примеры использования — в документации MCP.

Персонализация

Свои wake word, шрифты, эмоции и фоны чата можно менять на веб-странице с помощью upstream-инструмента Assets generator.

Подключение к сети

Поддерживаются Wi-Fi, проводной Ethernet, USB RNDIS и Cat.1 4G; Wi-Fi настраивается через точку доступа или BluFi. Подробнее — в инструкции по настройке сети.

Источник: раздел «Features Implemented» файла README.md в 78/xiaozhi-esp32 v2.5.2.