功能使用教學
本頁依韌體 v2.5.2 上游 README 的「已實現功能」整理小智能做什麼。具體能力因開發板硬體而異(螢幕、攝影機、回音消除等),以所用開發板目錄下的說明為準。
語音對話
- 離線語音喚醒:基於 ESP-SR,支援自訂喚醒詞。
- 兩類對話方案:既支援傳統的串流 ASR + LLM + TTS,也支援 Realtime 端到端語音模型;音訊使用 Opus 串流傳輸。
- 全雙工:具備 AEC(回音消除)的硬體可以實現即時全雙工互動。
- 聲紋識別:基於 3D Speaker,識別目前說話人的身分。
- 通訊協定:WebSocket 或 MQTT + UDP,由伺服器在 OTA 回應中指定,見 首次啟動。
顯示與回饋
- OLED / LCD 顯示螢幕,支援表情和豐富的情緒呈現,見 表情與情緒;
- 電量顯示與電源管理;
- 部分硬體支援攝影機視覺輸入;
- 上游 README 標示提供 38 種介面語言,語音提示優先使用在地化資源,缺失時自動回退到英文。
裝置控制(MCP)
- 裝置端 MCP:控制音量、燈光、馬達、GPIO 等;
- 雲端 MCP:擴展大模型能力,如智慧家居控制、PC 桌面操作、知識搜尋、郵件收發。
協定與用法見 MCP 文件。
個人化
自訂喚醒詞、字型、表情與聊天背景,可以透過網頁線上修改,工具是上游的 Assets 產生器。
連網
支援 Wi‑Fi、有線乙太網路、USB RNDIS 和 Cat.1 4G,Wi‑Fi 可用熱點或 BluFi 配網,詳見 網路設定說明。
來源:78/xiaozhi-esp32 v2.5.2 的 README_zh.md「已實現功能」。