功能使用教學

本頁依韌體 v2.5.2 上游 README 的「已實現功能」整理小智能做什麼。具體能力因開發板硬體而異(螢幕、攝影機、回音消除等),以所用開發板目錄下的說明為準。

語音對話

  • 離線語音喚醒:基於 ESP-SR,支援自訂喚醒詞。
  • 兩類對話方案:既支援傳統的串流 ASR + LLM + TTS,也支援 Realtime 端到端語音模型;音訊使用 Opus 串流傳輸。
  • 全雙工:具備 AEC(回音消除)的硬體可以實現即時全雙工互動。
  • 聲紋識別:基於 3D Speaker,識別目前說話人的身分。
  • 通訊協定:WebSocket 或 MQTT + UDP,由伺服器在 OTA 回應中指定,見 首次啟動。

顯示與回饋

  • OLED / LCD 顯示螢幕,支援表情和豐富的情緒呈現,見 表情與情緒;
  • 電量顯示與電源管理;
  • 部分硬體支援攝影機視覺輸入;
  • 上游 README 標示提供 38 種介面語言,語音提示優先使用在地化資源,缺失時自動回退到英文。

裝置控制(MCP)

  • 裝置端 MCP:控制音量、燈光、馬達、GPIO 等;
  • 雲端 MCP:擴展大模型能力,如智慧家居控制、PC 桌面操作、知識搜尋、郵件收發。

協定與用法見 MCP 文件。

個人化

自訂喚醒詞、字型、表情與聊天背景,可以透過網頁線上修改,工具是上游的 Assets 產生器。

連網

支援 Wi‑Fi、有線乙太網路、USB RNDIS 和 Cat.1 4G,Wi‑Fi 可用熱點或 BluFi 配網,詳見 網路設定說明。

來源:78/xiaozhi-esp32 v2.5.2 的 README_zh.md「已實現功能」。