機能使用チュートリアル

このページでは、ファームウェア v2.5.2 の上流 README にある「実装済み機能」に沿って、小智にできることをまとめます。実際にできることは、ディスプレイ、カメラ、エコーキャンセルなど開発ボードのハードウェアによって異なるため、お使いのボードのディレクトリにある説明を確認してください。

音声対話

• オフラインのウェイクワード：ESP-SR をベースに、カスタムウェイクワードに対応します。
• 2 種類の対話方式：従来のストリーミング ASR + LLM + TTS と、Realtime のエンドツーエンド音声モデルの両方に対応します。音声は Opus ストリームで送られます。
• 全二重：AEC（エコーキャンセル）を備えたハードウェアでは、リアルタイムの全二重対話ができます。
• 話者認識：3D Speaker をベースに、現在の話者を識別します。
• 通信プロトコル：WebSocket または MQTT + UDP。サーバーが OTA 応答で指定します。詳細は初回起動を参照してください。

表示とフィードバック

• OLED / LCD ディスプレイで表情や豊かな感情表現に対応します。表情と感情を参照してください。
• バッテリー残量の表示と電源管理。
• 一部のハードウェアはカメラによる視覚入力に対応します。
• 上流 README では 38 種類の表示言語が案内されています。音声プロンプトはローカライズされたリソースを優先し、ない場合は英語にフォールバックします。

デバイス制御（MCP）

• デバイス側 MCP：音量、ライト、モーター、GPIO などを制御します。
• クラウド側 MCP：スマートホーム制御、PC デスクトップ操作、ナレッジ検索、メール送受信などでモデルの能力を拡張します。

プロトコルと使い方は MCP ドキュメントを参照してください。

カスタマイズ

ウェイクワード、フォント、表情、チャット背景のカスタマイズは、上流の Assets ジェネレーターを使って Web ページ上で編集できます。

ネットワーク接続

Wi-Fi、有線イーサネット、USB RNDIS、Cat.1 4G に対応し、Wi-Fi はホットスポットまたは BluFi で設定できます。詳細はネットワーク設定説明を参照してください。

出典：78/xiaozhi-esp32 v2.5.2 の README_ja.md「実装済み機能」。