Smart Pet with MCP

MCP 搭載スマートペット

MCP（Model Context Protocol）プロトコルに基づくスマートなペットコンパニオンアプリです。音声認識と自然言語処理技術を通じて、ペットの飼い主にリアルタイムの対話とサービスを提供します。このアプリは MCP クライアントアプリであり、MCP サーバーを自由に組み合わせて、ニーズを実現できます。

テストに使用する MCP サーバーのオープンソースリポジトリ：https://github.com/shijianzhong/mcp-server-for-pc この MCP サーバーは主に、ブラウザーやアプリ、ファイルを開く、音楽を再生する、メールを送信するなど、個人用 PC の操作に使用します。

プロジェクトの特徴

• 🎯 スマートな対話：音声認識と自然言語処理によるスマートな会話を実現します
• 🎨 美しいインターフェース：Vue3 + Electron で構築したモダンなインターフェースです
• 🔄 リアルタイム応答：MCP プロトコルに基づき、すばやく応答します
• 🐱 ペットとのふれあい：仮想ペットとの対話を楽しめます
• 🌐 マルチプラットフォーム対応：Windows、macOS、Linux に対応しています

技術スタック

• フロントエンドフレームワーク：Vue 3 + Electron
• 音声認識：FunASR
• プロトコル対応：MCP (Model Context Protocol)
• UI レンダリング：Pixi.js
• データベース：Better-SQLite3
• AI モデル：Anthropic、OpenAI などの LLM に対応しています

機能

コア機能

• 🎤 音声認識：マイクでユーザーの音声を取り込み、テキストに変換します
• 🤖 自然言語処理：音声認識で得たテキストを、MCP プロトコル形式の指示に変換します
• 💬 スマートな会話：仮想ペットと自然言語で会話できます
• 🎮 インタラクティブ操作：音声やクリックなど、さまざまな方法で操作できます

特別な機能

• 🎭 仮想キャラクター：Live2D の仮想キャラクターを表示できます
• 🌡️ 環境認識：天気や環境情報を表示できます
• 🔄 リアルタイム更新：アプリの自動更新に対応しています
• ⚙️ 設定管理：MCP サーバーの設定を管理できます

システムアーキテクチャ

┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│                 │     │                 │     │                 │
│  Smart Pet App  │────▶│    MCP Client   │────▶│    MCP Server   │
│  (Electron)     │     │                 │     │                 │
│                 │     │                 │     │                 │
└─────────────────┘     └─────────────────┘     └─────────────────┘
        │                       │                       │
        │                       │                       │
        ▼                       ▼                       ▼
┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│                 │     │                 │     │                 │
│  FunASR Engine  │     │  AI Models      │     │  File System    │
│                 │     │                 │     │                 │
└─────────────────┘     └─────────────────┘     └─────────────────┘

クイックスタート

動作環境

• Node.js >= 16
• pnpm >= 7
• Docker (FunASR の実行に使用)

インストール手順

1. プロジェクトをクローンする

git clone https://github.com/yourusername/smart-pet-with-mcp.git
cd smart-pet-with-mcp

2. 依存関係をインストールする

pnpm install

3. 開発環境を起動する

pnpm start

アプリのビルド

# Windows
pnpm build:win

# macOS
pnpm build:mac

# Linux
pnpm build:linux

FunASR の設定

Docker コンテナを起動する

sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.12
mkdir -p ./funasr-runtime-resources/models
sudo docker run -p 10096:10095 -it --privileged=true \
  -v $PWD/funasr-runtime-resources/models:/workspace/models \
  registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.12

FunASR サービスを起動する

cd FunASR/runtime
nohup bash run_server_2pass.sh \
  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx \
  --online-model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-online-onnx \
  --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
  --punc-dir damo/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx \
  --lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst \
  --itn-dir thuduj12/fst_itn_zh \
  --certfile 0 \
  --hotword ../../hotwords.txt > log.txt 2>&1 &

コントリビューションガイド

プロジェクトの改善に役立つ Issue や Pull Request を歓迎します。提出前に、以下をご確認ください。

1. コードがプロジェクトのコーディング規約に準拠していること
2. コミットメッセージが明確であること
3. 新機能がテストでカバーされていること

オンラインデモ

• 動画デモ
• YouTube
• Bilibili
• Douyin

プロジェクトのスクリーンショット

お問い合わせ・サポート

お問い合わせ先

• メール：[email protected]
• QQ グループ：994129509

交流グループ

プロジェクトを支援する

謝辞

以下の支援者の皆様に感謝します。

• 紅薯隊長 ¥5
• 陸涛 ¥10
• 大喵哥 ¥50
• 蔡従洋Tom ¥1
• 簡文斌 ¥5
• 加油，支持 ¥5
• Tanix ¥5
• 朱松嶺 ¥5
• Victor ¥5
• kelly ¥1