Systemprompt Multimodal MCP Client について
Vite と TypeScript で構築された、音声で操作するMCPクライアントです。Google Gemini のマルチモーダル機能と MCP のツール機構を組み合わせています。本プロジェクトは非推奨となり保守されておらず、新規の開発は systemprompt-template と systemprompt-core に移行しています。
主な機能
- 01AIワークフローの音声操作
- 02テキスト、音声、視覚入力の処理
- 03応答のリアルタイム音声合成
- 04MCP を通じた拡張可能なツール機構
- 05カスタムおよび Systemprompt MCP サーバーへの対応
活用シーン
- 01音声による MCP ツールの呼び出し
- 02音声駆動型AIアプリケーションのプロトタイプ作成
- 03ブラウザクライアントを使ったカスタム MCP サーバーの検証
MCP 対応
クライアントはローカルの mcp.config.custom.json からカスタム MCP サーバーを読み込み、Systemprompt API キーを使って Systemprompt MCP サーバーをインストールできます。
詳細
⚠️ 非推奨 — メンテナンスは終了しています
このリポジトリは後継リポジトリに置き換えられました。今後の開発およびサポートはすべて以下で行われます。
- systempromptio/systemprompt-template — まずはこちらをご覧ください。systemprompt.io の AI ガバナンスインフラストラクチャ全体をセルフホスト環境で評価できます。
- systempromptio/systemprompt-core — 基盤となる Rust ライブラリ(MCP、A2A、OAuth 2.1、監査、コンパイル時拡張機能)です。
詳しくは systemprompt.io をご覧ください。
元の README は、歴史的な参照用に以下に保存されています。
Systemprompt マルチモーダル MCP クライアント
Google Gemini と Anthropic MCP(Model Control Protocol)を活用した、最新の音声操作型 AI インターフェースです。自然な音声とマルチモーダル入力を通じて、AI とのやり取りを一新します。
⚠️ 重要なお知らせ:このオープンソースプロジェクトは現在開発中で、早期アクセス段階にあります。現時点では Safari に対応していませんが、Linux、Windows、MacOS の Chrome でテスト済みです。問題が発生した場合は、Discord または GitHub でお知らせください。
このプロジェクトが役に立った場合は、以下をご検討ください。
- ⭐ GitHub でスターを付ける
- 🔄 ほかの人に共有する
- 💬 Discord コミュニティに参加する
🌟 概要
MCP(Model Control Protocol)を通じて音声操作型 AI ワークフローを実現する、最新の Vite + TypeScript アプリケーションです。Google Gemini のマルチモーダル機能と MCP の拡張可能なツールシステムを組み合わせることで、AI システムとのやり取りを一新します。
クライアントは、カスタム(ユーザーが提供および設定)MCP サーバーと Systemprompt MCP サーバーの両方に対応しています。Systemprompt MCP サーバーは、Systemprompt API キー(無料)を使って UX からインストールできます。
カスタム MCP サーバーは事前設定されていないため、カスタム設定ファイルが必要です。
config ディレクトリにローカルファイル mcp.config.custom.json を作成し、MCP サーバーの設定を追加してください。
{
"mcpServers": {
"my-custom-server": {
"id": "my-custom-server",
"env": {
"xxx": "xxx"
},
"command": "node",
"args": [
"/my-custom-server/build/index.js"
]
}
}
}
🎯 Systemprompt MCP を選ぶ理由
以下を組み合わせた、音声を第一とする強力なインターフェースで、AI とのやり取りを変革します。
| 機能 | 説明 |
|---|---|
| 🗣️ マルチモーダル AI | テキスト、音声、視覚入力を自然に理解して処理します |
| 🛠️ MCP(Model Control Protocol) | 堅牢なツールシステムで複雑な AI ワークフローを実行します |
| 🎙️ 音声ファースト設計 | 自然な音声ですべてを操作でき、AI とのやり取りをより直感的にします |
最適な用途:音声操作型 AI アプリケーションを開発する方や、マルチモーダル AI の革新的な活用方法を探している方。
✨ 主な機能
🎙️ 音声とマルチモーダルインテリジェンス
- 自然な音声操作:自然に話しかけて AI ワークフローを操作し、コマンドを実行できます
- マルチモーダルな理解:テキスト、音声、視覚入力を同時に処理します
- リアルタイム音声合成:AI とのやり取りに対する音声応答をすぐに取得できます
🔄 AI ワークフローのオーケストレーション
- 拡張可能なツールシステム:MCP を通じてカスタムツールやワークフローを追加できます
- ワークフローの自動化:音声コマンドで複数の AI 操作を連鎖できます
- 状態管理:複雑な複数ステップの AI インタラクションを堅牢に処理します
💻 開発者エクスペリエンス
- モダンな技術スタック:Vite、React、TypeScript、NextUI で構築されています
- 型安全性:包括的な型定義を備えた、完全な TypeScript サポート
- ホットモジュールリプレースメント:即座にフィードバックを得られる高速な開発環境
- 包括的なテスト:高いカバレッジを備えた、組み込みのテストインフラストラクチャ
🚀 はじめに
前提条件
- Node.js 16.x 以上
- npm 7.x 以上
- Web Speech API をサポートする最新のブラウザー
クイックスタート
-
リポジトリをクローンする
git clone https://github.com/Ejb503/multimodal-mcp-client.git cd multimodal-mcp-client -
依存関係をインストールする
npm install cd proxy npm install -
アプリケーションを設定する
# Navigate to config directory cd config # Create local configuration files cp mcp.config.example.json mcp.config.custom.json必要な API キー:
- Google AI Studio - Gemini API キー
- systemprompt.io/console - Systemprompt API キー
キーを
.envに追加します(参考として.env.exampleをご覧ください)。MCP サーバーとクライアントでキーを共有するには、VITE_プレフィックスが必要です。 -
開発サーバーを起動する
npm run devhttp://localhost:5173で開発サーバーにアクセスできます
🤝 サポートとコミュニティ
| リソース | リンク |
|---|---|
| 💬 Discord | コミュニティに参加する |
| 🐛 Issues | GitHub の Issue |
| 📚 Docs | ドキュメント |
📄 ライセンス
このプロジェクトは MIT License のもとでライセンスされています。詳細は LICENSE ファイルをご覧ください。
🔮 今後の開発
Systemprompt MCP Client の機能を拡張するため、魅力的な新機能や拡張機能の開発に積極的に取り組んでいます。今後の更新にご期待ください!
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。
