Computer Use AI SDK

Computer Use AI SDK

• コンピュータを制御する MCP サーバーを構築しました。

• OpenAI の operator を聞いたことがありますか、Claude のコンピュータ操作を聞いたことがありますか。今、オープンソースの代替案があります：screenpipe の Computer Use SDK です。

• macOS でネイティブに動作します。仮想マシンのごちゃごちゃもなく、ガードレールもありません。どのアプリやウェブサイトでも好きなように使用できます。

• ピクセルベースのごちゃごちゃはありません。基盤となるデスクトップレンダリング要素に依存しており、ピクセルベースのビジョンモデルよりもはるかに高速で信頼性が高いです。

• これで、シンプルな Hello World テンプレートと MCP サーバーおよびクライアントを使用することで、独自のエージェントの構築を始めることができます。

• MCP サーバーが提供するツールは以下の通りです：

  • アプリを起動する
  • コンテンツを読む
  • クリックする
  • テキストを入力する
  • キーを押す

• これらは AI がコンピュータを制御し、あなたのタスクを実行するための計算プリミティブになります。何を構築しますか？https://screenpi.pe で確認してください。

デモ

メッセージを送信するエージェント

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

最新の WhatsApp メッセージを取得

Arc ブラウザを開く

はじめる

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm

# run backend server
cd mcp-server-os-level
cargo run --bin server
# keep it running

オプション 1：CLI インターフェース

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-cli-interface
npm install  # install dependencies first

# Set your Anthropic API key as an environment variable
export ANTHROPIC_API_KEY=sk-ant-xxxx  # Replace with your actual Anthropic API key
# For Windows, use: set ANTHROPIC_API_KEY=sk-ant-xxxx
# For permanent setup, add to your shell profile (.bashrc, .zshrc, etc.)

npx tsx main.ts

オプション 2：Web アプリインターフェース

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-nextjs
npm install  # install dependencies first

# Set API key via command line
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # replace XXXXXXXX with your actual key
# Or append if you want to keep other env variables
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# go to provided localhost web page

これで何ができますか？

• 様々なアクションを実行するエージェントのカスタムワークフローを構築する
• ユーザーがコンピュータ作業を簡単に自動化できるようにするカスタム UI を構築する
• ワークフローを保存して cron で実行する
• 他の MCP サーバーと組み合わせて素晴らしいことを行う。例えば：一日中話した人の履歴に基づいて Google シートを記入する

GitHub issues でフィーチャーとエンドポイントをリクエストする

https://github.com/m13v/computer-use-ai-sdk/issues/new/choose