Computer Use AI SDK

计算机操作 AI SDK

• 我们构建了一个控制计算机的 MCP 服务

• 你听说过 OpenAI 的 operator，你听说过 Claude 的计算机操作。现在是开源替代方案：来自 screenpipe 的计算机操作 SDK。

• 原生支持 macOS——没有虚拟机麻烦，没有护栏。使用任何应用或网站，随意操作。

• 没有像素级别的麻烦——它依赖于底层桌面渲染元素，使其比像素级别的视觉模型快得多，可靠性也高得多。

• 你现在可以使用我们的简单 Hello World 模板和 MCP 服务客户端来构建自己的 Agent。

• 我们的 MCP 服务开箱即提供的工具有：

  • 启动应用
  • 读取内容
  • 点击
  • 输入文本
  • 按下按键

• 这些将是计算性基元，允许 AI 控制你的计算机并为你完成任务。你会构建什么？欢迎访问 https://screenpi.pe

演示

Agent 发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新 WhatsApp 消息

打开 Arc 浏览器

快速开始

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm

# run backend server
cd mcp-server-os-level
cargo run --bin server
# keep it running

选项 1：命令行界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-cli-interface
npm install  # install dependencies first

# Set your Anthropic API key as an environment variable
export ANTHROPIC_API_KEY=sk-ant-xxxx  # Replace with your actual Anthropic API key
# For Windows, use: set ANTHROPIC_API_KEY=sk-ant-xxxx
# For permanent setup, add to your shell profile (.bashrc, .zshrc, etc.)

npx tsx main.ts

选项 2：Web 应用界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-nextjs
npm install  # install dependencies first

# Set API key via command line
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # replace XXXXXXXX with your actual key
# Or append if you want to keep other env variables
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# go to provided localhost web page

我可以用它做什么？

• 构建自定义工作流，让 Agent 执行各种操作
• 构建自定义 UI，使用户轻松实现计算机工作自动化
• 保存工作流并在 cron 中运行
• 与其他 MCP 服务组合做一些有趣的事情，例如：根据我全天与人交谈的历史记录填充 Google Sheet

在 GitHub issues 中请求功能和端点

https://github.com/m13v/computer-use-ai-sdk/issues/new/choose