Computer Use AI SDK

Name: Computer Use AI SDK
Author: m13v

本地服务

github.com/m13v开发工具19782 周前更新

代码仓库

关于 Computer Use AI SDK

Computer Use AI SDK 是 screenpipe 提供的开源计算机控制 SDK，包含一个控制电脑的 MCP 服务以及配套客户端。它原生运行于 macOS，基于桌面渲染元素而非像素识别进行操作。适合希望构建自动化桌面任务 Agent 的开发者。

主要功能

01原生运行于 macOS，无需虚拟机
02基于桌面元素而非像素识别进行操作
03提供启动应用、读取内容、点击、输入文本、按键等工具
04提供 CLI 与 Next.js 两种客户端界面
05附带 Hello World 模板用于构建自定义 Agent

适用场景

01让 AI 代替用户在桌面应用中执行操作
02构建自定义 Agent 工作流并定时运行
03与其他 MCP 服务组合，例如将聊天记录填入表格

MCP 相关

该项目包含一个 MCP 服务，向 MCP 客户端暴露启动应用、读取内容、点击和按键等桌面控制工具，并附带对应的 MCP 客户端示例。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "MCP-server-client-computer-use-ai-sdk": {
      "command": "npx",
      "args": [
        "-y",
        "tsx"
      ]
    }
  }
}

启动命令npx -y tsx

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmtsxstdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

计算机操作 AI SDK

我们构建了一个控制计算机的 MCP 服务
你听说过 OpenAI 的 operator，你听说过 Claude 的计算机操作。现在是开源替代方案：来自 screenpipe 的计算机操作 SDK。
原生支持 macOS——没有虚拟机麻烦，没有护栏。使用任何应用或网站，随意操作。
没有像素级别的麻烦——它依赖于底层桌面渲染元素，使其比像素级别的视觉模型快得多，可靠性也高得多。
你现在可以使用我们的简单 Hello World 模板和 MCP 服务客户端来构建自己的 Agent。
我们的 MCP 服务开箱即提供的工具有：
- 启动应用
- 读取内容
- 点击
- 输入文本
- 按下按键
这些将是计算性基元，允许 AI 控制你的计算机并为你完成任务。你会构建什么？欢迎访问 https://screenpi.pe

演示

Agent 发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新 WhatsApp 消息

打开 Arc 浏览器

快速开始

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm

# run backend server
cd mcp-server-os-level
cargo run --bin server
# keep it running

选项 1：命令行界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-cli-interface
npm install  # install dependencies first

# Set your Anthropic API key as an environment variable
export ANTHROPIC_API_KEY=sk-ant-xxxx  # Replace with your actual Anthropic API key
# For Windows, use: set ANTHROPIC_API_KEY=sk-ant-xxxx
# For permanent setup, add to your shell profile (.bashrc, .zshrc, etc.)

npx tsx main.ts

选项 2：Web 应用界面

# run CLI interface client in a new terminal  (good for debugging)
cd mcp-client-nextjs
npm install  # install dependencies first

# Set API key via command line
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # replace XXXXXXXX with your actual key
# Or append if you want to keep other env variables
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# go to provided localhost web page