EXTRA - Native Computer Use

---

Extra とは何か、なぜ存在するのか？

Extra は、yantraOS が開発したオープンソースの Computer Use プロトコルおよび Model Context Protocol（MCP）サーバーです。LLM（ChatGPT、Claude、Cursor、Gemini など）を、Linux、macOS、Windows 上の物理的なデスクトップ OS に直接接続します。Extra は、脆弱な画面認識のみのスクリーンショットループを、OS ネイティブのアクセシビリティツリーと 3 ミリ秒未満の GPU フレームストリーミングに置き換え、ピクセル単位で正確なクリック、即時の入力、最大 225 倍のトークンコスト削減を実現します。

現在の AI アシスタントは、優れたエッセイやコードを作成できますが、チャットウィンドウの中に閉じ込められています。ボタンをクリックしたり、アプリを開いたり、ファイルを整理したり、スプレッドシートにデータを入力したりする必要がある場合、AI アシスタントにできるのはテキストで指示を返すことだけです。

Extra は Linux、macOS、Windows 上で AI に手と目を与えます。

高速な画面認識、ピクセル単位で正確なクリック、即時の入力機能を使って、Claude、Google Antigravity、Cursor、AGY など、あらゆる自律型エージェントをデスクトップに直接接続します。

• 扱いにくいブラウザー拡張機能は不要です。
• 画面を監視する高価なクラウドサーバーは不要です。
• 100％オープンソースで、ローカルに動作し、プライバシーを守ります。

---

Extra を使って AI アシスタントに何ができるのか？

Extra を起動すれば、デスクに座っている人間のアシスタントに話しかけるように、AI に依頼できます。

• 📊 スプレッドシートとデータ： 「Excel または LibreOffice Calc を開いて、ダウンロードフォルダーにある請求書 CSV の売上合計を計算し、集計グラフを作成して。」
• 🗂️ デスクトップとファイルの整理： 「散らかったデスクトップを整理して。スクリーンショットはピクチャに、PDF はドキュメントに移動して、空のフォルダーは削除して。」
• 🌐 ウェブでの調査とデータ入力： 「Chrome または Firefox を開いて、800 ドル以下の東京行きの航空券を上位 5 件探し、便名と日付をテキストメモにコピーして。」
• ⚙️ システム管理： 「設定またはターミナルを開いて、システムの更新を確認し、サービスの稼働状況を確認して。」
• 🎵 アプリの操作： 「Spotify または VLC を起動して、ローファイの集中用ビートを検索し、再生して。」

---

⚡ クイックスタート（1 分）

Linux、macOS、Windows では、数秒で Extra をセットアップできます。

オプション A：AI にセットアップを依頼する（推奨 — 最も簡単）

お使いの OS に対応する指示を 1 つコピーして、Claude Desktop、Google Antigravity、Cursor、Windsurf、または任意の MCP エージェントに貼り付けます。

• 🐧 Linux（Arch / yantraOS、Ubuntu、Debian、Fedora）向け：

  Setup Extra on my Linux machine: In Terminal run 'curl -sSL https://extra.yantraos.com/install.sh | bash', then read and configure ~/.extra/app/STARTER_PROMPT_LINUX.md so we are ready to use Extra.
  

• 🍏 macOS（Apple Silicon M1-M4 および Intel）向け：

  Setup Extra on my Mac: In Terminal run 'curl -sSL https://extra.yantraos.com/install.sh | bash', then read and configure ~/.extra/app/STARTER_PROMPT_MACOS.md so we are ready to use Extra.
  

• 🪟 Windows（11 / 10）向け：

  Setup Extra on my PC: In PowerShell run 'iwr -useb https://extra.yantraos.com/install.ps1 -OutFile "$env:TEMP\install_extra.ps1"; & "$env:TEMP\install_extra.ps1"', then read and configure ~/.extra/app/STARTER_PROMPT.md so we are ready to use Extra.
  

AI がインストーラーを実行し、MCP とローカルルールを設定して、次のように返信します。

「準備完了です！動作させるには、<your AI application, e.g. Claude Desktop, Antigravity, Cursor, Windsurf> を再起動してください。」

---

オプション B：ワンライナーを自分で実行する

• 🐧 Linux ターミナル（Arch / yantraOS、Ubuntu、Debian、Fedora）：

  curl -sSL https://extra.yantraos.com/install.sh | bash
  

• 🍏 macOS ターミナル：

  curl -sSL https://extra.yantraos.com/install.sh | bash
  

• 🪟 Windows PowerShell（ステージング済み、Defender による検出なし）：

  iwr -useb https://extra.yantraos.com/install.ps1 -OutFile "$env:TEMP\install_extra.ps1"; & "$env:TEMP\install_extra.ps1"
  

自動インストーラーは次の処理を行います。

• OS アーキテクチャ（Linux Wayland/X11、macOS 12.3 以降、または Windows 10/11 64 ビット）を確認します。
• 隔離された Python 3.10 以降のランタイム（~/.extra/venv）を用意します。
• Claude Desktop、Cursor、Windsurf、Antigravity（agy）を自動設定します。
• ヘルス診断を実行し、1 ステップで始められるプロンプトを提示します。

---

オプション C：開発者向け Git クローン

# Linux / macOS:
git clone https://github.com/AIYantra/extra.git ~/.extra/app
cd ~/.extra/app && ./install.sh

# Windows:
git clone https://github.com/AIYantra/extra.git "$HOME\.extra\app"
cd "$HOME\.extra\app" ; .\install.ps1

---

MCP 対応 AI への接続

Extra は、**Model Context Protocol（MCP）**に対応するあらゆるエージェントですぐに使えます。Cursor、Windsurf、またはカスタムエージェントを使用する場合は、このスニペットを MCP 設定に追加してください。

{
  "mcpServers": {
    "extra": {
      "command": "npx",
      "args": ["-y", "@yantraos/extra-desktop"]
    }
  }
}

または、ネイティブ Python を使用します。

{
  "mcpServers": {
    "extra": {
      "command": "python",
      "args": ["-m", "extra.mcp.server"]
    }
  }
}

---

Extra の仕組み

Extra は、視覚認識とハードウェア操作を分離する、独立したデュアルプレーンアーキテクチャで動作します。視覚認識には、3 ミリ秒未満の GPU フレームキャプチャ（DirectX DXGI、Metal、Spectacle）と、OS のアクセシビリティ階層の検査（COM UI Automation、AT-SPI2、Quartz）を組み合わせています。操作には、損失のないカーネルイベントと Win32 ハードウェアイベントを、座標のずれなしで送信することで、あらゆる解像度とディスプレイのスケーリング率で決定論的な制御を実現します。

Extra は、速度、信頼性、トークン効率を追求して一から設計されています。

1. 👁️ 超高速画面キャプチャ（3 ミリ秒未満）： ネイティブの DirectX Desktop Duplication（DXGI）を使用して、3 ミリ秒未満で非常に鮮明なデスクトップフレームを取得します。PC の動作を遅くしたり、テキストをぼかしたりすることはありません。
2. 🎯 ピクセル単位の正確なクリック： 不鮮明なスクリーンショットから座標を推測するのではなく、Extra はネイティブの Windows アクセシビリティツリー（UI Automation）を照会し、ボタン、メニュー、テキストフィールドを数学的に 100％正確にクリックします。
3. ⚡ 瞬時の入力： ネイティブ Win32 Unicode インジェクションにより、500 文字を 5 ミリ秒未満で入力します。文字の欠落はなく、絵文字や多言語にも完全に対応しています。
4. 🛑 無限ループによる停止を防止： アプリがフリーズした場合や、クリックしても画面に変化がない場合、Extra はただちにそれを検知して安全に停止するため、無限ループでトークンを浪費しません。
5. 🔒 完全ローカルでプライベート： Extra はすべてお使いのマシン上で動作します。スクリーンショット、キーストローク、テレメトリがクラウドサーバーに送信されることは一切ありません。

---

📊 パフォーマンス比較

指標 / 機能	従来のスクリプト（PyAutoGUI）	クラウドビジョンモデル	Extra Engine
画面キャプチャ速度	150 – 300 ms	80 – 150 ms	1.8 – 3.2 ms（DirectX DXGI）
入力速度（100 文字）	2.5 – 5.0 秒	1.0 – 2.0 秒	< 0.005 秒（瞬時の Win32 入力）
クリック精度	約 60％（ディスプレイスケーリングで失敗）	約 82％（視覚的な推測）	99.4％（ネイティブ Windows UIA）
マルチモニターの DPI 対応	125％ / 150％の倍率で動作しない	手動調整が必要	自動（PerMonitorV2）
AI トークンコスト	高い（毎回スクリーンショット全体を取得）	高い（ビジョンデータ全体を送信）	70％削減（スマートな要素ツリー）
停止防止	なし（いつまでも停止状態になる）	基本的なタイムアウト	スマートな画面差分検知

---

🛠️ 同梱ツール（MCP Suite — 20 個のネイティブツール）

Extra に接続すると、AI アシスタントは 20 個のネイティブツールを通じて、デスクトップを完全かつ主権的に操作できます。

ツール名	機能
extra_launch	アプリ、ユーティリティ、URL を直接開きます（calc、notepad、settings、edge、chrome）
extra_focus_window	ネイティブのスレッド入力アタッチメントを使って、任意のウィンドウを前面に表示します
extra_click	サブピクセル単位の DPI 精度、人間のようなベジェ曲線、セマンティックな視覚的グラウンディング（target="..."）を使ってクリックします
extra_stroke	圧力と Catmull-Rom スムージングを使い、経由点を滑らかで連続的なブラシスプラインで描画します
extra_type	遅延ゼロでテキストを即時入力し、絵文字を完全にサポートし、Win32 Unicode パケットを使用します
extra_hotkey	キーボードショートカット（Ctrl+C、Win+E、Alt+Tab、Enter）を送信します
extra_batch_actions	ハードウェアと SOUL の反射アクション（eval、assert、wait_for_state）のリストを、サブミリ秒単位でアトミックに実行します
extra_snap_layout	ウィンドウをプログラムでドッキングし、左右並列または分割レイアウトに 15 ミリ秒未満で配置します
extra_fs_batch	Windows Defender の Controlled Folder Access に準拠した、高速なファイルシステムの一括操作を行います
extra_inspect_ui	アクセシブルな UI ツリーとインタラクティブな要素ノードをリアルタイムでスキャンします
extra_click_element	アクセシブル ID またはセマンティックターゲットを使って、UI 要素を確実にクリックします
extra_scroll	ホイールを上下左右に滑らかにスクロールします
extra_drag	ファイル、ウィンドウ、スライダーを座標間でドラッグ＆ドロップします
extra_screenshot	オプションの Set-of-Mark 視覚バッジを使って、25 ミリ秒未満で高解像度のデスクトップフレームをキャプチャします
extra_browser	Edge／Chrome の DOM コンテンツを直接抽出するか、合成 API の高速パスを起動します
extra_task_start	画面端のアンビエントパルスとカーソル追跡ハローを有効にします
extra_task_complete	タスクの完了を通知します。エメラルド色の枠を点滅させ、音響チャイムを鳴らし、軌跡を分析します
extra_indicate_status	デスクトップのアクティブ、完了、アイドルインジケーターをプログラムから直接制御します
extra_recall_memory	KùzuDB と FastEmbed を使って、過去のタスクのワークフロー、成果物、既知の癖を 2 ミリ秒未満で呼び出します
extra_scout_app	UI フレームワーク（Electron／Win32／Viewport）やユニバーサルホットキーを検出し、SKILL プレイブックを生成します
extra_evolve_skill	新たに検証された、停止のない高速パスを永続的なスキルプレイブックとして定着させます

---

🏛️ リポジトリ構成

extra/
├── assets/                 # Brand logos and banners
├── bin/                    # Node.js CLI executable (npx @yantraos/extra-desktop)
├── core/                   # Sovereign Core Automation Engine
│   ├── platform/           # Platform Abstraction Layer (PAL facade for Win32 & macOS)
│   │   ├── windows/        # Win32 SendInput, DXGI capture, UIA, and focus
│   │   └── macos/          # ScreenCaptureKit, CoreGraphics, and AXUIElement
│   ├── soul/               # System One Ultra-fast Layer (Decider, Eyes, Grammar, Schemas)
│   ├── memory/             # KùzuDB episodic knowledge graph & FastEmbed embeddings
│   ├── evolution/          # Autonomous skill crystallizer & API synthesizer
│   ├── scout/              # Application discovery, CDP sniffer, and session vault
│   ├── motion/             # Human-like Bezier cursor flight and spline dynamics
│   ├── capture.py          # Unified high-speed desktop screen capture
│   ├── geometry.py         # PerMonitorV2 DPI scaling & display normalization
│   ├── indicators.py       # Ambient screen pulse, cursor halo, and harmonic chime
│   ├── input_engine.py     # PAL input facade (clicks, strokes, typing, batching)
│   ├── focus.py            # Window activation, snapping, and layout management
│   ├── uia_plane.py        # Accessibility tree inspection and Set-of-Mark labeling
│   └── stall_breaker.py    # Closed-loop perceptual diffing & safety killswitch
├── fastpath/               # High-speed deterministic execution
│   ├── shell.py            # Native app launcher with crash-recovery auto-suppression
│   ├── browser.py          # Playwright & Chromium DevTools Protocol (CDP) bridge
│   ├── fs.py               # CFA-compliant batch filesystem engine
│   └── web/                # Synthesized Web-to-API fast-paths
├── mcp/                    # Model Context Protocol
│   └── server.py           # Standard JSON-RPC stdio/SSE server (20 native tools)
├── tests/                  # Exhaustive 1,883-test official verification suite
├── cli.py                  # CLI runner (extra doctor, test, indicators, run, inspect, snap)
├── install.ps1             # 1-line PowerShell installer (Windows)
├── install.sh              # 1-line bash installer (macOS)
├── pyproject.toml          # PyPI package manifest (extra-desktop v0.3.3)
├── package.json            # npm package manifest (@yantraos/extra-desktop v0.3.3)
├── server.json             # Official MCP registry manifest
├── glama.json              # Glama MCP ecosystem manifest
├── smithery.yaml           # Smithery 1-click deployment manifest
├── requirements.txt        # Enterprise-audited dependency manifest
├── STARTER_PROMPT.md       # Master AI system prompt & setup directive
├── docs/                   # Full System Architecture & Specifications
└── RELEASE_NOTES.md        # Comprehensive version release notes

---

🛡️ エンタープライズ向けの信頼性と安全性

• 未検証のバイナリブロブはゼロ： 個人メンテナーによる不透明なコンパイル済み .dll や .pyd ファイルはありません。
• Microsoft と Anthropic の基準： Microsoft のシステムコール（ctypes）、Anthropic 公式の mcp SDK、PSF パッケージのみを使用して構築されています。
• フェイルセーフ保護： 画面の隅 (0, 0) に緊急脱出機能を備え、グローバルパニックホットキー（Ctrl+Alt+Shift+Q）を搭載しています。

---

🌌 yantraOS 主権エコシステムの一部

Extra は、自律コンピューティング向けに設計された主権型 Arch Linux オペレーティングシステム、yantraOS の Windows ブリッジです。

オペレーティングシステムのテレメトリーがゼロで、サブマイクロ秒の OS カーネルスケジューリングと Wayland のネイティブなハードウェア制御を備えた、ベアメタル AI の自律性をお求めの場合は、yantraos.com をご覧ください。

---

🤝 貢献

カーネルハッカー、自動化の研究者、AI 開発者からの貢献を歓迎します！
貢献ガイドと行動規範をご確認ください。

脆弱性の報告については、セキュリティポリシーをご覧ください。

---

📜 ライセンス

MIT License の下で配布されています。詳細は LICENSE をご覧ください。
Copyright (c) 2026 Euryale Ferox Private Limited.