Pointframe MCP Server について
Pointframeは、実際のデスクトップアプリを調査・検証するための、コーディングエージェント向けWindows MCPサーバーおよびCLIです。スクリーンショット、OCR、録画に加え、設定で許可したUI操作や再現可能な検査、署名付き証拠の生成に対応します。
主な機能
- 01画面とウィンドウのキャプチャ
- 02OCRによる画面上の文字読み取り
- 03キャプチャの検索と取得
- 04画面録画
- 05検証済みUIシナリオの実行
活用シーン
- 01開発中のアプリ画面の確認
- 02デスクトップウィンドウ内の文字検索
- 03ビルド後のUIシナリオ確認
- 04検証実行の証拠保存
MCP 対応
stdioのMCPサーバーとして、ディスプレイとウィンドウの検出、キャプチャ、OCR、検索、録画ツールを提供します。許可を設定したデスクトップツールでは、承認済みアプリの起動やUI操作を行い、署名付きレポートを作成できます。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
このサーバーのパッケージやリモートエンドポイントはまだ取得できていません。プロジェクトの README の手順に従ってください。
ツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
Pointframe
コーディングエージェントに、実際の Windows UI をテストさせましょう。
Pointframe を使うと、エージェントがアプリを調べ、コントロールを操作し、スクリーンショットと署名付きの証拠を添えて、繰り返し可能なチェックを実行できます。
無料、オープンソース、Windows x64 対応です。
エージェントをセットアップする | スクリーンショットアプリをダウンロードする
コーディングエージェント: 開始する前に、Windows デスクトップ検証の完全な手順をお読みください。
エージェントが実際のアプリで UI の変更をチェックします
pointframe verify run はビルドとテストのゲートを実行し、仕様内の各シナリオについて、ビルド済みアプリを起動して実際のコントロールを操作し(呼び出し、入力、チェック)、署名付き証拠バンドルとともに判定結果を書き出します。証拠バンドルには report.json、evidence/ 内のスクリーンショット、index.html が含まれます。優れたシナリオにはネガティブコントロールも含まれます。これは、意図的に誤った期待値を設定し、失敗することを確認するチェックです。
同じサンプルでの 30 秒デモ:失敗、修正、成功、証拠。クリックして視聴できます。
これは、WPF サンプルの実行が成功した際の実際の証拠スクリーンショットです(参照仕様はリポジトリ内にあるため、再現できます)。
目的に合わせて選ぶ
| やりたいこと... | 使用するもの | 最初の例 |
|---|---|---|
| エージェントにデスクトップを見る機能を与え、必要に応じて操作もさせる | MCP サーバー | エージェントにディスプレイの一覧を尋ねると、list_displays を呼び出します |
| キャプチャ、OCR、録画をスクリプトで実行する、または検証済みの成功をエージェントのゲートにする | CLI | pointframe displays の後に pointframe verify run を実行 |
| 手動でキャプチャ、注釈付け、録画を行う | デスクトップアプリ | Print Screen を押す |
CLI と MCP サーバーはそれぞれ単独で動作し、どちらもトレイアプリは必要ありません。キャプチャ、OCR、録画は観察のみを行います。アプリのコントロールの操作は、アプリごとにセットアップするまで無効です(pointframe verify setup またはポリシーファイルを使用します。デスクトップテストをご覧ください)。
MCP サーバーがエージェントに提供するもの
常時利用可能な 11 個のツール:list_displays、list_windows、capture_monitor、capture_window、read_text_from_monitor、read_text_from_window、search_captures、get_capture、start_recording、stop_recording、get_recording_status。キャプチャはインライン画像として返されるほか、SHA-256、モニターのジオメトリ、DPI を含む PNG ファイルとしてディスクにも保存されます。オプトインの desktop_* ツールを使うと、承認済みのアプリを起動して、UI のクリック、入力、チェックを行い、署名付きレポートを書き出せます。詳細:MCP リファレンス。
スクリプト向け CLI の出力
pointframe displays
pointframe windows
pointframe capture --monitor '\\.\DISPLAY1' --output .\shot.png
pointframe ocr --monitor '\\.\DISPLAY1'
pointframe record --monitor '\\.\DISPLAY1' --seconds 10 --output .\take1.mp4
pointframe verify run
検出、キャプチャ、OCR、録画の各コマンドは、成功時も失敗時も、標準出力に1行の JSON レスポンスを出力します。終了コード 0 は成功、1 は安定した Error.Code を伴う実行時エラーです。コマンドライン引数が無効な場合は 2 で終了し、JSON の代わりに標準エラー出力へ使用方法のテキストを出力します。その他のコマンドについては、CLI リファレンスと検証ドキュメントにある各コマンド固有の出力仕様に従ってください。pointframe mcp serve は MCP stdio プロトコルで通信します。record には ffmpeg.exe が必要です。すべてのコマンドとフラグについては、CLI リファレンスをご覧ください。
クイックスタート
エージェントをセットアップする
- Claude Code プラグイン。 リポジトリをクローンした状態で
claude --plugin-dir ./plugin/pointframeを実行すると、MCP サーバーが起動し、verify-desktop-workスキルが追加されます(プラグインの README)。このプラグインは、まだプラグインディレクトリには登録されていません。 - その他の MCP クライアント(Claude Desktop、Codex、Cursor、VS Code):MCP クライアントを接続するをご覧ください。
- CLI。 最新リリースから
Pointframe.Cli-win-x64.zipをダウンロードして展開し、そのフォルダーから実行してください(チェックサムの手順はCLI のインストールをご覧ください)。その後、新しいターミナルを開いて、ユーザーのPathの変更を反映させてください。pointframe displaysを実行するとモニターが一覧表示されます。また、検証ガイドでは、ご自身のアプリを扱います。
.\Pointframe.Cli.exe install
スクリーンショットアプリをダウンロードする
winget install DimitarRadenkov.Pointframe
Print Screen キーを押して範囲をキャプチャし、矢印、テキスト、ぼかしを追加してから、コピー、保存、ピン留め、録画ができます。または、Releasesからインストーラーを入手してください。機能、設定、ショートカットについては、デスクトップアプリガイドをご覧ください。
FAQ
デスクトップアプリは必要ですか? いいえ。CLI と MCP サーバーは単体で動作し、トレイアプリも .NET ランタイムも必要ありません。デスクトップアプリは、ユーザー向けの独立したスクリーンショットツールです。
ヘッドレスで実行できますか? CI を含め、ビルドやテストのゲートはヘッドレスで実行できます。実際の UI の確認には、ロックされていない対話型の Windows セッションが必要です。セッション 0 の Windows サービスでは、ユーザーのデスクトップをキャプチャできません。
合格すると何が確認できますか? 仕様で設定したゲートとシナリオがすべて合格したことを確認できます。ゲートのみの仕様ではアプリを起動せずに合格するため、UI のカバレッジはシナリオで確認した範囲に限られます。pointframe verify status が fresh: true を報告した場合にのみ、合格結果を信頼してください。鮮度の判定対象には、Git から確認できる作業ツリー、仕様、アクティブタスクのスナップショットが含まれます。シナリオはあるもののゲートがない仕様は合格する場合がありますが、鮮度が確保されることはありません(no_build_gate)。.gitignore で無視されるファイルと、verify 自体の出力はカウントされません。合格しても、コードが正しいことの証明にはなりません。
プライバシーとテレメトリー
CLI と MCP サーバーの公式リリースビルドは、匿名の使用状況データ(コマンドまたはツール名、結果、所要時間の区分、host、MCP クライアントの種類、バージョン、ランダムなインストール ID)を送信します。スクリーンショット、テキスト、パスは送信されません。POINTFRAME_TELEMETRY_OPTOUT=1 または DO_NOT_TRACK=1 を設定すると、テレメトリーを無効にできます。これは CLI と MCP サーバーのみに適用されます。デスクトップアプリの公式ビルドが送信するイベントについては、完全なポリシーを記載した PRIVACY.md をご覧ください。ソースからのビルドでは何も送信されません。
リンク
CLI リファレンス | MCP リファレンス | デスクトップアプリガイド | ドキュメントの検証 | 開発者ガイド | プライバシー | コントリビューション | リリース | ウェブサイト
Pointframeが役に立ったら、GitHubでスターを付けていただけると、ほかのユーザーにも見つけてもらいやすくなります。
Pointframeで時間を節約できたら、ビールをおごっていただけるとうれしいです:
移動したセクション
以前のリンクは、以下の見出しを参照しています。コンテンツは現在、専用のファイルにあります。
Pointframe MCP サーバー
MCP リファレンスに移動しました。
プライバシーポリシー
PRIVACY.mdに移動しました。
プライバシーとテレメトリ
PRIVACY.mdに移動しました。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。
