genai-capture について
GenAI Captureは、スクリーンショットの撮影と注釈に対応するデスクトップアプリで、JetBrains IDEプラグインもあります。デスクトップアプリはローカルMCPサーバーとして動作し、AIエージェントによる撮影、画像確認、注釈の保存が可能です。
主な機能
- 01画面全体または範囲を撮影
- 02矢印・図形・テキスト・ハイライトを追加
- 03モザイクで機密情報を隠す
- 04撮影画像のコピー・保存・ピン留め
- 05JetBrains IDEプラグインと遅延撮影
活用シーン
- 01視覚的なバグ報告への画面注釈
- 02機密情報を隠したインターフェース撮影
- 03変更前後の画面を証跡として保存
MCP 対応
デスクトップアプリはMCPサーバーとして動作し、capture_fullscreen、capture_region、annotate、get_image、save_imageなどのツールを提供します。画像はローカルで扱われ、接続したAIクライアントに送られます。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
ツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
GenAI Capture
画面キャプチャと注釈、2つの方法で利用できます。
- デスクトップアプリ — デスクトップ全体をキャプチャし、注釈を付けて(矢印、図形、テキスト、蛍光ペン、モザイクによる墨消し、透かし)、コピー/保存/ピン留めできます。グローバルホットキー、ギャラリー、テーマに対応しています。クロスプラットフォーム(Java)です。
- JetBrains IDE プラグイン(このリポジトリのソース)— 同じエンジンを JetBrains IDE 内で利用できます。GoLand、PhpStorm、PyCharm、WebStorm、IntelliJ、CLion、Rider などに対応しています。
デスクトップアプリをダウンロードする
お使いの OS 用のインストーラーを リリース からダウンロードしてください。
| OS | ファイル |
|---|---|
| macOS | GenAI Capture-<version>.dmg |
| Windows(インストーラー) | GenAI Capture-<version>.exe |
| Windows(ポータブル) | GenAI-Capture-portable-win.zip |
macOS に関する注意: アプリはまだ公証されていません。macOS に初回起動をブロックされた場合は、システム設定 ▸ プライバシーとセキュリティ ▸「このまま開く」で許可し、求められたら画面収録のアクセスを許可してください。詳しくは DMG 内の First Launch.txt をご覧ください。
プラグインは JetBrains Marketplace で公開されています。GenAI Capture を検索するか、リリースから ZIP を手動でインストールしてください。
AI エージェントで使う(MCP)
デスクトップアプリ(v1.2.0 以降)は MCP サーバーとしても動作します。Model Context Protocol に対応した AI エージェント(Claude Code、Claude Desktop、Cursor など)で、画面をキャプチャして画像を確認し、注釈(矢印、四角形、テキスト、ハイライト、ぼかし/墨消し)を付けて、結果を保存できます。AI に一文指示するだけで、画面上のバグ報告や変更前後の証拠を作成できます。
デスクトップアプリをインストールしてから、サーバーをクライアントに追加してください。最も簡単な方法は、npm の genai-capture-mcp ランチャーを使う方法です(クロスプラットフォーム対応)。
claude mcp add genai-capture -- npx -y genai-capture-mcp
または、インストール済みのバイナリを直接指定することもできます(Node は不要です)。
claude mcp add genai-capture -- \
"/Applications/GenAI Capture.app/Contents/MacOS/GenAI Capture" --mcp
ツール:capture_fullscreen、capture_region、annotate、get_image、save_image。キャプチャ時には音が鳴ります。すべてローカルで動作し、画像は接続した AI クライアントにのみ送信されます。
JetBrains IDE プラグイン
画面キャプチャと注釈付けのエンジンを、JetBrains IDE 内で利用できます(GoLand、PhpStorm、PyCharm、WebStorm、IntelliJ、CLion、Rider など)。
機能
- ツール ▸ スクリーンショットを撮る —
⌘⇧1(macOS)/Ctrl+Shift+1(Win/Linux)。デスクトップ全体(IDE を含む)をキャプチャし、注釈オーバーレイを開きます。 - ツール ▸ デスクトップをキャプチャ(IDE を隠す) —
⌘⇧2/Ctrl+Shift+2。IDE を一時的に隠して、その背後のデスクトップをキャプチャします。オーバーレイを閉じるまで(ESC/保存/コピー/ピン留め/閉じる)、IDE は非表示のままです。 - ツール ▸ 遅延スクリーンショット ▸ 3s/5s/10s — 画面にカウントダウンを表示してからキャプチャします(先にウィンドウを切り替えたり、メニューを開いたりできます)。
- ステータスバーのボタン — カメラアイコン(即時キャプチャ)とモニターアイコン(IDE を隠してデスクトップをキャプチャ)。ステータスバーの右クリックメニューから、それぞれを切り替えられます。
- 注釈オーバーレイ — 矢印、図形、テキスト、蛍光ペン、モザイクによる墨消し、透かしに対応し、コピー/保存/ピン留めができます。
- 設定 ▸ ツール ▸ GenAI Capture — 透かしページ(外観、デフォルトのテキスト、動作、ライブプレビュー)とツールバーページ(キャプチャツールバーのツールを選択/並べ替え)があります。すべてのショートカットは 設定 ▸ キーマップ で再割り当てできます。
macOS では、IDE に画面収録のアクセスを許可してください(システム設定 ▸ プライバシーとセキュリティ ▸ 画面収録)。許可しないとキャプチャ画像が黒くなります。これは画面キャプチャツール全般に共通する要件です。
構築方法
../src/main/java と ../src/main/resources にあるデスクトップアプリのコードを再利用します。Gradle の Copy ステップで、アプリのシェルと IDE の JBR 内で読み込めない部分(osystem/ の FFM コード、jnativehook のグローバルホットキー、トレイ、デスクトップテーマの設定パネル)を除外します。オーバーレイが使用する少数の OS 呼び出しを満たすため、FFM に依存しない薄いシムを src/main/java/io/genai/screenshot/ の下に用意しています(osystem/AbstractOs、CaptureController、ScreenshotApp)。キャプチャ自体には java.awt.Robot を使用します(ネイティブコードは使用しません)。プラグイン独自のアクション、設定ページ、ステータスバーウィジェットは src/main/java/io/genai/screenshot/plugin/ の下にあります。
プラットフォームモジュールのみ(com.intellij.modules.platform)を対象としてビルドするため、1 回のビルドで JetBrains IDE のすべてに対応します。
前提条件
- JDK 17 以降(JBR または JDK 17 以降)。
- JetBrains IDE がインストールされていること(ビルドはデフォルトでローカルの GoLand を対象とします。
build.gradle.ktsを参照)。別の IDE を使用する場合は、local("…")の行を編集するか、次のようにダウンロード版に切り替えます:intellijIdeaCommunity("2024.1")。 - Gradle:最も簡単なのは、IntelliJ IDEA でこの
jetbrains-plugin/フォルダーを開く方法です(Gradle プロジェクトがインポートされ、ラッパーが利用できるようになります)。または、brew install gradleを実行してから、gradle wrapperを一度実行します。
実行(サンドボックス IDE)
cd jetbrains-plugin
./gradlew runIde # launches GoLand with the plugin loaded
次に、Tools ▸ Take Screenshot(⌘⇧1)またはステータスバーのカメラアイコンを使用します。
インストール可能なプラグインをビルドする
cd jetbrains-plugin
./gradlew buildPlugin # -> build/distributions/genai-capture-plugin-1.0.0.zip
任意の IDE へのインストール:Settings ▸ Plugins ▸ ⚙ ▸ Install Plugin from Disk… → ZIP ファイルを選択します。
注意事項/次のステップ
- 再利用したオーバーレイコードは、FFM/jnativehook への依存なしで Java 17 でコンパイルできることを確認済みです。
- 初回の
runIdeでは、使用するバージョンに応じて IntelliJ Platform Gradle DSL またはlocal(...)の IDE パスを少し調整する必要がある場合があります。そこから調整してください。 - 今後追加できる機能の例:選択した領域のみのキャプチャ、または設定可能なデフォルトの遅延時間。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。