Framelet

AI に画面とキーボード／マウスのイベントを記録させながらソフトウェアを操作させ、その後 MCP を通じて検索、抽出、トリミングできます。AI 主導のソフトウェアテスト、バグの再現、製品紹介、操作手順の解説向けに構築されています。 主なインターフェースは CLI と MCP です。ネイティブのキャプチャフレームも利用できます。Python、Node.js、.NET、FFmpeg のインストールは不要です。

GIF にとどまらない、操作タイムライン

Framelet はキーボード、マウス、フレームのサンプルを既定でまとめて記録し、UTC と単調増加クロックを共有します。GIF にタイムラインとコンテンツ整合性マニフェストが付属します。

• 一意の ID と時刻： 共通の観測 ID で入力イベント、元のサンプル、GIF フレームを関連付け、UTC 基準と明示的なタイミングオフセットを付与します。
• FPS に依存しない入力： サンプル間に行われた複数の操作を、1 つのフレームに対応付けることができます。サンプリングされていない視覚的な変化は復元できません。
• コンテキストを保った確認とトリミング： ID／時刻で操作を特定し、選択した画像を確認してから、元の ID とコンピューター時刻の参照を保持したままトリミングや速度変更を行えます。

キーボード記録にはキーの押下／解放、キーコード、スキャンコードが含まれますが、クリップボードや IME で確定したテキストは含まれません。キーイベントから入力内容が判明する可能性があります。視覚的なマスクはパスワードを自動的に保護するものではありません。マスクされたマウス座標は除外されます。タイムスタンプは観測された間隔を示すものであり、ハードウェアの同期を示すものではありません。滞在候補から UI 要素を特定することはできません。

小さなツールで、役立つ機能

機能	内容
ネイティブキャプチャフレーム	移動、サイズ変更、記録、一時停止、保存が可能です。F8 で操作します
クライアントのインストール＋スキル	ネイティブ環境のセットアップ／確認／アンインストール、MCPB、再利用可能な AI 録画レシピ
CLI＋ローカル MCP	エージェントによるアプリ操作中にバックグラウンドで記録します
長時間録画の信頼性	300 秒以下の番号付き GIF、自動ローテーション、チェックポイントからの復旧
キーボード／マウス／フレームのタイムライン	失敗した手順を特定し、操作結果を確認できます
1～60 FPS	状態確認と高フレームレートでのネイティブ確認。ブラウザーで共有する場合は 30 FPS を使用します
AI による効率的な確認	イベントの絞り込みクエリ、1 回の処理で行う一括プローブ、一時的な変化を考慮した操作区間
GIF 編集	時間を正確に指定したカットと再生速度の変更
ネイティブのフレーム抽出	PNG、コンタクトシート、タイムスタンププローブ、領域比較
プライバシーと安全策	固定マスク、MCP パスの範囲制限、上書き防止、リソース制限
分離と整合性	監視下でのキャプチャプロセス、コンテンツハッシュ、復旧マーカー

静的な受け入れ確認には 1 FPS、容量の小さい GIF には 10～15 FPS、洗練されたデモには既定で 30 FPS を使用できます。実際のサンプリングは作業負荷によって異なります。

実測レビュー性能

v0.4.1 では、セグメントの繰り返し確認をなくし、未使用の RGB 変換を省略し、1 回の解析処理で候補プレビューを作成します。ランタイム依存関係は追加されていません。

ローカル MCP の作業負荷	v0.4.0	v0.4.1	短縮時間
1 つの録画パートで 64 時点をプローブ	633 ms	52.5 ms	91.7%
20 秒の GIF の最後の 0.5 秒を解析	2,106 ms	790 ms	62.5%
Bilibili デモの解析＋プレビュー	971 ms	566 ms	41.7%

Windows で各バージョンを交互に 10 回、ウォーム状態で実行したときの中央値です。グループのフィクスチャは 64×64、ウィンドウのフィクスチャは 640×360／600 フレームです。Bilibili では下記のデモを再利用しています。計測時間にはモデルの推論と UI 操作は含まれず、入力とハードウェアによって異なります。方法、ハッシュ、メモリのトレードオフ、生の結果。

例 1 · 実際のウィンドウと録画

元の短い実録画です：620×300 · 3 秒 · 16 FPS · 15,250 バイト。ほぼ静止したマーカーが動くこのシーンは一例であり、一般的な圧縮ベンチマークではありません。

例 2 · MCP 経由で操作・録画した Bilibili

録画を開始 → 実際のブラウザーをスクロール → 停止 → 境界を調べる → 操作のない時間をトリミングします。

29.88 秒 → 7.63 秒。 ネイティブの領域比較と区間ジャンプにより、8 回の中間点プローブで境界を特定し、中間画像のエクスポートを回避しました。実際のウォークスルーを読む。

これらのデモは、同期タイムラインの導入前に作成されました。現在のリリースでは、キーボード／マウス／フレームのタイムラインがデフォルトで記録されます。以前のメディアはキャプチャと編集の例です。

GIF の表示やフレームごとの確認には、Minimal Image Viewerをおすすめします。

ローカルのワークフロー向け

Windows 10 2004+ / Windows 11 x64、表示されているデスクトップをキャプチャします。クラウドへのアップロードやテレメトリーは組み込まれていません。GIF/PNG のみ対応し、音声や MP4 には対応していません。エージェントガイド · タイムラインの詳細 · 変更履歴。

Neo / 刘民心作。GifCam に着想を得て、独自に実装しました。MIT。