mcpField
P
paperclip-evals

paperclip-evals

github.com/paperclipaiテスト・品質108.3k44 回インストール今日更新
リポジトリ

paperclip-evals について

Paperclip の評価選択、解釈、証拠、履歴、実行を扱うスキルです。Runner Evals と Product E2E Evals を区別し、安全な実行と証拠の保持を重視します。

主な機能

  1. 012 種類の評価ファミリーの区別
  2. 02リポジトリと評価定義の特定
  3. 03安全な検証・実行手順
  4. 04証拠と実行メタデータの記録
  5. 05失敗分類と公開投影の制約

活用シーン

  1. 01適切な Paperclip 評価ファミリーの選択
  2. 02結果と失敗原因の解釈
  3. 03承認済みのライブ評価実行の準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/paperclipai/paperclip --skill paperclip-evals

インストール後、Claude Code で/paperclip-evalsを入力して読み込まれたか確認します。

詳細

Paperclip の評価

リクエストが Paperclip の評価の選択、解釈、エビデンス、履歴、またはライブ実行に関する場合は、このスキルを使用してください。最初に Paperclip リポジトリの doc/evals.md を読んでください。ここでは、2 つのファミリーとその境界が定義されています。

リポジトリを見つける

スキルのインストール先がチェックアウト内にあると決めつけないでください。現在のディレクトリから git rev-parse --show-toplevel を実行してリポジトリを明示的に見つけるか、ワークスペースとしてよく使われるルートを調べ、package.json、tests/runner-e2e、packages/paperclip-runner を含むチェックアウトを選択してください。Runner Eval で定義が必要な場合に限り、非公開の兄弟リポジトリ paperclip-evals を探してください。明示的な PAPERCLIP_EVALS_ROOT を使用するか、見つかった兄弟チェックアウトを使用してください。このコピーされたスキルからリポジトリへの相対パスを推測してはいけません。

リクエストを振り分ける

モックコントロールプレーンに対する実際のランナー／プロバイダープロトコルの動作には、Runner Evals を選択してください。正確な情報は packages/paperclip-runner/docs/runner-protocol-live-evals.md と、兄弟リポジトリの paperclip-evals/evals/paperclip-runner の定義に記載されています。

ローカル環境や Daytona 環境を含む、実際のブラウザー／サーバー／データベース／ランナー／プロバイダーのワークフローには、Product E2E Evals を選択してください。tests/runner-e2e/README.md を読み、必要に応じて FIXTURES.md、SECURITY.md、または EVERYDAY-WORKFLOWS.md を読んでください。Everyday Workflows は Evalbook にインポートされていても、Product E2E のままです。「Headless」はブラウザーモードであり、ファミリーではありません。

安全に作業する

読み取り専用のカタログ確認と、認証情報を必要としない検証から始めてください。Product E2E では pnpm test:e2e:runner:typecheck、pnpm test:e2e:runner:unit、pnpm test:e2e:runner -- --list を使用してください。ユーザーがライブ実行／有料実行を許可し、必要な認証情報と不変の Daytona イメージが設定されている場合に限り、明示的に指定した 1 つのセルを実行してください。Runner Evals では、固定された評価リビジョンと、文書化されたワークフロー／CLI を使用してください。部分的なセレクターを完全なカバレッジのエビデンスとして使用してはいけません。

解釈するたびに、ソースリビジョン、定義／カタログのフィンガープリント、モデル／プロファイル、環境、選択したセル、再試行、タイミング、使用量／コストのカバレッジ、グレーダーのバージョンを紐付けてください。部分的な試行も保持し、観測された失敗と裏付けのある原因に基づいて、失敗をプロダクト、モデル／プロバイダーの動作、採点／エビデンス、またはインフラストラクチャに分類してください。利用可能な状態で完了した動作の失敗は、インフラストラクチャの問題ではありません。プロバイダー／プロファイル、トランスポート、起動、またはエビデンスが不足している場合は、原因を選ぶ前にエビデンスを調べてください。

既存のファミリー用ジェネレーターとビューアーを使用してください。公開向けの投影データには、サニタイズされたフィクスチャ会話や、許可リストに登録されたツールの結果／エビデンスを含められます。ファミリーの投影ルールと公開者のチェックに従ってください。信頼された生の成果物、認証情報、シークレット、非公開データ、プロバイダーのセッション ID、隠された推論を公開してはいけません。保持されたエビデンスから更新しても、プロバイダー呼び出しは発生せず、元の測定結果が新しい表示形式で維持されます。結果を報告する際は、doc/evals.md に記載されている公開履歴とハブにリンクしてください。

ケースやフィクスチャを追加する場合は、より対象を絞った add-runner-eval または add-product-e2e-eval スキルを使用してください。

コメント

Markdown 対応