honey-gain について
Honey Gain は、コミット済みの記録から再現可能なベンチマーク結果を報告するエージェントスキルです。タスクごとの統計やテスト合格率を重視し、実測結果と根拠のない主張を区別します。
主な機能
- 01コミット済みベンチマークの再計算
- 02層別の LOC・出力差の報告
- 03p 値とテスト合格率の併記
- 04同点と勝利の区別
活用シーン
- 01バリアント別のベンチマーク結果の要約
- 02報告値の統計的根拠の確認
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/インストール後、Claude Code で/honey-gainを入力して読み込まれたか確認します。
詳細
Honey Gain
コミット済みのベンチマーク結果を報告してください。推測値やセッションごとの数値、ベンチマークから乖離する可能性のある埋め込みコピーは、決して使わないでください。
Do
-
使用時にコミット済みの記録から再計算してください。記憶を頼りに述べず、レンダリング済みの表よりも生の記録を優先してください（レンダリング結果は古くなりますが、記録は変わりません）。
cd bench && node src/report.js --stamp full-opus48 --by-typeオフラインで実行でき、API 費用はかかりません。クロスプロバイダーの数値を使う場合は
--stamp full-gpt55に置き換え、スイート全体を対象にする場合は--by-typeを削除してください。Hive のハンドオフ数値については、bench/hive/RESULTS.mdを参照してください。 -
ティア別の表は簡潔に報告してください。各バリアントについて、Δ LOC と Δ output、それぞれの
p値、勝ち／負け／引き分けの判定、テスト合格率を示してください。ティアごとの差こそが調査結果です。コードとハンドオフでは差が最も大きく、ユーザー向けの出力では統計的に引き分けです（polish carve-out）。Δ LOC を先に示してください。これは Lever 1 を直接測定する一方、出力トークン数にはコードだけでなく周辺の文章も含まれ、両者は異なる結果になり得るためです（Ponytail は行数を削減しますが、長文で説明します）。
Rules
- p 値なしで差分を引用しないでください。(ns) の結果は勝ちではなく、引き分けとしてください。すべての数値はタスクごとのペア中央値です。2 つのアームの合計値の比率は引用できません。
- 文章にレンダリングされた結果（
bench/README.md、results/combined.md）は二次的なものです。新たに--stampで再計算した結果と食い違う場合は、再計算結果を優先し、レンダリング結果が同期していないと伝えてください。 - 品質は向上ではなく引き分けです。これが誠実な主張です。誇張しないでください。
- コスト／CO₂ の削減は測定値ではなく、モデルに基づく反実仮想です。これらはその旨を明記している
honey-ecoに属します。ここで金額の節約を述べないでください。 - このリポジトリの数値を尋ねられた場合、ベンチマークが測定するのは固定されたタスクスイートでのスキルであり、ユーザーのコードベースではありません。
cd bench && npm run benchを案内し、外挿しないでください。 - 誠実な留保を一度だけ述べてください。タスクは作者が作成した 23 件で、判定にはノイズがあります。客観的な正しさを示すシグナルとして信頼できるのは、テスト合格率の列です。
- 再現不能になった古い
92%/78%/73%／−57%/−65%/−70%の数値や、置き換え前のアーム合計値（コード−49%、全体−15%）を再び持ち出さないでください。bench/METHODOLOGY.mdを参照してください。