principle-explain-the-number

数値の根拠を説明する

• 「なぜ2倍にならないのか」と尋ねます。 結果を制限しているリソースまたはコードパスとして、コア、ロック、ディスク、ネットワーク、負荷生成ツール自体などを特定します。実行中に取得したプロファイルまたはシステムカウンターから特定し、ソースに結び付けます。コードを読んだだけの推測は制約要因ではありません。数値がなぜ2倍にならないのかを説明できなければ、何を測定したのか分かっていません。
• その数値がほかに何を測定している可能性があるかを列挙し、証拠を示して一つずつ除外します。 よくある要因は、エラー、スキップされた作業やキャッシュされた作業、実行されなかったコード、調整されていない側（デフォルト設定のままの側）、ノイズ、そしてエンドツーエンドでは影響が小さすぎる要素です。
• 数値とともに証拠を残します。 実行回数、ばらつき、制約要因をメモまたはリンク先の成果物に記載します。

パフォーマンスの数値を得る場合は、benchmark-checklist スキルに従って手順全体を実行します。評価結果についても、試行ごとに同じ点を確認します。すべての実行でタスクを達成しているか、差が複数の試行やモデルにわたって保たれているか、シナリオに意味があるかを確認します。

数値の根拠に実行回数、ばらつき、名前を特定した制約要因がない場合、または節約された時間が変更対象の処理にかかった時間を上回る場合、この原則は守られていません。

出力が実際のものであることを確認する Prove It Works とは別の原則です。