principle-explain-the-number

数値を説明する

• 「なぜ2倍にならないのか」と尋ねましょう。 コア、ロック、ディスク、ネットワーク、負荷ジェネレーター自体など、結果の上限を決めているリソースやコードパスを特定します。実行中に取得したプロファイルやシステムカウンターから確認し、ソースコードに対応付けてください。コードを読んだだけの推測は、制約要因の特定にはなりません。数値がなぜ2倍にならないのか説明できないなら、何を測定したのか分かっていません。
• その数値がほかに何を測定している可能性があるかを列挙し、証拠を示して一つずつ除外しましょう。 よくある原因は、エラー、スキップまたはキャッシュされた処理、実行されなかったコード、チューニングされていない側（片方がデフォルト設定のまま）、ノイズ、そして全体としては影響が小さすぎる部分です。
• 証拠を数値と一緒に残しましょう。 実行回数、ばらつき、制約要因をメモまたはリンク先の成果物に記録してください。

パフォーマンスの数値については、手順の全容を確認するためにbenchmark-checklistスキルを使用してください。評価結果についても、試行ごとに同じ点を確認します。すべての実行でタスクを完了したか、差が複数の試行とモデルを通じて維持されるか、シナリオに意義があるかを確認してください。

数値の根拠に実行回数、ばらつき、または明示された制約要因がない場合、あるいは削減された時間が変更箇所の処理時間を上回る場合は、この手順を省略しています。

出力が実際のものであることを確認する実際に動くことを証明するとは異なります。