android-benchmark-comparison

Android ベンチマークの比較

基本原則

実機の Android 構成の比較は、再現可能な実験として扱います。順位を解釈したり、デフォルトを選んだりする前に、ワークロードとデバイスの条件が比較可能であることを確認します。

手順

1. 判断事項、構成、ワークロード、メトリクスの定義、反復回数を明示します。ビルドの識別情報、構成、生データ、トレースを正確に保管し、意図したすべてのケースと反復が実行されたことを確認します。未実行、失敗、除外された実行を区別し、最速だった実行だけを比較してはいけません。
2. デバイスのモデルと状態、温度と電力のモード、ディスプレイの輝度、バックグラウンド負荷、ネットワークや入力の条件など、関連するデバイス条件を制御して記録します。デバイス固有のコマンドと CPU マスクは、プロジェクトのランブックに記載してください。
3. 実行順序を均衡化するか逆転させて、比較を繰り返します。ばらつきと順位が維持されるかどうかを報告し、結果を見てから遅い反復を除外してはいけません。
4. 順位が逆転した場合やばらつきが無視できない場合は、逆転の原因が解決するまで、確定的なデフォルトの決定を保留します。次の比較で必要な作業をすべて示し、最初に見つかった阻害要因だけを示してはいけません。同じ名前付きのケースと反復を確認し、実行順序を均衡化するか逆転させて再実行したうえで、測定区間とタイムスタンプが重なるトレースデータを調べ、CPU 配置、競合、温度変化を確認します。固定パフォーマンスモードで CPU 配置が証明されるわけではありません。アフィニティの実験を試みた場合は、デバイスのトポロジーを特定し、測定区間中の配置を確認します。実験後は記録しておいた元のアフィニティ設定に戻し、次の実行前に復元を確認してください。復元の確認が必要だと記載するだけでは不十分です。アフィニティが確認済みの実行は、制御された比較として明記します。元の設定やその他の確認手段を利用できない場合は、その不足を明示し、デフォルトの選択は暫定的なものと明確にしてください。
5. 丸め前の観測値から集計値を計算し、表示用の丸めはその後にのみ行います。集計方法を明記します。実行ごとのパーセンタイルの平均は、プールした観測値のパーセンタイルとは異なります。示した判断に適した集計方法を選び、特定の統計量を一律に推奨してはいけません。
6. 制御された実験の証拠と、通常のユーザー環境でのパフォーマンスを分けて扱います。複数の条件が同時に変化した場合は、比較がより制御されたものになったと報告しますが、差のすべてを単一の制御要因に帰属させてはいけません。CPU のフレーム時間の証拠を、視覚品質とパフォーマンスの判断に役立てます。ただし、GPU のシェーダー時間を測定していると主張してはいけません。
7. 生データの保存場所、完了したケース数、ばらつき、トレースの調査結果、制御条件と復元状況に加え、範囲を限定した判断または残る不確実性をまとめます。逆転が解決していない場合は、必要な一連の作業をすべて記載します。同条件の網羅、実行順序の均衡化または逆転、測定区間のトレース調査、変更したアフィニティ設定の復元です。固定パフォーマンスモードやアフィニティ用コマンドに言及する場合は、トレースで確認しない限り、どちらも CPU 配置を証明するものではないと明記します。推奨事項では 実行順序 を明示してください。「均衡化した比較」とだけ書いても、実行順序を均衡化するか逆転させるようチームに伝わりません。先に行ったデフォルトの選択は暫定的なものと明記してください。

制約

• 単一の安定したベンチマーク実行から限定的な観察を示すことはできますが、構成の堅牢な順位付けには使えません。
• デバイス固有の CPU マスク、輝度値、反復回数、集計統計量を恒久的なデフォルトにしてはいけません。
• トレースや反復の網羅状況から逆転の原因を解決できない場合は、デフォルトを変更しないか、その制約を明示したうえで暫定的な判断を行ってください。