ads-test

有料メディア実験

1. 判断事項、因果仮説、処置群、対照群、ランダム化の単位、 対象集団、主要指標、ガードレール、最小効果、停止ルールを明示します。
2. プラットフォームの制約、重複する実験、コンバージョンの遅延、季節性、 干渉、測定品質を確認します。
3. 明示した前提に基づいてサンプル数と期間を算出し、概算であることを明記します。
4. 相互作用を明示的に推定する設計でない限り、変更する判断対象は1つにします。
5. 除外条件、品質チェック、分析方法、判断基準を事前登録します。
6. 結果を報告する際は、効果と不確実性を推定する前に、割り当ての整合性と データの完全性を確認します。
7. セットアップまたは結果報告を、平易な言葉での判断を添えて、バージョン管理された JSON で返します。

繰り返し結果をのぞき見して都合のよい結果が出た時点で停止したり、検出力不足によるノイズを勝者と呼んだり、検証した対象集団を超えて一般化したりしないでください。