revenuecat-experiment-analysis

実験を分析するには、以下の手順に従ってください。すべての手順をこの順序どおりに実行し、どれも省略しないでください。各手順の詳細は以下をご覧ください。実験 ID など、すでに一部の情報がわかっている場合は、その手順だけを省略できます。それ以外の手順はすべて続けてください。各手順内では、独立した呼び出しをまとめて実行し、並列で処理してください。

1. 実験 ID を取得する
2. 実験の詳細を取得する
3. 補足のグラフデータを取得する［省略禁止］
4. 実験結果を取得する
5. 結果を解釈する
6. 分析結果全体を報告する

ステップ 1：実験 ID を取得する

実験 ID がまだわからない場合は、RevenueCat の list-experiments ツールを使用して見つけてください。このツールが受け取るパラメーターは 1 つで、proj... 形式のプロジェクト ID を指定する project_id です。status フィルター（draft、running、paused、stopped）も指定できます。

ステップ 2：実験の詳細を取得する

ステップ 2a：実験の設定

RevenueCat の get-experiment ツールを使用して、実験の設定／メタデータを取得してください。パラメーターは project_id（前述のとおり）と experiment_id（ステップ 1 で取得したもの）です。expand パラメーターには、次の値を渡してください：offering.package.product.indicative_price と offering.paywall。

抽出すべき関連情報：

• オファリング（offering_a、offering_b など）：実験のバリアントを定義します。より複雑な設定では、プレースメント（例：オンボーディング、機能ゲートなど）ごとに異なるオファリングを定義する placements オブジェクトが含まれることもあります。オファリングには、提供する製品の詳細が含まれます。製品には indicative_price が含まれます。価格水準の全体像を把握できるよう、米国向けの USD 価格のみが返されます。導入価格は返されません。価格のローカライズテスト、米国以外を明示的に対象とするテスト、または導入価格については、これだけでは全体像を把握できないため、代わりに get-product-store-state ツールを使用する必要がある場合があります（revenuecat-store-state スキルを参照）。オファリングには、RevenueCat Paywall を使用している場合、paywall_id が含まれることもあります。paywall_id が null の場合、アプリはカスタムペイウォールを使用しています。
• 製品フィールドは RevenueCat のカタログデータであり、ストアの状態ではありません。indicative_price と subscription フィールド（trial_duration、duration）は、RevenueCat が最後にストアと同期した内容を反映しており、古くなっている場合があります。これらのフィールドのトライアル、導入オファー、価格を事実として提示する場合、または実験の交絡要因として指摘する場合は、get-product-store-state で確認し、結果のトライアル指標と照合してください。
• notes：実験について提供されたメモ
• display_name：実験名
• targeting_conditions：これらの条件を満たす顧客にのみ実験が適用されます
• enrollment_mode：新規顧客のみを登録するか（デフォルト）、この実験を既存顧客にも適用するかを定義します
• experiment_type：実験の種類（定義済みリストからユーザーが選択）
• primary_metric、secondary_metrics：実験の作成時に設定した主要指標と副次指標
• Status：
  • draft は、実験がまだ開始されておらず、結果もないことを意味します。
  • running は、実験で新規顧客を引き続き登録していることを意味します。
  • paused は、新規顧客の登録は停止しているものの、登録済みの顧客には引き続き割り当てられたバリアントが適用され、最大 400 日間データの収集が続いていることを意味します。実験を再開すると、新規顧客の登録を再び行えます。
  • stopped は、新規顧客の登録が停止し、登録済みの顧客にはデフォルトのオファリングが再び提供されていることを意味します。結果は最大 400 日間更新され続けます。実験を再開または再実行することはできません。

ステップ 2b：ペイウォール

実験内のいずれかのオファリングで paywall_id が設定されている場合は、render-paywall-screenshot ツール（パラメーター project_id、paywall_id、version: "published"）を使ってペイウォールを確認し、違いを把握します。顧客に実際に表示された内容を確認するため、version: "published" を指定してください。ツールのデフォルトは下書きで、未公開の編集内容が含まれている場合があります。すべてのオファリングでカスタムペイウォールを使用している（paywall_id が null）場合は、このステップを省略してください。

ステップ 3：補足チャートデータの取得

get-chart-data RevenueCat ツールを使って、実験の実施期間に範囲を合わせた最近のチャートデータを取得します。このステップは省略しないでください。該当期間にアプリ全体がどのように推移していたかを把握するための貴重な情報になります。

パラメーター：

• project_id: {project_id}
• chart_name: revenue
• start_date: {experiment_start_date}
• end_date: {experiment_end_date}、または実施中の場合は今日の日付
• resolution: week（実施期間が 2 週間未満の場合は day）

次の chart_name のデータも取得してください：

• conversion_to_paying — 実験期間中の全体的なコンバージョンの推移
• trials_new — トライアル数の推移
• trial_conversion_rate — 実験期間中のトライアルから有料へのコンバージョン率
• initial_conversion – 初回コンバージョン率（インストールからトライアル、前払いサブスクリプション、または一度限りの購入へのコンバージョン）

ステップ 4：実験結果の取得

get-experiment-results RevenueCat ツールを使って、実験結果（現時点まで）を取得します。 パラメーター：

• project_id
• experiment_id
• platform（任意）：プラットフォームで結果を絞り込みます。例：ios
• country（任意）：国で結果を絞り込みます。例：us
• exposure_status（任意）：ペイウォールの閲覧状況で実験結果を絞り込みます。ペイウォールを閲覧した顧客には exposed、閲覧していない顧客には not_exposed を使用します。登録済みの顧客をすべて含める場合は、このパラメーターを省略します。このフィルターは、どちらの登録モードでも利用できます。

結果には Exposed customers という指標が含まれる場合があります。ユーザーに説明する際は、「ペイウォール閲覧者」と呼んでください。

ステップ 5：結果の解釈

実験でどのような変更が行われたかを把握したうえで、最善の判断に基づいて結果を解釈します。

ユーザーがカタログメタデータから導き出した主張に異議を唱えた場合は、ユーザーにストアで確認するよう求めるのではなく、get-product-store-state を使って自分で検証します。

ステップ 6：全体的な調査結果の報告

関連するチャートとダッシュボードの項目へのリンクを添えて、全体的な調査結果をユーザーに報告します（revenuecat-dashboard-links スキルを参照）。