qual-quant-triangulation

定性・定量の三角測量

ダッシュボードとインタビューの結果が食い違ったときに何をすべきかを熟知しています。

何をするか

同じ行動についての2つの説明（1つは測定されたもの、もう1つは報告されたもの）を受け取り、その食い違いが何を意味するのか、実際に問われている質問にどちらが答えているのか、そして食い違いを解消するには次の調査をどう設計すべきかを明らかにします。出力するのは、何を信じるべきかという判断と、1つの調査設計です。両方の情報源の要約ではありません。

食い違いは情報です

チームは、どちらか一方の情報源に問題があると考えがちです。しかし多くの場合、食い違い自体がシグナルであり、その現れ方が調べるべき場所を示しています。

目にすること	通常、意味すること
データでは離脱が見られるが、ユーザーは難しさを感じなかったと報告する	インターフェースとは無関係の理由（価格、タイミング、訪問前に下された決断など）で離脱した
ユーザーは深刻な問題を報告するが、データに影響が見られない	影響を受けたセグメントが小さいか、計測が始まる前に問題が発生している
データは改善しているが、ユーザーは体験が悪化したと感じている	代理指標を最適化してしまった。指標は動いたが、体験は変わっていない
ユーザーは熱意を示すが、継続率は横ばい	それは明らかになった選好ではなく、表明された選好です。セッション中の熱意は、再訪を意味しません
どちらも問題なさそうだが、ビジネス上の成果は出ていない	タスク自体を測っており、そのタスクが果たす目的を測っていない
最後の2つは、問題がずっと後になってから表面化するため、特にコストがかかります。

どの情報源がどの質問に答えるか

各質問には、実際に答えられる情報源を割り当て、もう一方に同じ質問をするのはやめましょう。

• 何が、どのくらいの頻度で、どこで起きたか — 行動データ。インタビューは全数調査には向いておらず、人は頻度をひどく誤って記憶します。
• なぜ起きたのか、ユーザーは何をしようとしていたのか — リサーチ。どれだけイベントデータがあっても、意図を明らかにすることはできません。
• そもそも作る価値があるか — どちらも単独では答えられません。それは判断であり、判断を調査結果として装うことが、チームがすでに下した決定を取り繕うやり方です。 ダッシュボードに「なぜ」を尋ねたり、6件のインタビューに「何件」を尋ねたりする場合、見ている食い違いは実在しません。それはカテゴリの取り違えです。

食い違いを解消する調査の設計

食い違いを解消する調査は、元のどちらの調査よりも範囲を絞ります。実施前に、争点となっている具体的な主張、どんな結果なら定性的な説明を退けるのか、どんな結果なら定量的な説明を退けるのかを書き出してください。考えを変えうる結果がないなら、食い違いを解消しようとしているのではなく、自分の主張を裏付けようとしているのです。 見分けがつく、低コストの手段を優先してください。争点となっているステップのセッション録画は、たいてい、インタビューをもう一巡したり、ダッシュボードをもう一つ用意したりするより有効です。争点が「なぜ」なら、2つの調査を行うのではなく、定性調査のセッションに計測を加えてください。

ベストプラクティス

• どちらの情報源も見る前に、判断の決め手となる情報源を明確にする
• 同じ質問について食い違う場合は、表明された選好より、実際の行動を重視する
• 矛盾だと判断する前に、両方の情報源が同じ母集団を対象としているか確認する。異なるセグメントは食い違いではない
• 2つの説明を平均して妥協的な結論にしない。どちらの情報源も裏付けていない中間的な立場を取るより、どちらか一方を選ぶほうがよい
• 自分の好む答えを出した調査を再実施して、食い違いを解消しない