alterlab-survey-design

調査設計 — 調査・測定ツール設計エージェント

教員や研究者向けの包括的な調査・測定ツール設計ツールです。調査に基づく研究の全ライフサイクルを扱います。構成概念の定義や項目の作成から、予備テスト、妥当性検証、実施、調査データの分析までを網羅します。

概要

調査研究は、社会科学、健康科学、教育、ビジネスの各分野で最も広く用いられている手法の一つです。一見単純に思えますが、妥当で信頼性の高い調査測定ツールを設計するには、構成概念の定義、項目の表現、回答形式、サンプリング、バイアスの軽減、心理測定学的妥当性の検証に体系的に取り組む必要があります。

このスキルでは、調査設計を芸術ではなく科学的なプロセスとして扱います。設計上のすべての判断には、根拠を示し、記録する必要があります。

このスキルを使う場面

以下の場合にこのスキルを使用してください：

• 新しい調査や質問票を一から設計する
• 既存の測定ツールを新しい対象集団や状況に合わせて調整する
• リッカート尺度の項目や、その他の構造化された回答形式を作成する
• インタビュー手順書やフォーカスグループのガイドを作成する
• 調査研究のサンプリング戦略を計画する
• 予備テストや認知インタビューを実施する
• 測定ツールの妥当性を検証する（信頼性・妥当性分析）
• オンライン調査プラットフォームを選定する（Qualtrics、REDCap、Google Forms）
• 回答率を高め、バイアスを軽減する
• 測定ツールの文化的適応や翻訳を行う
• 調査設計を含む研究方法論の授業を行う

対象外

状況	代わりに使用
ウェイト、層、クラスターを用いて収集済みの調査データを分析する（デザインベースの推定）	alterlab-survey-analysis
インタビューやフォーカスグループの逐語録を分析する（コーディング、テーマ）	alterlab-qualitative-methods
完成した尺度のCFA／SEM、測定不変性、IRT、または尺度を信頼できるかどうかの可否判定	alterlab-sem-psychometrics / alterlab-ssci-measurement-gate
デルファイパネル、Q方法論、その他の専門的な社会科学の研究デザイン	alterlab-social-science-methods
調査研究に関する倫理／IRB申請、インフォームド・コンセント	alterlab-research-ethics

調査と質的研究を組み合わせる場合は alterlab-mixed-methods を使用してください。測定ツール自体を超えて、仮説検定の選択や検出力分析を行う場合は alterlab-statistical-analysis を使用してください。

---

主な機能

1. 調査設計プロセス

調査設計の10ステップ・フレームワーク：

Step 1:  Define research objectives and constructs
         What do you want to measure? What are your research questions?
              │
Step 2:  Review existing instruments
         Has someone already validated an instrument for your construct?
              │
Step 3:  Define the target population and sampling frame
         Who will you survey? How will you reach them?
              │
Step 4:  Choose survey mode
         Online, paper, phone, in-person, mixed-mode?
              │
Step 5:  Write items and response options
         Craft questions that are clear, unambiguous, and aligned to constructs
              │
Step 6:  Design survey structure and flow
         Organize sections, add skip logic, manage survey length
              │
Step 7:  Expert review
         Subject matter experts and methodologists evaluate the instrument
              │
Step 8:  Cognitive interviews and pilot testing
         Test with a small sample from the target population
              │
Step 9:  Psychometric validation
         Reliability analysis, factor analysis, validity assessment
              │
Step 10: Deploy, monitor, and analyze
         Launch survey, track response rates, clean and analyze data

2. 構成概念の定義と操作化

項目を一つでも作成する前に、何を測定するのかを定義してください。各構成概念をその次元、指標、関連はあるものの異なる構成概念、そしてノモロジカル・ネットワークに対応づけ、すべての項目が具体的な概念に結び付くようにします。

構成概念マッピングの完全なテンプレートについては、references/item_writing_and_scales.md を参照してください。

3. 項目の作成

質問の種類と使いどころ

種類	形式	最適な用途
クローズドエンド（単一選択）	ラジオボタン	相互排他的なカテゴリー
クローズドエンド（複数選択）	チェックボックス	相互排他的ではないカテゴリー
リッカート尺度	評定尺度	態度、認識、頻度
セマンティック・ディファレンシャル	双極尺度	評価的判断
順位付け	ドラッグ＆ドロップまたは番号入力	優先順位の強制的な選択
マトリックス／グリッド	表形式のリッカート項目	同じ回答尺度を用いる複数の項目
オープンエンド	テキストボックス	探索的で豊かな回答
数値	数値入力欄	正確な数量
視覚的アナログ尺度（VAS）	スライダー	連続的な測定

リッカート尺度 — 選択肢の数

選択肢の数	トレードオフ	使用する場合
4件法	中間点がなく、選択を強制します	社会的望ましさによる中間点への集中を避けたい場合
5件法	最も一般的で理解しやすい一方、中心化傾向バイアスがあります	標準的な態度測定
6件法	より細かい選択肢で選択を強制します	選択肢を増やしつつ、方向性を選ばせたい場合
7件法	弁別力が高く、因子分析に適しています	確立された心理測定尺度

項目作成の基本 — 推奨事項： 簡潔で明確な表現にすること、1項目につき1つの概念にすること（ダブルバーレルにしない）、具体的な期間を指定すること、質問文に尺度を合わせること、対象集団でパイロット調査を行うこと、項目を多めに作成すること。避けるべき事項： 誘導的・偏った表現、二重否定、知識があることを前提とすること、絶対的な表現、長すぎる項目、実際の行動について尋ねるのに仮定の状況を尋ねること。

質問形式の例、リッカート尺度のラベル付け方法、推奨事項と避けるべき事項の全ルール、修正前後の項目例については、references/item_writing_and_scales.md を参照してください。

4. 調査の構成と流れ

調査票は次の順に構成します：歓迎と同意 → スクリーニング → 構成概念ごとにまとめた主要な内容（簡単な質問を先に、センシティブな質問を調査の中盤に配置） → 最後に人口統計 → お礼とデブリーフィング。スキップロジックを使って該当しない質問を非表示にし、対象外の回答者を別のルートに誘導します。

調査構成テンプレートとスキップロジック設計の詳しい例については、references/item_writing_and_scales.md を参照してください。

5. サンプリング戦略

確率サンプリング（すべての構成員について、既知のゼロではない選択確率があり、一般化が可能です）：

方法	仕組み	トレードオフ
単純無作為抽出	完全なリストから無作為に選びます	偏りがありませんが、完全なサンプリングフレームが必要です
系統抽出	k番目ごとの要素を選びます	簡単ですが、リストにパターンがあると周期性のリスクがあります
層化抽出	母集団の層ごとに無作為抽出します	サブグループの代表性を確保できますが、母集団に関する知識が必要です
クラスター抽出	クラスターを無作為に選び、その中からサンプリングします	個人リストがなくても実施できますが、サンプリング誤差が大きくなります
多段抽出	複数の方法を組み合わせます（クラスター抽出の後に層化抽出など）	大規模な母集団にも柔軟に対応できますが、分析は複雑になります

非確率サンプリング（代表性は保証されません）：

方法	仕組み	トレードオフ
利用可能性サンプリング	参加可能な人を募集します	迅速かつ低コストですが、強い偏りがあります
目的抽出	特定の基準に基づいて選びます	関連するサブグループを対象にできますが、研究者の偏りが生じます
スノーボールサンプリング	参加者がほかの人を紹介します	隠れた母集団に届きますが、つながりのある人に偏ります
クォータサンプリング	サブグループごとのクォータ内で利用可能な対象者をサンプリングします	多様性を確保できますが、クォータ内では真の無作為抽出ではありません

記述的調査では割合の公式 n = (Z² × p × (1-p)) / E² を使ってサンプルサイズを決定し（有限母集団と予想回答率を調整）、比較調査では検出力分析を行います。サンプルサイズの公式例と、Python による2群の検出力分析ヘルパーについては、references/sampling_and_power.md を参照してください。

6. 回答バイアスの軽減

バイアスの種類	定義	軽減策
社会的望ましさ	回答者が社会的に受け入れられると考える方法で回答すること	匿名でのデータ収集、間接的な質問、妥当性が検証された社会的望ましさ尺度（例：Marlowe-Crowne）
黙従傾向	内容にかかわらず、記述に同意する傾向	肯定的な表現と否定的な表現の項目を混在させる、強制選択形式を使用する
中心化傾向	中央の回答選択肢を選ぶ傾向	偶数段階の尺度（中間点なし）を使用する、行動に基づく基準を提示する
極端反応傾向	極端な選択肢を選ぶ傾向	回答選択肢を増やす（7件法）、基準の説明を明確にする
順序効果	先行する質問が後続の質問への回答に影響すること	セクション内の項目順をランダム化する、回答者間で順序をカウンターバランスする
無回答バイアス	回答者と無回答者の間に体系的な差があること	フォローアップのリマインダーを送る、早期回答者と後期回答者を分析する、人口との属性を比較する
想起バイアス	過去の出来事を不正確に想起すること	想起期間を短くする、記憶を助ける手段を提示する、出来事を特定したプロンプトを使用する
共通方法バイアス	同一の測定方法によって相関が過大になること	異なる測定方法を使用する、測定時期を分ける、マーカー変数を使用する

7. パイロットテスト

本格導入の前に、3段階のパイロットを実施します：（1）内容妥当性と表面的妥当性に関する専門家レビュー（CVI の基準値：Item-CVI ≥ 0.78、Scale-CVI/Ave ≥ 0.90）；（2）思考発話法と掘り下げ質問を用いた認知インタビュー（n = 5-10）；（3）回答完了状況、欠損データ、分布、内的一貫性、項目・合計相関を評価する定量的パイロット（n = 30-50）。

各段階の完全な手順、質問スクリプト、定量的パイロットのチェックリストについては、references/pilot_and_validation.md を参照してください。

8. 尺度の妥当性検証

信頼性（下位尺度ごとの Cronbach のアルファ、修正済み項目・合計相関 — 0.30 未満の項目にフラグを立てます）と、以下の各種証拠に基づく妥当性を評価します。探索的因子分析（Bartlett 検定、KMO、固有値、回転後の因子負荷量）を用いて、内部構造を確認します。アルファと併せて McDonald's omega も報告してください。アルファは因子負荷量が等しいこと（タウ等価性）を仮定しており、負荷量が異なる場合は信頼性を過小評価します。このため、方法論の専門家は omega を推奨しています（McNeish, 2018）。この確認は alterlab-ssci-measurement-gate が扱い、alterlab-sem-psychometrics は適合済み因子モデルから omega を算出します。

種類	問い	方法
内容妥当性	項目は構成概念を十分に網羅していますか？	専門家レビュー、CVI の算出
表面的妥当性	項目は構成概念を測定しているように見えますか？	対象集団によるレビュー
構成概念妥当性	理論上の構成概念を測定していますか？	因子分析（EFA/CFA）
収束的妥当性	類似の尺度と相関していますか？	確立された尺度との相関（r > 0.50）
弁別的妥当性	異なる構成概念と区別されていますか？	関連のない尺度との低い相関（r < 0.30）
基準関連妥当性（同時的）	現在の基準と相関していますか？	ゴールドスタンダードとの相関を同時に測定
基準関連妥当性（予測的）	将来の結果を予測しますか？	後に測定した基準との相関
既知集団妥当性	異なることがわかっている集団を区別できますか？	異なるはずの集団間でスコアを比較

Cronbach のアルファ、項目・合計相関、EFA、および3段階のパイロット手順を実行する Python コードについては、references/pilot_and_validation.md を参照してください。CFA の適合度指標、測定不変性、より広範な心理測定の枠組みについては、references/survey-methodology.md を参照してください。

9. オンライン調査プラットフォームの比較

機能	Qualtrics	REDCap	Google Forms	LimeSurvey
費用	機関向けライセンス（高額）	機関向けは無料	無料	無料（オープンソース）
スキップロジック	高度	高度	基本的	高度
ランダム化	あり（項目、ブロック）	限定的	なし	あり
パイピング	あり	あり	なし	あり
オフラインでのデータ収集	あり（アプリ）	あり（アプリ）	なし	あり
HIPAA 準拠	あり（BAA を利用可能）	あり（その目的で設計）	署名済みの Google Workspace BAA がある場合のみ（有料プラン）。無料アカウントでは利用不可	セルフホストの場合：あり
API アクセス	あり	あり	限定的	あり
データのエクスポート	CSV、SPSS、Excel	CSV、Excel、SPSS、SAS、R、Stata	CSV、Excel	CSV、Excel、SPSS、R
多言語対応	あり	あり	手動	あり
パネル連携	あり（Prolific、MTurk）	なし	なし	限定的
最適な用途	複雑な学術調査	臨床および健康に関する研究	簡単な調査、授業評価	予算を重視する複雑な調査

10. インタビュープロトコルの作成

半構造化インタビューガイドを作成します。台本に沿った冒頭の挨拶と同意確認、ウォームアップの質問、構成概念ごとにまとめた主要な質問ブロック（それぞれに掘り下げる質問を含む）、最後に内容を限定しない質問、インタビュー後のフィールドノート作成手順を盛り込みます。

半構造化インタビューガイドのテンプレート全文：references/qualitative_protocols.md を参照してください。

11. フォーカスグループの進行

1グループあたり6～10人（複雑なトピックでは4～6人）、セグメントごとに飽和に達するまで3～5グループを計画し、グループ内は均質、グループ間は異質になるようにします。司会者と記録係の役割を割り当て、中立的な環境を整え、ファネルアプローチで進行して、発言の多い参加者と少ない参加者の双方に配慮します。

フォーカスグループ設計チェックリスト全文：references/qualitative_protocols.md を参照してください。

12. 調査票の文化的適応

Brislin（1970）の逆翻訳サイクル（順翻訳 → 独立した逆翻訳 → 調整 → 文化的レビュー → 認知インタビュー → 妥当性検証）と ISPOR の異文化適応ガイドライン10段階を用いて、言語や文化に合わせて調査票を適応させます。

逆翻訳のフロー図と ISPOR の手順一覧全文：references/qualitative_protocols.md を参照してください。

---

ベストプラクティス

1. 質問ではなく構成概念から始めます。 項目を1つでも書く前に、何を測定するのかを正確に定義します。各項目は、特定の構成概念または次元に結び付いている必要があります。

2. 可能であれば、既存の妥当性が確認された調査票を使用します。 車輪の再発明は避けましょう。確立された心理測定特性を持つ調査票を文献から探します。

3. すべてをパイロットテストします。 すべての調査は、本格的に実施する前に認知インタビューと定量的なパイロットテストを実施する必要があります。対象集団でのテストに代わるものはありません。

4. 短く保ちます。 項目を追加するたびに、回答を途中でやめるリスクが高まります。実際に分析する項目だけを含めます。優れた調査は、可能な限り短く、必要なだけの長さにします。

5. 最も回答が難しい参加者に合わせて設計します。 適切な読解レベルで書きます。モバイル端末でテストします。アクセシビリティ（スクリーンリーダー、色のコントラスト）を考慮します。必要に応じて翻訳を用意します。

6. セクション内の項目の順序をランダム化します。 これにより、順序効果を抑え、不注意な回答を見つけやすくなります。

7. 注意力チェックを含めます。 不注意な回答者を特定するため、回答を指示する項目を1～2個（例：「この項目では『同意する』を選択してください」）埋め込みます。

8. データ収集前に分析計画を立てます。 すべての質問は、分析計画上の目的を持つ必要があります。項目の分析方法を説明できない場合は、その項目を削除します。

9. すべてを記録します。 項目を追加、削除、修正した理由、パイロットテストの結果、専門家からのフィードバックなど、あらゆる判断を記録した調査設計ログを保管します。

10. 回答者のデータを保護します。 可能な場合は匿名のリンクを使用し、データを安全に保管し、識別情報の収集を最小限に抑え、IRB の要件を遵守します。

よくある落とし穴

落とし穴	起こる理由	回避方法
二重質問	効率を上げようとして、2つのことを一度に尋ねてしまう	別々の項目に分け、1項目につき1つの概念にします
誘導的な質問	研究者の仮説が質問文に影響する	仮説を知らない同僚に項目を確認してもらいます
質問文に合わない回答選択肢	別のアンケートからコピーしている	質問文と回答尺度が文法的にも論理的にも合っていることを確認します
自由回答形式の質問が多すぎる	豊富なデータを得ようとしてしまう	自由回答形式の項目は2～3個に絞り、詳細な聞き取りはインタビューで行います
予備テストをしない	時間的な制約や、項目の明瞭さに対する過信	必ず予備テストを行います。3～5人に短時間の認知インタビューをするだけでも役立ちます
モバイル回答者への配慮不足	デスクトップで設計している	複数のデバイスでテストし、モバイルではマトリックス形式の質問を避けます（正しく表示されません）
回答率が低い	フォローアップ計画がない、アンケートが長すぎる、謝礼がない	事前に告知し、リマインダーを送信し（3～4回連絡）、アンケートを短くして、謝礼を用意します
心理測定学的な妥当性の検証を怠る	項目が「適切そうに見える」ため、有効だと思い込む	信頼性分析と因子分析を行い、論文で結果を報告します
非確率抽出法によるサンプリングを代表的なものとして報告する	サンプリングの限界を理解していない	限界の節で、サンプリング方法について正直に記述します
文化的配慮の欠如	調査票が文化を越えてそのまま利用できると思い込む	正式な適応手順（逆翻訳、認知インタビュー）を用います

---

参考文献

• DeVellis, R. F., & Thorpe, C. T. (2022). Scale development: Theory and applications (5th ed.). Sage.
• Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: The tailored design method (4th ed.). Wiley.
• Fowler, F. J. (2014). Survey research methods (5th ed.). Sage.
• Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey methodology (2nd ed.). Wiley.
• Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of survey research (2nd ed., pp. 263-313). Emerald.
• McNeish, D. (2018). Thanks coefficient alpha, we'll take it from here. Psychological Methods, 23(3), 412-433.
• Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research. Journal of Applied Psychology, 88(5), 879-903.
• Willis, G. B. (2005). Cognitive interviewing: A tool for improving questionnaire design. Sage.

詳しい方法論については、references/survey-methodology.md も参照してください。

AlterLab Academic Skills スイートの一部です。