alterlab-survey-design

调查设计 — 调查与测量工具设计 Agent

面向教职人员和研究人员的全面调查与测量工具设计工具。涵盖基于调查的研究的完整生命周期：从构念定义和题项编写，到预测试、验证、实施和调查数据分析。

概述

调查研究是社会科学、健康科学、教育和商业领域应用最广泛的方法之一。尽管看似简单，设计有效且可靠的调查工具仍需系统地关注构念定义、题项措辞、作答格式、抽样、偏差缓解和心理测量验证。

此技能将调查设计视为科学过程，而非艺术。每项设计决策都应有依据并记录在案。

何时使用此技能

以下情况应使用此技能：

• 从头设计新的调查或问卷
• 为新的人群或情境调整现有测量工具
• 编写李克特量表题项或其他结构化作答格式的题项
• 制定访谈方案或焦点小组指南
• 规划调查研究的抽样策略
• 开展预测试和认知访谈
• 验证测量工具（信度和效度分析）
• 选择在线调查平台（Qualtrics、REDCap、Google Forms）
• 提高回应率并减少偏差
• 开展测量工具的文化适配和翻译
• 教授包含调查设计内容的研究方法课程

不适用的情况

情景	改用
使用权重、分层或聚类分析已收集的调查数据（基于抽样设计的估计）	alterlab-survey-analysis
分析访谈或焦点小组记录（编码、主题）	alterlab-qualitative-methods
对最终量表进行 CFA/SEM、测量不变性或 IRT 分析；判断量表是否可信的准入/不准入检查	alterlab-sem-psychometrics / alterlab-ssci-measurement-gate
德尔菲小组、Q 方法或其他专门的社会科学研究设计	alterlab-social-science-methods
调查研究的伦理/IRB 申请、知情同意	alterlab-research-ethics

若要将调查与定性研究部分结合使用，请使用 alterlab-mixed-methods；若要为测量工具本身以外的内容选择假设检验方法并进行功效分析，请使用 alterlab-statistical-analysis。

---

核心能力

1. 调查设计流程

调查设计 10 步框架：

Step 1:  Define research objectives and constructs
         What do you want to measure? What are your research questions?
              │
Step 2:  Review existing instruments
         Has someone already validated an instrument for your construct?
              │
Step 3:  Define the target population and sampling frame
         Who will you survey? How will you reach them?
              │
Step 4:  Choose survey mode
         Online, paper, phone, in-person, mixed-mode?
              │
Step 5:  Write items and response options
         Craft questions that are clear, unambiguous, and aligned to constructs
              │
Step 6:  Design survey structure and flow
         Organize sections, add skip logic, manage survey length
              │
Step 7:  Expert review
         Subject matter experts and methodologists evaluate the instrument
              │
Step 8:  Cognitive interviews and pilot testing
         Test with a small sample from the target population
              │
Step 9:  Psychometric validation
         Reliability analysis, factor analysis, validity assessment
              │
Step 10: Deploy, monitor, and analyze
         Launch survey, track response rates, clean and analyze data

2. 构念定义与操作化

在编写任何题项之前，先定义要测量的内容。将每个构念映射到其维度、指标、彼此不同但相关的构念及理论关系网络，确保每个题项都能追溯到具体内容。

完整的构念映射模板：参见 references/item_writing_and_scales.md。

3. 题项编写

问题类型及适用场景

类型	格式	最适用场景
封闭式（单选）	单选按钮	互斥类别
封闭式（多选）	复选框	非互斥类别
李克特量表	评分量表	态度、感知、频率
语义差异量表	双极量表	评价性判断
排序	拖放或编号	强制确定优先顺序
矩阵/网格	表格中的李克特量表题项	多个题项使用相同的作答量表
开放式	文本框	探索性、丰富的回答
数值型	数字输入框	精确数量
视觉模拟量表（VAS）	滑块	连续测量

李克特量表——选项数

选项数	权衡	适用场景
4 项	迫使受访者作出选择（没有中间选项）	避免答案聚集在中间选项，造成社会赞许性偏差
5 项	最常见、易于理解；存在中心趋势偏差	标准态度测量
6 项	迫使受访者作出选择，且选项更细致	需要明确方向，同时提供更多选项
7 项	区分度更高；更适用于因子分析	成熟的心理测量工具

**编写题项要点——应该：**使用简单、清晰的语言；每个题项只涉及一个概念（避免双重问题）；明确时间范围；确保量表与题干匹配；在目标人群中进行预测试；多编写一些题项。**不应该：**使用诱导性或带有倾向性的措辞；使用双重否定；假设受访者具备相关知识；使用绝对化措辞；编写过长的题项；在想了解实际行为时询问假设情况。

完整的题型示例、李克特量表标注方案、完整的应该／不应该规则，以及题项修改前后的实例：参见 references/item_writing_and_scales.md。

4. 调查结构与流程

按以下顺序组织调查问卷：欢迎语 + 知情同意 → 筛选题 → 按构念分组的主要内容（先问简单问题，敏感题项放在调查中段）→ 最后询问人口统计信息 → 致谢／事后说明。使用跳题逻辑隐藏不相关的问题，并对不符合条件的受访者进行分流。

完整的调查结构模板和跳题逻辑设计示例：参见 references/item_writing_and_scales.md。

5. 抽样策略

概率抽样（每个成员被选中的概率已知且不为零；结果可推广）：

方法	原理	权衡
简单随机抽样	从完整名单中随机抽取	无偏，但需要完整的抽样框
系统抽样	每隔 k 个元素抽取一个	操作简单，但若名单存在规律性，可能产生周期性风险
分层抽样	在总体各层内随机抽样	确保子群体得到代表；需要了解总体情况
整群抽样	随机抽取群组，再在群组内抽样	无需个人名单，实用性强；抽样误差较大
多阶段抽样	组合多种方法（先整群，再分层）	适用于大型总体，灵活性高；分析复杂

非概率抽样（不保证代表性）：

方法	原理	权衡
便利抽样	招募当前可接触到的对象	快速、成本低，但偏差较大
目的抽样	根据特定标准进行选择	针对相关子群体；存在研究者偏差
滚雪球抽样	由参与者招募其他人	能触及隐蔽群体；容易偏向关系网络广泛的人
配额抽样	在各子群体配额内进行便利抽样	确保多样性；配额内并非真正随机抽样

对于描述性调查，使用比例公式 n = (Z² × p × (1-p)) / E² 确定样本量（根据有限总体和预期响应率进行调整）；对于比较性调查，则进行功效分析。样本量公式实例和 Python 双组功效分析辅助工具：参见 references/sampling_and_power.md。

6. 响应偏差缓解

偏差类型	定义	缓解策略
社会赞许偏差	受访者按自己认为符合社会期待的方式作答	匿名收集数据；采用间接提问；使用经过验证的社会赞许量表（如 Marlowe-Crowne）
默认倾向	不论陈述内容如何，都倾向于表示赞同	混合使用正向和负向表述的题项；使用强制选择格式
中心倾向	倾向于选择中间选项	使用偶数点量表（不设中间选项）；提供行为锚点
极端作答	倾向于选择极端选项	增加选项数量（7 点）；提供清晰的锚点说明
顺序效应	前面的问题会影响对后续问题的回答	在各部分内随机排列题项顺序；在不同受访者之间平衡顺序
无应答偏差	应答者与未应答者之间存在系统性差异	发送后续提醒；分析早期与晚期应答者；将人口统计特征与总体进行比较
回忆偏差	对过去事件的回忆不准确	缩短回忆时间范围；提供记忆辅助；使用针对具体事件的提示词
共同方法偏差	由于采用相同测量方法而导致相关性虚高	使用不同的测量方法；在时间上分隔测量；使用标记变量

7. 试点测试

在全面部署前，开展三阶段试点：（1）由专家评审内容效度和表面效度（CVI 阈值：Item-CVI ≥ 0.78，Scale-CVI/Ave ≥ 0.90）；（2）开展认知访谈（n = 5-10），采用出声思考和追问；（3）开展定量试点（n = 30-50），评估完成情况、缺失数据、分布、内部一致性和题项-总分相关性。

包含逐阶段完整流程、探查脚本和定量试点检查清单的文档：参见 references/pilot_and_validation.md。

8. 测量工具验证

评估信度（各子量表的 Cronbach's alpha、校正后的题项-总分相关性——标记 < 0.30 的题项），并依据以下证据类型评估效度。使用探索性因子分析（Bartlett's 检验、KMO、特征值、旋转载荷）检查内部结构。除 alpha 外，同时报告 McDonald's omega：alpha 假设载荷相等（tau 等价），载荷不等时会低估信度，因此方法学家建议使用 omega（McNeish，2018）；alterlab-ssci-measurement-gate 涵盖这一检查，alterlab-sem-psychometrics 则根据拟合的因子模型计算 omega。

类型	问题	方法
内容效度	题项是否充分涵盖该构念？	专家评审、CVI 计算
表面效度	题项看起来是否在测量该构念？	目标人群评审
构念效度	是否测量了理论构念？	因子分析（EFA/CFA）
聚合效度	是否与相似测量结果相关？	与成熟工具的相关性（r > 0.50）
区分效度	是否与不同构念有所区别？	与无关测量结果的低相关性（r < 0.30）
效标效度（同时效度）	是否与当前效标相关？	与同时测量的黄金标准进行相关性分析
效标效度（预测效度）	是否能预测未来结果？	与稍后测量的效标进行相关性分析
已知组效度	能否区分已知存在差异的群体？	比较理应存在差异的群体之间的得分

可运行的 Python 代码，涵盖 Cronbach's alpha、题项-总分相关性、EFA 和三阶段试点流程：参见 references/pilot_and_validation.md。有关 CFA 拟合指标、测量不变性和更全面的心理测量框架，请参见 references/survey-methodology.md。

9. 在线调查平台比较

特性	Qualtrics	REDCap	Google Forms	LimeSurvey
费用	机构许可证（价格昂贵）	机构免费使用	免费	免费（开源）
跳转逻辑	高级	高级	基础	高级
随机化	支持（题目、区块）	有限	不支持	支持
插入答案	支持	支持	不支持	支持
离线数据收集	支持（应用）	支持（应用）	不支持	支持
符合 HIPAA 要求	支持（可提供 BAA）	支持（专为此设计）	仅限签署了 Google Workspace BAA 的付费方案；免费账户不支持	自托管：支持
API 访问	支持	支持	有限	支持
数据导出	CSV、SPSS、Excel	CSV、Excel、SPSS、SAS、R、Stata	CSV、Excel	CSV、Excel、SPSS、R
多语言	支持	支持	手动	支持
样本库集成	支持（Prolific、MTurk）	不支持	不支持	有限
最适用于	复杂的学术调查	临床和健康研究	简单调查、课程评估	注重预算的复杂调查

10. 访谈方案编制

编制半结构化访谈提纲，包含脚本化的开场白和知情同意说明、热身问题、按构念组织的主要问题区块（每个区块均包含追问）、收尾开放问题，以及访谈后的实地笔记整理流程。

完整的 半结构化访谈提纲模板：参见 references/qualitative_protocols.md。

11. 焦点小组主持

每组安排 6-10 人（复杂主题安排 4-6 人），每个细分群体安排 3-5 组，直至达到饱和；组内成员应同质，组间成员应异质。指定主持人和记录员，准备中立的环境，并采用漏斗式主持方法来管理发言较多和较少的成员。

完整的 焦点小组设计检查清单：参见 references/qualitative_protocols.md。

12. 工具的文化适配

采用 Brislin（1970）的回译流程（正向翻译 → 独立回译 → 协调统一 → 文化审查 → 认知访谈 → 验证）和 ISPOR 跨文化适配 10 步指南，使工具适配不同语言和文化。

完整的回译流程图和 ISPOR 步骤列表：参见 references/qualitative_protocols.md。

---

最佳实践

1. 从构念入手，而不是从问题入手。 在编写任何题目之前，先明确定义要测量的内容。每个题目都应对应一个具体构念或维度。

2. 尽可能使用现有的经验证工具。 不要重复造轮子。查阅文献，寻找具有既定心理测量学特性的工具。

3. 对所有内容进行试测。 每份调查在全面开展之前都应经过认知访谈和定量试测。没有什么能替代在目标人群中进行测试。

4. 保持简短。 每增加一道题，受访者中途退出的风险就会增加。只保留你确实会分析的题目。好的调查应尽可能短，同时满足必要需求。

5. 以能力最弱的受访者为设计对象。 使用适当的阅读难度。通过移动设备测试。考虑无障碍需求（屏幕阅读器、色彩对比度）。如有需要，提供译文。

6. 在各部分内随机排列题目顺序。 这能减少顺序效应，并有助于发现敷衍作答的情况。

7. 加入注意力检测题。 嵌入 1-2 道指定作答题（例如，“请为本题选择‘同意’”），以识别敷衍作答的受访者。

8. 在收集数据前规划分析。 每个问题都应服务于分析计划。如果你无法说明将如何分析某道题，就将其删除。

9. 记录所有事项。 保留调查设计日志，记录每项决定：增加、删除或修改题目的原因；试测结果；专家反馈。

10. 保护受访者数据。 尽可能使用匿名链接；安全存储数据；尽量少收集身份标识信息；遵守 IRB 要求。

---

常见陷阱

陷阱	原因	如何避免
双重问题	为了提高效率，一次询问两件事	拆分为独立条目；每个条目只涉及一个概念
诱导性问题	研究者的假设影响了措辞	请不了解你的假设的同事审阅条目
回答选项与题干不匹配	从其他调查中复制粘贴	确保题干与回答量表在语法和逻辑上相匹配
开放式问题过多	希望获得丰富的数据	将开放式条目限制在 2-3 个；深入探讨留给访谈
未进行预测试	时间紧迫；过度自信，认为条目清晰易懂	始终进行预测试——即使只是对 3-5 人进行快速认知访谈，也会有所帮助
忽视移动设备受访者	在桌面设备上设计	在多种设备上测试；避免在移动设备上使用矩阵问题（容易出问题）
回复率低	没有后续跟进计划；调查过长；没有激励措施	事先通知；发送提醒（联系 3-4 次）；缩短调查；提供激励措施
忽视心理测量验证	认为条目看起来正确就代表有效	进行信度和因子分析；在论文中报告结果
将便利抽样报告为具有代表性	不理解抽样的局限性	在局限性部分如实说明抽样方法
缺乏文化敏感性	假设测量工具适用于不同文化	使用正式的适配程序（回译、认知访谈）

---

参考文献

• DeVellis, R. F., & Thorpe, C. T. (2022). 量表开发：理论与应用（第 5 版）。Sage。
• Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). 互联网、电话、邮件和混合模式调查：定制设计方法（第 4 版）。Wiley。
• Fowler, F. J. (2014). 调查研究方法（第 5 版）。Sage。
• Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). 调查方法学（第 2 版）。Wiley。
• Krosnick, J. A., & Presser, S. (2010). 问题与问卷设计。载于 P. V. Marsden & J. D. Wright（编），调查研究手册（第 2 版，第 263-313 页）。Emerald。
• McNeish, D. (2018). 谢谢你，系数 alpha，我们从这里接手。心理学方法，23(3)，412-433。
• Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). 行为研究中的共同方法偏差。应用心理学杂志，88(5)，879-903。
• Willis, G. B. (2005). 认知访谈：改进问卷设计的工具。Sage。

另请参阅：references/survey-methodology.md，了解扩展的方法论详情。

属于 AlterLab 学术技能套件的一部分。