报告概述

本研究通过一项在尼日利亚农村开展的大规模多模式调查实验,系统评估了调查模式(电话访问 vs. 面对面访问)对数据质量的影响。实验设计将模式效应与其他常见调查误差源(如覆盖偏差、受访者选择效应、时效性效应和顺序效应)分离开来,涵盖了健康、劳动力、企业运营、主观福祉、食品消费、气候预期和冲击等20个结果变量。研究采用组间和组内两种识别策略,并分析了受访者个体层面的模式效应异质性及其驱动机制。该报告为在低收入和中等收入国家使用电话调查的研究人员、调查设计者和数据用户提供了关于测量误差规模、方向及缓解策略的关键实证依据。

报告的核心结论

电话调查与面对面调查的回答存在系统性差异。

在20个结果变量中,电话调查的回答与面对面调查的中位数偏差达17%-18%。其中70%的变量呈现正向差异,即电话受访者更倾向于给出肯定或频率更高的回答。健康支出、家庭企业运营和COVID-19疫苗接种等变量的模式效应尤其突出,偏差幅度超过50%。

模式效应普遍大于覆盖误差。

覆盖误差(因非普遍拥有电话导致的样本代表性问题)在约一半的变量中显著,但其大小仅为模式效应的21%(中位数)。两者往往符号相反,在聚合时相互抵消,掩盖了电话调查中实质性的抽样和非抽样误差。

模式效应存在显著个体差异,教育水平是关键因素。

通过组内设计发现,受访者个体层面的模式效应远大于平均值所揭示的程度。教育水平较高的受访者受模式效应影响较小:与未接受教育者相比,初等、中等和高等教育者的不一致回答概率分别降低4、5和7个百分点。

电话受访者表现出系统性的应答行为差异。

与面对面调查相比,电话受访者更倾向于同意表述、对二分问题回答“是”、给出极端值或取整数值。答案选项越多,不一致回答的概率越高:每增加一个选项,不一致概率上升5个百分点。

报告回答的关键问题

电话调查和面对面调查的数据质量差别有多大?

两者存在显著系统性差异。以中位数衡量,电话调查的回答与面对面调查偏差约17%-18%。偏差方向多数为正向,即电话中更容易获得肯定或高频回答,但具体因主题和变量类型而异。健康支出、企业运营等领域的偏差尤为突出,可达50%以上。

哪种调查模式更准确?

研究无法直接判定哪种模式更接近真实值,因为缺乏客观基准。但间接证据(如更高的同意率、极端值、取整倾向)表明电话受访者可能认知参与度较低,增加了测量误差风险。两类调查均存在测量误差,电话调查的模式效应可能更为突出。

电话调查的覆盖偏差如何影响数据质量?

电话拥有率非随机,与性别、年龄、教育、财富相关,导致约半数结果变量存在显著覆盖效应。但覆盖误差通常小于模式效应(中位数为模式效应的21%),且两者常符号相反,聚合时互相抵消,掩盖了真实误差。通过发放电话可有效缓解覆盖偏差。

哪些人群在电话调查中更容易出现应答偏差?

教育水平低的受访者更易受模式效应影响。初等教育以下者不一致回答概率比高等教育者高7个百分点。受访者年龄、性别和语言熟悉度与模式效应关联不显著,而枚举员特征也起一定作用。问题选项越多,不一致回答越普遍。

报告中的代表性数据

电话调查中健康支出发生率较面对面高约200%

健康支出发生率(电话 vs 面对面)

2023/24年度,在组间设计中,电话调查的健康支出发生率为0.464,面对面为0.234,百分比变化+198.8%;组内设计结果相似。此差异为所有变量中最大。

电话调查的接种率较面对面高62-63%

COVID-19疫苗接种率(电话 vs 面对面)

2023/24年度,组间设计显示电话调查接种率0.202高于面对面0.322(模型截距),百分比变化+62.8%;组内设计变化+62.3%。表明电话中容易高报接种情况。

二分问题36%不一致,十级主观福祉问题82%不一致

受访者不一致回答比例(按变量类型)

2023/24年度,针对同一受访者的电话与面对面回答,不一致比例随答案选项数增加而急剧上升,平均每多一个选项增加5个百分点。总体约55%的变量出现不一致。

以上数据根据报告摘要整理,具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 详细实验设计说明:包括随机分组、电话发放、访谈顺序随机化等操作细节,以及样本平衡性检验。
  • 20个结果变量的完整描述性统计和双向效应估计表格(组间与组内设计),涵盖健康、福祉、劳动、食品消费等各领域。
  • 覆盖误差与模式效应的对比分析:量化电话拥有率对估计的影响,并通过反事实比较展示两者交互关系。
  • 受访者层面模式效应分布图:展示个体偏差的异质性,揭示平均值掩盖的大量正负抵消现象。
  • 机制分析:通过多模态回归探讨教育、枚举员特征、问题选项数量等因素如何调节模式效应。
  • 应答行为模式检验:包括同意倾向、极端值、取整行为的统计检验(表3),辅以多分类logit模型。
  • 有序效应检验:验证访谈顺序是否影响回答,证明实验内部有效性。
  • 附录中的补充表格和图表:如各变量不一致比例、时间效应控制、枚举员特征平衡表等。
  • 研究局限性讨论:包括枚举员差异、问卷长度、激励措施等不可控因素,以及缺乏客观基准的约束。
  • 对调查设计和数据分析的实践建议:如标准化问卷、实时质量监控、混合模式校准等。

本页内容由川海智库整理,用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限,部分观点、数据、统计口径或表述可能存在偏差,具体内容请以完整报告原文为准。

相关报告