报告概述
本白皮书基于美团履约与外卖业务多年的AB实验实践经验，系统构建了完整的实验科学方法体系。报告从AB实验的基础原理出发，详细介绍了随机对照实验、随机轮转实验、准实验和观察性研究四大类方法，并深入探讨了CUPED降方差、协变量自适应分组、溢出效应建模等关键技术。同时，报告配套介绍了开放式分析引擎BETA的使用，帮助从业者零门槛运行可信实验。适合数据科学家、算法工程师、产品经理及运营人员阅读，提升实验文化普及度，辅助企业做出精准数据驱动决策。
报告的核心结论
AB实验是验证因果关系的黄金标准，但需警惕多种统计陷阱。
报告指出，AB实验通过随机化控制混杂变量，能定性验证因果关系并定量评估增长价值。然而，实验者常面临小样本、溢出效应、方差计算错误、多重比较等陷阱，处理不当会导致错误结论。报告系统总结了常见陷阱及应对方法。
小样本与溢出效应是履约业务实验的主要难题，需采用专门方法。
美团履约业务中，实验单元常为区域等地理单位，样本量稀少且地域差异显著，同时存在骑手跨区调度等溢出效应。报告提出了协变量自适应分组、配对随机轮转、区域溢入溢出效应模型、随机饱和实验等解决方案。
CUPED等方法可有效降低方差，提升实验功效。
通过利用实验前数据作为协变量，CUPED方法可降低约50%的策略效果估计量方差，提升检验灵敏度。报告详细介绍了连续型与比率型指标下的一元/二元回归调整CUPED及新CUPED方法，并给出了适用条件。
当随机实验不可行时，准实验与观察性研究提供可替代的因果推断方案。
受公平性、产品形态等限制无法随机分组时，可使用双重差分法、合成控制法、匹配方法、Causal Impact等。报告以配送区域优化、优惠券效果评估等案例说明如何选择和应用这些方法，并强调平行趋势假设等关键条件。
报告回答的关键问题
AB实验如何保证结果的可信度？
AB实验通过随机化分配确保实验组与对照组在可观测与不可观测特征上均衡，并借助假设检验（如p值、置信区间）判断差异是否由策略真实效果引起。同时需满足个体处理稳定性假设（SUTVA）和分组随机性，并通过同质性检验、SRM检验等验证分组质量，避开方差计算陷阱和多重比较问题。
小样本场景下如何开展有效AB实验？
小样本时经典随机对照实验难以保证同质性和检测功效。报告推荐使用完全随机分组、分层随机分组、配对随机分组，以及协变量自适应分组（如基于马氏距离的序贯分配），通过平衡协变量分布提升同质性。同时可结合CUPED降方差或统合分析整合多次实验数据来提高功效。
什么是溢出效应？如何解决？
溢出效应指实验组与对照组之间因共享资源（如骑手运力）或社交关联而产生相互干扰，导致效果估计偏差。解决办法包括：使用时间片轮转实验（如全城按天随机轮转）在时间维度隔离；采用区域溢入溢出效应模型量化并剥离干扰；或使用随机饱和实验通过不同饱和度检测溢出效应。
观察性研究与随机实验有什么区别？
观察性研究适用于无法开展控制实验的场景（如全城策略、购买优惠券行为），此时干预不可控，存在选择性偏差。常用方法包括合成控制法（为处理单元构建合成对照组）、匹配方法（如倾向得分匹配）和Causal Impact（基于贝叶斯时间序列的因果推断）。这些方法依赖条件独立假设或平行趋势假设，准确性低于随机实验。
报告中的代表性数据
方差错误计算导致的假阳性率
AA模拟，当分流单元与分析单元不一致时，若错误使用方差计算公式，在策略无效情况下误判策略有效的概率可达50%。正确聚合后假阳性率控制在5%以内。
CUPED方差降低比例
资料未明确，在履约和外卖实验中，CUPED方法能够降低策略效果估计量方差约50%，大幅提升检验灵敏度。
以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- AB实验基础原理：详细阐述Rubin潜在结果模型、参数估计、假设检验、极限理论等统计学基础，帮助读者理解实验设计的理论根基。
- 随机对照实验的完整方法论：涵盖普通随机分组与完全随机分组的分组机制、评估方式（Delta/Bootstrap/Fisher/Neyman），以及求和型指标、ROI型指标等特殊评估方法。
- 提高实验功效的技术：系统讲解CUPED降方差（一元/二元同系数/不同系数、新CUPED）、分层随机分组、配对随机分组、协变量自适应分组的具体原理与实施步骤。
- 解决溢出效应的实验设计：包括时间片轮转实验（抛硬币、完全随机、分层、配对）、区域溢入溢出效应模型、随机饱和实验的建模与评估方法。
- 准实验与观察性研究：双重差分法（含平行趋势检验、固定效应模型）、合成控制法、匹配方法（倾向得分匹配等）、Causal Impact的数学模型、假设及案例。
- 高阶实验工具：统合分析（固定/随机效应模型、逆方差加权、分母求和加权、样本量加权）、多重比较修正（二阶段Benjamini-Hochberg方法）的原理与选取逻辑。
- 开放式分析引擎BETA的产品特性：详细介绍其分层架构、支持的方法种类、性能优化（分布式计算）、功效提升技术及多重比较修正功能。
- SDK代码应用实战：以随机对照实验为例，展示如何使用BETA引擎进行线下实验设计（含分组、同质性检验、MDE计算）和结果评估，并提供完整代码示例。
本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。
