实验与统计建模 · case-08
A/B 实验与显著性检验
A/B 实验与显著性检验：手算两比例检验与连续指标检验的关键量。
如何判断实验差异是否可信，同时避免分流异常、样本不足或反复查看带来的误判？
- 输入数据来源
- Notebook 内构造的教学示例，不来自已核实的真实企业业务数据。
- 数据性质
- 刻意构造的教学样例；部分数据特意包含缺失、离群、并列或异常现象，不代表实际运营情况。
- 图件状态
- 案例包附带的静态教学图件；本次构建未执行 Notebook。
KEY POINTS
这条内容的重点
进阶 5 小时
- 手算两比例检验与连续指标检验的关键量。
- 估计样本量并说明显著性、效应量和检验功效的关系。
- 区分 AA 检验和 SRM 检查的用途，并说明 peeking 风险。
WORKFLOW
内容流程
确认实验设计
明确随机化单位、主指标、护栏指标、样本分配和观察时长。
本步产物 实验设计检查表。
计算检验与样本量
完成两比例 z 检验、连续指标 t 检验和样本量估算，检查 AA 与 SRM。
本步产物 检验与分流诊断结果。
解释提前查看风险
比较预设检验和累积反复查看的结果，讨论 peeking 造成的假阳性风险。
本步产物 实验结论及风险说明。
METHODS
相关方法
- 两比例 z 检验
- t 检验与置信区间
- 样本量估算
- AA、SRM 与 peeking 检查
DELIVERABLES
可获得的内容
- 实验设计检查表
- 检验与样本量计算记录
- 实验风险说明
LIMITATIONS
适用范围与注意事项
- 输入数据来源：Notebook 内构造的教学示例，不来自已核实的真实企业业务数据。
- 数据性质：刻意构造的教学样例；部分数据特意包含缺失、离群、并列或异常现象，不代表实际运营情况。
- 图件状态：案例包附带的静态教学图件；本次构建未执行 Notebook。
- 配套 Notebook、PPT 与实训方案的公开再分发许可待核验，尚未进入公开下载包。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。