experiment-design-and-ab-testing

指导 A/B 测试中的产品实验层——编写可证伪的假设、根据最小可检测效应（MDE）确定测试规模、解读统计显著性并避免窥探问题（peeking problem）、考虑新颖效应（novelty effect），以及选择护栏指标（guardrail metrics）。当用户提出“设计一个 A/B 测试”、“我需要多大的样本量”、“这个测试可以提前停止吗，它已经达到了 p<0.05”、“这个结果是否显著”、“我们应该跟踪哪些护栏指标”等需求，或希望在上线前审查实验方案或进行中的实验结果时，可使用此技能。关于浏览器/UI 测试的技术执行，请参考端到端测试（e2e-testing）技能——本技能不涵盖该层面。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本