# 10. 验证与实验方法论

这一章讲怎么用尽量小的代价，尽早发现自己想错了。核心不是「证明自己对」，而是设计一个能明确判断对错的检验：先写下会被推翻的假设，再挑最省事的手段去撞它。

条目按从最基础到进阶排列。

---

### 1. 假设必须可证伪
- 定义：验证的前提是把想法写成一句能明确判对错的话，也就是存在某种观察结果能证明它不成立。
- 说人话：「用户会喜欢这个功能」无法验证，谁都能解释；改成「上线后新用户次日留存提高」才可能被数据打脸。
- 什么时候用：动手之前，把「我觉得」翻译成可被推翻的判断，并写下要看的指标和判定线。
- 常见误区：把愿望当假设，无论结果好坏都能自圆其说；或假设写得过泛，等于没写。
- 证据等级：A
- 来源：Karl Popper《猜想与反驳》（可证伪性）

### 2. MVP 的真实含义（最小验证单元）
- 定义：MVP（最小可行产品）是用来验证关键假设的最小单元，目标是把学习的成本降到最低，而不是把开发的工作量降到最低。
- 说人话：一个按钮的点击率就能回答的问题，不必做出完整功能；这里说的「最小」是验证代价最小，不是功能最少。
- 什么时候用：面对高风险、不确定的需求，想先花小钱确认方向、再投入开发时。
- 常见误区：把 MVP 做成「功能砍一半的完整产品」，既没验证到关键假设，又留下一堆半成品。
- 证据等级：B
- 来源：Eric Ries《精益创业》

### 3. 先验证最贵、最不确定的假设
- 定义：一个想法背后有多个假设，应按「错了损失最大」乘以「最没把握」来排序，先验证排在前面的。
- 说人话：与其先花时间优化按钮文案，不如先确认用户到底愿不愿意为这件事付钱；后者错了，其余全都白做。
- 什么时候用：想法包含多个前提、而资源只够验证一两个时，用来决定先测哪一个。
- 常见误区：只挑容易测、大概率能过的假设来验，得到一堆「验证通过」，方向性的风险却原封不动。
- 证据等级：B
- 来源：行业通行做法（假设优先级 / 风险评估）

### 4. 验证手段谱系
- 定义：从访谈、可点击原型、假门（上线一个入口看点击）、绿野仙踪（人工冒充系统）、众筹到灰度，构成一组成本与可信度递增的验证手段。
- 说人话：想验证用户会不会点，放个假按钮就行；想验证愿不愿意真掏钱，假门和众筹比访谈可信得多。
- 什么时候用：要选验证方式时，按「结论要多可信」和「能花多少代价」在其中挑一档。
- 常见误区：拿访谈里「用户说会买」当成付费意愿的证据；手段越轻越像征求意见，替代不了真实行为。
- 证据等级：B
- 来源：行业通行做法（精益创业验证方法谱系）

### 5. A/B 测试的四个前提
- 定义：A/B 测试把用户随机分到实验组和对照组，比较单一变量带来的差异，有效结论依赖随机化、足够样本量、单一变量、统计显著这四个前提。
- 说人话：两组要像同一批人被随机掰开，人数要够多，只改一处，差异大到不像巧合，缺一条结论就站不住。
- 什么时候用：改动可拆分、指标可量化、流量足够时，用它做因果判断（见第 12 章第 1 条）。
- 常见误区：流量太小、中途反复偷看数据、同时改了好几处，却把结果当成确定结论来用。
- 证据等级：A
- 来源：Ronald Fisher 的随机化实验设计；行业通行做法（A/B 测试）

### 6. 实验指标的选择（主指标 + 护栏指标）
- 定义：实验要事先定一个主指标衡量成败，同时设若干护栏指标，监测有没有踩坏别的地方，如性能、投诉、留存。
- 说人话：点击率涨了，但如果加载变慢、退款变多，这个「赢」是假的；护栏指标就是防止按下葫芦浮起瓢。
- 什么时候用：设计每一次实验时，主指标只选一个，护栏指标覆盖可能被伤害的环节。
- 常见误区：只看一个上涨的指标就宣布成功，或事后从一堆指标里挑一个好看的当结论（见第 10 章第 8 条）。
- 证据等级：B
- 来源：行业通行做法（主指标 / 护栏指标设计）

### 7. 灰度与逐步放量
- 定义：灰度发布是先把新版本开放给小部分用户，指标平稳后再逐步扩大比例，出现异常可以随时回退。
- 说人话：先放一百个用户，看崩溃、留存、投诉有没有异样；没问题再扩到一成、一半，比一次全量上线安全得多。
- 什么时候用：改动影响面大、又没法在测试环境充分覆盖真实用户行为时。
- 常见误区：灰度只看有没有报错，不看核心指标；放量节奏太慢，样本迟迟不够，结论出不来。
- 证据等级：B
- 来源：行业通行做法（灰度发布）

### 8. 多重比较与 p-hacking
- 定义：同时检验很多指标、或反复看数据，总会有某个「显著」结果纯属偶然；p-hacking 指为了凑出显著而反复调整口径、样本或停止时间。
- 说人话：抛硬币次数够多，总会出现连续正面；实验里看了二十个指标，再挑出最好的那个报喜，等于自欺。
- 什么时候用：实验涉及多个指标、多组对比，或有人频繁查看结果并准备随时喊停时，要格外警惕。
- 常见误区：把事后挑出来的显著当成预定结论；把「多测几次直到显著」当成严谨。相关读法见第 12 章第 10 条。
- 证据等级：A
- 来源：统计学多重比较问题（如 Bonferroni 校正）

### 9. 混淆变量与辛普森悖论
- 定义：混淆变量是同时影响分组和结果、让人误判因果的第三个因素；辛普森悖论指分组看趋势与合并看趋势相反的统计现象。
- 说人话：新首页整体转化更低，但按新老用户分别看都更高——差别来自两群人的比例不同，不是首页变差了。
- 什么时候用：实验分组不随机，或汇总层面的结论与分层结论矛盾时，先找有没有第三个变量在捣乱。
- 常见误区：只看总平均值就下结论；把「分组和整体相反」当成数据出错。详见第 12 章第 7 条。
- 证据等级：A
- 来源：Edward H. Simpson（辛普森悖论）；因果推断中的混淆变量概念

### 10. 用户体验代价与实验伦理
- 定义：实验会真实影响线上用户，需要考虑对照组是否被有意给到更差体验，以及实验有没有涉及隐私、诱导或伤害。
- 说人话：为了测转化把「取消订阅」入口藏起来，数据可能好看，但这是拿用户占便宜。
- 什么时候用：实验会改变用户的决策、涉及敏感数据或可能造成损失时，先问一句「敢不敢公开说明」。
- 常见误区：为了显著性无限推迟给对照组新功能；把伦理当成事后补的手续，而不是设计时的约束。
- 证据等级：C
- 来源：行业通行做法（实验伦理与用户保护）

### 11. 结论可复现性
- 定义：实验结论应当能被复述和重跑：数据口径、样本、时间窗、变更点都写清楚，换个人按同样方法能得到相近结果。
- 说人话：别人拿着你的实验记录能重跑一遍、得到相似结论，这个结论才算数；说不清怎么算出来的，就等于没有。
- 什么时候用：把实验结论写进文档、要影响后续决策，或与别人的结论起冲突时。
- 常见误区：只写涨了多少，不写基线、口径和时间；口径随人而变，同一个指标各说各的数。
- 证据等级：C
- 来源：行业通行做法（实验记录与可复现性）