# 5. 不要踩需求和数据的坑

这一节讲需求、指标、埋点、A/B 测试里那些反复出现的坑。数据用错，比不用数据更危险。条目按性价比从高到低排列。

---

### 1. 相关不等于因果
- 成本：几乎为零，改一个说法。
- 说人话：两个数一起涨，不代表一个导致了另一个。可能是第三个因素同时影响了它们，也可能是因果反了。
- 收益：换职业寿命。判断质量是 PM 的核心竞争力。
- 证据等级：A
- 来源：统计学基础共识；因果推断相关教材（如《为什么》Pearl）。
- 备注：看到相关性结论，先问「有没有可能是别的原因」和「会不会是反过来的」。

### 2. 别只看平均值，要看分布
- 成本：多切一刀数据。
- 说人话：平均使用时长的上升，可能来自一小撮重度用户，也可能代表大部分用户其实在用得更少。平均值会掩盖真实情况。
- 收益：换职业寿命。
- 证据等级：B
- 来源：数据分析基础共识。
- 备注：至少看中位数和分位数，必要时看分群。

### 3. 警惕幸存者偏差
- 成本：想一层。
- 说人话：你看到的用户是「还在用的人」，那些早就流失、根本不进来的人不会出现在数据里。只研究留存用户，会得出乐观但错误的结论。
- 收益：换职业寿命。
- 证据等级：A
- 来源：统计与决策科学中的经典偏差（幸存者偏差）。
- 备注：找流失用户聊聊，往往比研究留存用户更有信息量。

### 4. A/B 测试要提前定好「成功标准」和样本量
- 成本：测试前多花时间设计。
- 说人话：先看结果、再挑一个好看的指标解释，等于自己骗自己。要在开测前就写清看什么指标、多少样本、达到什么算赢。
- 收益：换职业寿命。
- 证据等级：A
- 来源：实验设计基本方法（如 Kohavi 等《Trustworthy Online Controlled Experiments》）。
- 备注：样本不足时得出的「显著」结论很可能是噪音。

### 5. 别用「看得见的数据」替代「看不见的问题」
- 成本：多想一步。
- 说人话：数据能告诉你「发生了什么」，不总能告诉你「为什么」。只依赖数据，会错过没被记录的用户痛点。
- 收益：换职业寿命。
- 证据等级：C
- 来源：产品分析实践共识。
- 备注：数据 + 定性访谈组合使用。

### 6. 埋点要「先想清楚问题，再定埋点」
- 成本：埋点前多写一页方案。
- 说人话：先想好要回答什么问题，再决定埋什么；反过来先埋一堆、再找问题，通常埋的都不对，还拖慢开发。
- 收益：换时间精力。
- 证据等级：C
- 来源：数据埋点实践共识。
- 备注：埋点规范要留版本和说明，否则半年后没人看得懂。

### 7. 警惕「指标作弊」：优化指标而非优化目标
- 成本：需要持续自省。
- 说人话：如果考核「点击率」，就会有人做出诱导点击；如果考核「会话时长」，就会有人故意让用户停不下来。指标是代理，别把代理当目标。
- 收益：换职业寿命 + 换职业自由。
- 证据等级：C
- 来源：「古德哈特定律」（当一个指标变成目标，它就不再是好的指标）。
- 备注：给自己提一个反向问题：「我这个动作，是让用户更好，还是只让数字更好？」

### 8. 区分「虚荣指标」和「北极星指标」
- 成本：几乎没有。
- 说人话：注册总数、下载总量这类只会涨的数字，是虚荣指标。真正能反映价值交付的、能指导决策的，才是北极星。
- 收益：换职业寿命。
- 证据等级：C
- 来源：增长与产品指标实践共识（如《精益数据分析》）。
- 备注：一个好的北极星指标通常和用户获得价值、和业务收入都相关。

### 9. 用户说的和用户做的，往往不一样
- 成本：多看行为数据。
- 说人话：问卷里大家说「我会用」，实际可能一次都没点。宣称的偏好和真实行为之间有落差。
- 收益：换职业寿命。
- 证据等级：B
- 来源：用户研究方法共识（宣称偏好 vs 显示偏好）。
- 备注：能看行为就看行为，别只信问卷。

### 10. 小样本 + 极短周期 = 不稳定的结论
- 成本：多等一等。
- 说人话：上线三天、几十个样本就宣布「验证成功」，多半是运气。周期太短还会被节假日、活动等外部因素干扰。
- 收益：换职业寿命。
- 证据等级：B
- 来源：实验与统计基础共识。
- 备注：至少覆盖一个完整的自然周期（如一周）。

### 11. 别把「竞品有」当成「我们也要有」的理由
- 成本：多想一层。
- 说人话：竞品做某个功能，可能是它的战略、用户群或历史包袱决定的，未必适合你。照抄最容易做出无用功能。
- 收益：换时间精力 + 换职业寿命。
- 证据等级：C
- 来源：产品竞争分析实践共识。
- 备注：问「它为什么做」比问「它做了什么」更重要。

### 12. 数据会因口径不同而「打架」，先统一口径
- 成本：一次对齐会。
- 说人话：同样是「活跃用户」，市场部、运营、产品可能各有一套定义。口径不统一，讨论就会变成各说各话。
- 收益：换时间精力。
- 证据等级：C
- 来源：数据治理实践共识。
- 备注：在公司里推动一份「指标字典」是很划算的投入。

### 13. 对「突然变好」的数据保持怀疑，先查口径和埋点
- 成本：一次排查。
- 说人话：指标突然大涨，先怀疑数据问题，而不是先庆祝。埋点重复、口径变化、活动干扰都会造成假增长。
- 收益：换职业寿命。
- 证据等级：C
- 来源：数据分析实践共识。
- 备注：养成「异常先查数据」的肌肉记忆。