# 14. AI 技术常识

这一章讲大模型时代产品经理够用的常识：知道它擅长什么、为什么会答错、几种改造手段各适合什么场景，从而把它放对位置，而不是被术语和演示忽悠。

条目按从最基础到进阶排列。

---

### 1. 大语言模型是什么（token、上下文窗口、概率生成）
- 定义：大语言模型（LLM，Large Language Model）靠海量文本训练，学习预测下一个词，从而生成连贯文字；文字被切成 token（词元）逐个处理，上下文窗口指一次能读入的 token 上限，它并非在数据库里逐条检索答案。
- 说人话：它像一个读了很多书、但不会查资料的人，靠印象接着往下写；内容超出它一次能记住的范围，就会忘掉前文或开始瞎编。
- 什么时候用：理解一个 AI 功能的能力范围、搞清它为什么有时「记不住」或答错时，先分清它是生成而不是查询。
- 常见误区：把它当成会联网、会查库的搜索引擎；以为它答得自信就是答得对，忽略概率生成的本质。
- 证据等级：B
- 来源：OpenAI 官方文档（语言模型与 token 说明）；行业通行做法

### 2. 能力边界（擅长归纳改写生成，不擅长精确计算与实时事实）
- 定义：大模型擅长归纳、改写、翻译、起稿这类语言任务，但在精确计算、获取最新事实、多步严格推理上并不可靠，容易在中间某步出错。
- 说人话：让它把一段话改通顺很好用，让它算一串复杂加减、或说出今天的新闻，就得当心；多步推理时一步错，后面全跟着错。
- 什么时候用：给模型派活前，先判断这件事是「语言活」还是「精确活」，需要准确的地方就加工具、加校验。
- 常见误区：把它当计算器或事实库直接用；把一次答对当成这类任务都能放心交给它。
- 证据等级：C
- 来源：行业通行做法（大模型能力与局限）

### 3. 幻觉的成因与降低手段
- 定义：幻觉（hallucination）指模型生成看似合理、实际错误或不存在的内容，包括编造来源、数字和事实，根源是它在按概率续写而非核实。
- 说人话：它能一本正经地给你一个不存在的书名和作者，语气毫无破绽；这不是骗你，是它本就在顺着往下猜。
- 什么时候用：涉及事实、数字、引用、法规的需求，默认它可能出错，加人工核对或外部资料比对。
- 常见误区：以为模型越强就能彻底消除幻觉；把降低幻觉的手段（给资料、要求引用）当成能保证零错误。
- 证据等级：B
- 来源：行业通行做法（大模型幻觉问题）

### 4. 提示工程基础（角色、任务、上下文、示例、输出约束）
- 定义：提示工程（prompt engineering）指通过组织输入来影响输出，常见要素有角色设定、明确任务、提供上下文、给出示例、约束输出格式。
- 说人话：与其说「写个方案」，不如说「你是运营，为这个活动写三条推文，每条不超过二十字，用正式语气」，交代越清楚越不容易跑偏。
- 什么时候用：模型输出总是不稳、不符合要求时，先改提示，而不是急着换模型或上更重的手段。
- 常见误区：把提示当许愿，一句含糊要求反复试；或以为提示越长越好，堆进无关信息反而干扰判断。
- 证据等级：C
- 来源：OpenAI、Anthropic 官方提示指南

### 5. 采样参数（温度、top-p）对输出的影响
- 定义：模型每一步是从一堆候选词里按概率挑一个。温度（temperature）调节随机程度，越高越发散、越低越保守；top-p（核采样）只在累计概率最高的一部分候选里挑选，控制可选范围。
- 说人话：温度调低像让一个谨慎的人回答，稳，但可能呆板；调高像让一个爱发挥的人回答，创意多，却容易跑题。
- 什么时候用：要稳定的结构化输出（分类、抽取）时调低；要头脑风暴、创意文案时适度调高。
- 常见误区：以为温度高就等于「更聪明」；为多样性把温度拉满，结果输出前后矛盾、无法复现。
- 证据等级：B
- 来源：OpenAI、Anthropic 官方文档（采样参数）

### 6. RAG（检索增强生成）的适用场景与代价
- 定义：RAG（Retrieval-Augmented Generation，检索增强生成）先从你的资料库里检索相关内容，再连同问题一起交给模型作答，让回答有据可依。
- 说人话：不是让模型凭记忆答题，而是先帮它把开卷考试要用的那几页翻出来，再让它照着答。
- 什么时候用：答案依赖你可控的私有或最新资料（文档、工单、政策），又不想改动模型本身时。
- 常见误区：以为上了 RAG 就不会答错，其实检索没找对、资料本身有误，答案照样错；把它当成万能解。
- 证据等级：B
- 来源：RAG 原始论文（Lewis 等，2020）；行业通行做法

### 7. 微调、提示与 RAG 的选择
- 定义：提示是不改模型、只在输入上下功夫；RAG 是给模型外挂资料；微调（fine-tuning）是用你的数据继续训练模型，改变它的行为倾向。三者成本与改动程度依次上升。
- 说人话：先在提示上想办法，不够就加检索资料；只有当风格、格式、领域惯例光靠前两者改不动时，才考虑微调。
- 什么时候用：要选方案时，按「数据够不够、问题是不是知识问题、要求是风格还是知识」来定档。
- 常见误区：一上来就想微调，成本高且要长期维护数据；或把知识问题拿去微调，模型照样记不准。
- 证据等级：C
- 来源：OpenAI、Anthropic 官方文档（提示、RAG 与微调的选择）

### 8. Agent 与工具调用的能力边界
- 定义：工具调用指模型在需要时调用外部函数（查库、搜索、计算）；Agent（智能体）指让模型在多步任务里自行规划、调用工具、根据结果继续，直到完成目标。
- 说人话：工具调用像让它伸手去按计算器；Agent 像把一整件事交给它，由它自己决定先查什么、再算什么、最后怎么汇报。
- 什么时候用：任务需要外部数据、需要多步操作，且要求比「一次生成」更可靠时，考虑工具与 Agent。
- 常见误区：以为加上工具和循环就能可靠完成复杂任务；忽略每多一步就多一次出错和失控的机会，缺兜底校验。
- 证据等级：C
- 来源：Anthropic、OpenAI 官方文档（工具调用与智能体）

### 9. 评估方法（离线集、人工评估、LLM-as-judge）
- 定义：评估指判断模型输出好不好，常见做法有离线测试集（固定题目打分）、人工评估（人来看），以及用另一个模型当裁判（LLM-as-judge）。
- 说人话：上线前先准备一套标准题跑一遍看对多少；没人有精力全看时，让模型先初筛，但初筛结论也要抽样复核。
- 什么时候用：要选模型、改提示、比方案效果，或想把 AI 功能做成可回归的工程时。
- 常见误区：只凭自己试几次就下结论；完全信任模型当裁判，忽略它自带的偏好，如偏爱长回答、偏爱与它风格相近的答案。
- 证据等级：C
- 来源：行业通行做法（LLM 评估方法）

### 10. 成本结构（token 计费、缓存命中、批处理、模型档位）
- 定义：调用大模型多按 token 用量计费，输入和输出通常不同价；命中缓存、使用批处理接口、选择更小或更便宜的模型档位，都能降低成本。
- 说人话：一次对话的字数就是账单，问得越长、答得越多越贵；简单任务上最强模型，就像打短途却叫了辆大卡车。
- 什么时候用：功能要规模化、或发现账单增长过快时，按任务难度分档选模型，并想办法分流、缓存。
- 常见误区：所有场景都上最强模型；只算调用费，不算重试、检索、人工审核这些配套成本。
- 证据等级：C
- 来源：OpenAI、Anthropic 官方定价与文档；行业通行做法

### 11. 数据隐私与合规（输入即数据）
- 定义：发给模型的内容本身可能就是数据，会经过第三方服务；因此要弄清供应商条款里数据是否被留存、是否用于训练、存在哪里、能否删除。
- 说人话：把客户的合同原文贴进去问问题，等于把这份合同交给了外部服务，先确认对方怎么处理它。
- 什么时候用：任何涉及个人信息、商业秘密、受监管数据的场景，接入前先过合规，别默认「只是问一下」。
- 常见误区：以为不保存对话就等于没风险；忽略日志、缓存和第三方处理方带来的留存；把合规当成上线后再补的事。
- 证据等级：C
- 来源：OpenAI、Anthropic 官方数据使用政策；行业通行做法

### 12. 人机分工（把判断留在人，把草稿交给模型）
- 定义：合理分工是把生成、初筛、改写这类「草稿活」交给模型，把标准制定、最终判断和责任留在人这边。
- 说人话：让模型一次给你十条候选，你来做选择和把关；它是写手和助手，不是替你拍板和担责的人。
- 什么时候用：设计任何 AI 功能或工作流时，先画清楚哪一步是模型提议、哪一步必须由人确认。
- 常见误区：把判断权整块交出去，出了问题却找不到责任人；或反过来只让它做纯体力活，浪费它的归纳与改写能力。
- 证据等级：C
- 来源：行业通行做法（人机协作分工）