第一次和大语言模型聊天，很容易产生一种错觉：屏幕另一端像是坐着一个读过无数书、什么都能聊的人。它能续写邮件，能解释概念，也能顺着语气安慰你。可一旦追问一个冷门事实，它又可能用同样笃定的口吻编出不存在的人名、论文和日期。
这两种表现并不矛盾。要理解它，先放下“电子大脑”这个比喻，把它想成一位特别擅长接话、但不会自动查证的咖啡馆店员。
本文由《听懂 AI》第 001 期访谈整理而成。该期节目从科普主题出发，并非改写某一篇原文；文末补充了 Transformer、GPT-3、语言理解争议和真实性评测的原始论文。
一句话版本：它在反复预测下一个 token
假设你说：“今晚下雨，出门记得带……”
人很容易想到“伞”。语言模型做的事情与此有一点相似，但规模大得多：它先把输入切成一组 token，再结合前面的上下文，为下一个 token 计算概率。选出一个之后，它把这个 token 加回上下文，继续预测下一个，直到回答结束。
token 不一定等于一个完整汉字或单词。它只是模型处理文字时使用的基本单位；具体怎样切分，取决于模型采用的分词方法。
图中的候选词和概率只是工作原理示意，不是某个真实模型的测量结果。
2017 年的论文 Attention Is All You Need 提出了 Transformer 架构。它通过注意力机制处理序列中不同位置之间的关系，后来成为大语言模型的重要技术基础。2020 年的 Language Models are Few-Shot Learners 则展示了 GPT-3 这类自回归语言模型在扩大参数和训练数据规模后，可以仅凭文字指令或少量示例完成多种任务。
所以，“预测下一个 token”听起来很朴素，却不代表模型只能做简单的句子补全。模型从大量训练文本中学到语法、文体、概念之间的关联，以及常见的推理表达方式。当这些规律共同参与一次预测时，结果就可能表现为写作、问答、翻译或代码生成。
它不是在脑中翻找一篇现成文章
另一个常见误解是：模型先把互联网背下来，回答时再从某个数据库里找到对应段落。
训练确实可能让模型记住部分内容，尤其是重复出现或具有独特表达的文本。但通常情况下，训练材料中的语言规律会被编码进大量参数。生成回答时，模型根据参数和当前上下文计算后续内容，不是在资料库中逐条检索。
这里需要区分基础语言模型和完整的 AI 产品。一个产品可以在模型外部接入搜索引擎、知识库、计算器或其他工具。此时你看到的答案可能同时包含模型生成和外部检索结果，但检索能力不是“预测下一个 token”天然附带的事实核验机制。
它会用语言，但“理解”仍有争议
模型能正确处理“下雨”和“带伞”的关系，是否就说明它理解雨是什么？
这个问题没有一句公认的结论。Emily M. Bender 和 Alexander Koller 在 2020 年的论文 Climbing towards NLU 中强调，学习语言形式与获得由现实经验支撑的意义不是一回事。模型可以熟练处理词语之间的关系，却没有淋雨、撑伞或被冷风吹过的身体经验。
另一方面，只用“随机鹦鹉”也不足以描述今天模型表现出来的全部能力。它确实掌握了强大的语言模式处理能力，但不能据此直接推断它拥有人的意识、感受或理解方式。
为什么它会一本正经地编答案
模型的基本目标是生成在当前上下文中看起来合适的后续，而不是保证每句话都经过外部证据核对。如果问题含糊、训练材料不足，或者错误说法在语料中很常见，它仍可能生成连贯但不真实的答案。
2021 年的 TruthfulQA 用 817 个问题测试模型是否会复述人类常见的错误观念。在当时接受评测的模型中，最佳结果有 58% 的回答被判定为真实，而人类基线为 94%。这组数字不能代表今天任何具体产品的水平，但它说明了一个长期存在的问题：语言流畅度和事实真实性不是同一个指标。
因此，遇到下面这些内容，不要因为语气自信就直接采用：
- 具体日期、数字、论文名称和引用；
- 医疗、法律、财务等高风险建议；
- 冷门人物、机构和历史事件；
- 无法打开或无法在其他来源中找到的链接。
普通人怎样用得更稳妥
把语言模型当成一个反应很快、知识面很广、但偶尔会硬撑的助理，通常比把它当成权威更合适。
适合交给它的工作包括改写文字、整理材料、列出备选方案、模拟提问和解释概念。涉及重要事实时，可以要求它区分“已知事实”“推测”和“不确定项”，列出可核验的来源，再由人打开原始资料确认。
提问也不需要背诵所谓的“提示词咒语”。说明读者是谁、想解决什么问题、有哪些限制，再给一个例子，往往就能明显改善结果。与此同时，不要随手提交身份证号、病历、公司机密或未公开代码；能否输入某类数据，应以所在组织的制度和所用产品的数据政策为准。
使用时记住：它很会生成答案，但“很像答案”不等于“答案是真的”。
收听本期节目
原始资料与延伸阅读
- Ashish Vaswani 等，2017：Attention Is All You Need——Transformer 架构原始论文。
- Tom B. Brown 等，2020：Language Models are Few-Shot Learners——GPT-3 与少样本学习论文。
- Emily M. Bender、Alexander Koller，2020：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data——语言形式、意义与“理解”的讨论。
- Stephanie Lin、Jacob Hilton、Owain Evans，2021：TruthfulQA: Measuring How Models Mimic Human Falsehoods——语言模型真实性评测。
资料说明：节目第 001 期原始 sources.json 只记录了“向不懂技术的人解释大语言模型”这一主题，没有外部 URL。以上论文由本文编辑阶段补充，用于说明相关技术背景和争议，不代表节目逐句改写这些论文。