LLM 原理入门：幻觉并非故意撒谎

你使用过它们，也为它们惊叹过。你可能也曾被它们困惑、惹恼，甚至感到一丝不寒而栗。但当你在输入一个问题，而它迅速回给你一段流畅、自信、段落详实的回答时，你真的知道大型语言模型在做什么吗？

大多数人想象的是电脑里住着一个小天才。而事实更离奇——也更有趣。读完这份指南，你对 LLM 的理解将超过 95% 随意用这个词的人。让我们揭开这层幕布。

1. LLM 到底是什么

LLM 代表 Large Language Model（大型语言模型）。让我们逐字拆解：

这里有个会让所有人惊讶的地方：本质上，LLM 就是一个高级的自动补全。它不像人类那样“思考”、“知道”或“理解”。它是一个系统，阅读了数量惊人的文本，并以一种诡异的精确度学会了哪个单词通常会在后面出现。

◆ 心智模型
可以把 LLM 想象成你手机上的自动补全——不过这个版本吞下了互联网的大部分内容、书籍、代码和维基百科，然后练习了数万亿次预测下一个单词。

2. 唯一技巧：预测下一个单词

LLM 所做的一切都源于一个不起眼的技能：猜测接下来会发生什么。

想象我给你这句话，请你补全：

“天空是____”

你的大脑立刻会给出候选词：蓝色的、晴朗的、云多的、塌下来的。你还会给它们排序——“蓝色的”感觉比“意大利面”可能性大得多。这个排序正是 LLM 所做的，只不过它对词汇表中的每一个可能的单词都进行了排序，并为每个词分配一个概率。

模型“看到”的是：“天空是……”
（模型可能分配给下一个单词的示意性概率）

蓝色的       ████████████████████████████  62%
晴朗的       ████████                       18%
云多的       █████                          12%
塌下来的     ██                              5%
意大利面     ▌                               1%

模型选出一个单词（通常是一个可能性高的词，带一点点随机性以增加多样性），把它加到句子里，然后重复整个过程——预测下一个词，再下一个，再下一个。把成千上万个这样的预测串起来，你就得到了文章、代码、诗歌和邮件。

🧶 类比
这就像一针一针地编织一条围巾。每一针（单词）都依赖于它前面的针。模型不会预先看到整条围巾——它只是不断添加最合理的下一针，直到你让它停下来。

3. Token：AI 实际上如何读取

在预测任何东西之前，模型会把文本切成“token”。

这里有一个微妙但关键的细节：LLM 读取单词的方式与我们不同。它们把文本分解成 token——这些块可能是一个完整的单词、单词的一部分，甚至是一个单独的字符。模型完全在这些 token 以及它们对应的数字中进行思考。

✓ 为什么这对你很重要
“上下文窗口”和定价是按 token 而非单词来衡量的。当一个工具说它能处理“128K token”时，这大约相当于它能同时记住一本 300 页的书。这也解释了为什么 LLM 有时会数错单词里的字母——它们看不到字母，只看到 token。

4. 如何训练一个 LLM（分 3 个阶段）

训练将一个空白的统计机器变成一个有用的助手。

一个刚下生产线、未经训练的模型毫无用处——就像一颗没有记忆的大脑。把它变成 ChatGPT 或 Claude 需要三个主要阶段。

1. 预训练——“阅读互联网”
   模型被喂给海量的文本（书籍、网站、代码），并做一件事数十亿次：预测下一个 token。在这个阶段，它吸收了语法、事实、推理模式和写作风格。昂贵且耗时——这就是 LLM 中“大”的由来。

2. 有监督微调——“学会成为助手”
   人类编写示例对话，展示理想的答案。模型学习成为有帮助的格式：回答问题、遵循指令、保持礼貌。

3. 基于人类反馈的强化学习（RLHF）——“学会人们的偏好”
   人类对回答进行评分，标记为好或差。模型被引导向人们喜欢的回答靠拢，远离有害或无益的回答。这就是让它变得友好、安全的“打磨”过程。

◆ 关键洞察
模型的知识在训练结束的那一刻就被冻结了。这就是为什么 LLM 可能不知道训练截止日期之后的事情——除非它连接到实时搜索或工具。

5. 模型“里面”到底是什么？

没有事实数据库，没有答案文件夹，没有小图书馆。相反，模型学到的一切都被压缩成参数——数十亿个数字“旋钮”（也称为权重）。在训练过程中，这些旋钮被一次又一次地微调，直到模型擅长预测。

你可以把一个训练好的 LLM 看作是对它读过一切的有损压缩摘要——就像互联网的一张模糊 JPEG 图片。

这也是为什么 LLM 有时被称为黑盒：即使是构建它们的工程师，也无法指向某个具体的旋钮说“这就是存储法国首都的地方”。知识分散在数十亿个协同工作的数字中。

🎚️ 类比
想象一个拥有 1750 亿个旋钮的巨大调音台。训练就是一次移动一个旋钮的一根头发丝，直到音乐（预测）听起来正确。没有人能告诉你任何一个旋钮“干什么”——但它们一起奏出了美妙的音乐。

6. 为什么 LLM 会自信地编造东西

“幻觉”是预测工作方式的一个特征——而不是随机的错误。

因为 LLM 唯一的真正技能是生成听起来合理的文本，它有时会产出一段听起来非常自信但完全错误的内容。这被称为幻觉。

模型不是在撒谎——它没有真理的概念。它只是在预测“合适”的单词，一个错误的事实可以和一个正确的事实一样流畅地匹配。一个假的书名或捏造的统计数据在统计形状上就像一个真的。

⚠ 重要提示
永远不要盲目信任 LLM 提供的事实、数字、引文、法律或医疗信息。把它当作一个聪明、快速、偶尔过度自信的实习生——始终验证任何重要的事情。

7. 如何真正用好它们

理解运行机制会让你在使用它们时更加得心应手。一些直接源于 LLM 工作原理的原则：

1. 提供丰富的上下文——由于模型只“知道”对话中的内容加上它的训练数据，你提供的相关细节越多，它的预测效果就越好。

2. 对输出要具体明确——要求格式、语气、长度和受众。“用 12 岁小孩能懂的话，3 个要点解释”胜过“解释一下这个”。

3. 迭代，不要期待完美——把它当作一个来回迭代的过程。像指导初级队友那样完善它的回答。

4. 验证重要内容——用它来起草和思考——但对任何有现实后果的事情要核实事实。

✓ 专家提示：提示是一项技能
你输出的质量很大程度上取决于你输入的质量。学会“写好提示”是从 AI 获得价值的最高杠杆技能——而且不需要任何编码。（请参阅下面的免费指南。）

8. 关键要点

📚 想更深入学习？推荐阅读

如果这份指南激发了你的好奇心，这些通俗易懂的书籍可以带你走得更远，而不会让你不堪重负：

• 《协同智能：与 AI 共处与工作》 —— 作者：Ethan Mollick。关于在日常生活和工作中实际使用 AI 的最佳非技术类书籍。实用、友好、脚踏实地。

• 《即将到来的浪潮》 —— 作者：Mustafa Suleyman。从宏观角度审视 AI 的发展方向及其对社会的影响——作者是 DeepMind 的联合创始人。

• 《你看起来像个东西，我爱你》 —— 作者：Janelle Shane。一本有趣、真正适合初学者的书，介绍 AI 如何思考（以及如何精彩地失败）。完美的入门读物。

🎁 继续学习——免费初学者指南

既然你了解了 LLM 的工作原理，下一步就是让它们为你工作——为了你的工作、学习或收入。这些免费、对初学者友好的资源是一个很好的起点：

• 原文链接： x.com/hrswatigupta/statu...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～