预训练

本文深入浅出地解释了大型语言模型（LLM）的本质：它并非有意识的智能体，而是一个基于海量文本训练的超大号自动补全工具。LLM通过将文本切分为token，利用预测下一个词的核心机制生成内容。训练分三个阶段：预训练从互联网吸收知识，监督微调学习对话格式，RLHF用人类偏好优化输出。其知识存储在数千亿参数中，无法精确追溯。幻觉是模型追求语言流畅性的自然结果，并非故意撒谎。文章还提供了实用使用技巧，如提供丰富上下文、明确输出要求、迭代优化和事实核查。