从零学大语言模型 - 斯坦福 CS336 课程翻译版上线

完整课程在 ：https://learnblockchain.cn/course/107

课程亮点

从零打造大语言模型，系统掌握训练、推理、部署与对齐全链路。

这门课是斯坦福大学 CS336 课程的中文同步版，是学习大模型最权威和经典的课程， 由 Percy Liang 、Tatsunori Hashimoto 等顶级学者讲授，覆盖从数据准备、架构设计、分布式训练到推理优化的完整知识体系。无论你是想深入理解 LLM 原理，还是准备实际训练一个自己的模型，这门课都会给你最硬核的实操指导——不仅讲“是什么”，更讲“为什么”和“怎么用”。两个学期的视频（2025春季 + 2026春季）相互补充，让你获得最新、最全面的学习资料。

适合人群

• AI 研究与工程人员（进阶）
  你已经在使用或微调大模型，但想知道内部机制如何影响实际效果？这门课会带你深入 GPU 编程、分布式并行、缩放定律和推理优化，让你从“调参工程师”升级为“模型架构师”，能够自主设计训练策略、排查性能瓶颈。

• 深度学习爱好者与自学开发者（进阶）
  你熟悉 PyTorch 和基础 Transformer，但面对动辄数十亿参数的模型感到无从下手？课程从 Tokenization、架构选择讲到 MoE、注意力替代方案，再到完整的后训练与对齐流程，帮你打通从单 GPU 实验到多机多卡训练的任督二脉。预计学习时长：累计视频约 25 小时，配合实践需要 40~60 小时。

• 想进入大模型行业的学生（入门至进阶）
  你正筹划转行或求职 LLM 相关岗位，但缺乏系统性知识？这门课是斯坦福的官方课程，内容紧跟工业界前沿（如 DeepSeek、GPT-4、LLaVA），从数据清洗、缩放定律到 RLVR 强化学习，覆盖面试高频考点。学完你不仅能理解论文，还能动手复现关键组件。

• AI 创业者与技术决策者（进阶）
  你需要在算力、数据、模型大小之间做出权衡？课程中关于 Scaling Laws、资源核算、推理效率的详细讲解，能帮你用数据说话，科学评估项目可行性，避免拍脑袋决策。

你将学到什么

• 理解 Tokenizer 的工作原理与不同分词策略的优劣
• 掌握 PyTorch 内存与计算核算，高效利用 GPU 资源
• 精通 Transformer 架构变种（pre-norm、SwiGLU、RoPE、MoE 等）
• 编写高性能 GPU 内核（CUDA / Triton），实现融合算子
• 配置分布式训练：数据并行、张量并行、流水线并行、ZeRO/FSDP
• 应用 Scaling Laws 指导模型与数据规模的选择
• 优化推理时延：KV 缓存、量化、投机解码、Megakernels
• 构建数据管道：过滤、去重、混合、合成数据生成
• 进行 SFT、RLHF、RLVR 等后训练与对齐
• 评估模型能力：基准测试、Chatbot Arena、安全偏误分析
• 拓展到多模态视觉-语言模型（CLIP、LLaVA）

课程大纲

课程分为两个单独开课的学期， 部分内容有重叠，但也各自有侧重。2025 春季侧重于经典理论与基础实现，2026 春季则引入了更多前沿话题（如注意力替代方案、RLVR、多模态、特邀讲座）。两部分合起来构成了完整的“从零学大语言模型”路线图。

2026 春季

本学期的特点是紧跟最新研究动态，加入了线性注意力、Triton 编程、Megakernels、视觉语言模型等模块，尤其适合想了解 LLM 最新优化技术的同学。

• L1：概述 Tokenization —— 课程背景、目标与 Tokenization 基础
• L2：PyTorch (einops) —— 张量操作、内存核算与浮点精度
• L3：架构 —— Pre-norm / Post-norm、激活函数、超参数调优
• L4：注意力机制的替代方案 —— 线性注意力与混合专家模型 (MoE)
• L5：GPU、TPU —— GPU 硬件架构与并行编程模型
• L6：Kernels, Triton, XLA —— 用 Triton 编写高性能内核与编译器优化
• L7：并行1 —— 数据并行、张量并行、流水线并行原理
• L8：并行2 —— ZeRO、FSDP、专家并行与通信优化
• L9：缩放定律 —— Scaling Laws 基本概念与模型/数据规模关系
• L10：推理 —— 推理瓶颈、KV 缓存、预填充-解码分离
• L11：Scaling Laws（续） —— 实际应用：学习率、批量大小、计算最优边界
• L12：评估 —— 基准测试、Chatbot Arena、安全评估
• L13：数据（来源，数据集） —— 数据重要性、来源、法律与伦理
• L14：数据2 —— 过滤、去重、混合、合成数据生成
• L15：Mid/Post-Training —— SFT、RLHF 核心原理与流程
• L16：后训练 - RLVR —— 基于可验证奖励的强化学习（数学、编码）
• L17：对齐 - 多模态 —— CLIP、LLaVA 等视觉-语言模型对齐
• 特邀讲座：Dan Fu —— 推理系统优化：请求调度、KV 缓存管理、Megakernels

2025 春季

本学期的重点在于夯实基础，从 PyTorch 资源核算开始，系统讲解了分布式训练、Scaling Laws 和经典对齐方法（RLHF、RLVR），适合先建立完整知识框架。

• L1：概述与分词 —— 课程介绍、TikToken 等分词器
• L2：Pytorch, Resource Accounting —— 张量内存、计算量、精确核算方法
• L3：架构、超参数 —— Transformer 变体、学习率调度、稳定性技巧
• L4：MoE —— 混合专家模型的路由机制与系统实现
• L5：GPU —— GPU 架构、线程块、内存层次与性能优化
• L6：Kernels, Triton —— 用 CUDA 和 Triton 实现算子融合与优化
• L7：并行计算1 —— 数据并行、ZeRO、FSDP 基础
• L8：并行计算2 —— NCCL 集合通信、张量并行、流水线并行
• L9：缩放定律 1 —— 数据与模型缩放基本规律
• L10：推理 —— 推理工作负载特性、连续批处理、量化
• L11：缩放定律2 —— 实际案例（Cerebras-GPT、DeepSeek）、计算最优边界
• L12：评估 —— MMLU、GPQA 等基准、评估方法论与陷阱
• L13：数据 1 —— 预训练数据来源、质量评估、法律明确性
• L14：数据2 —— n-gram 过滤、MinHash 去重、混合策略
• L15：对齐 - SFT/RLHF —— 从预训练到指令跟随的全流程
• L16：对齐 RL 1 —— 从 RLHF 到 RLVR 的演进与实现
• L17：对齐 RL 2 —— 策略梯度、GRPO 算法与方差降低

常见问题 (FAQ)

Q: 学习这门课需要什么基础？
A: 需要熟悉 Python 和深度学习基础（如了解 Transformer、PyTorch 基本用法）。如果你已经训练过简单的分类模型或看过一些 LLM 论文，会更容易跟上。对 GPU 编程和 Linux 命令行有基础了解更佳，但并非必须——课程会从基础概念讲起。

Q: 两个学期的视频内容重复吗？该如何选择？
A: 2025 春季和 2026 春季大部分核心话题一致，但侧重点不同。2025 春季更偏向经典理论和系统性实现，2026 春季则加入了更多前沿优化（如线性注意力、Megakernels、多模态）。推荐以 2026 春季为主线，然后补充 2025 春季中的模块，或者直接全部学习获得最完整的知识体系。

Q: 这门课有实操练习或代码吗？
A: 视频本身是讲座形式，但课程设计时配套了斯坦福官方的作业（可访问课程主页查看）。建议在听课的同时参考官方作业仓库进行动手实践，比如用 Triton 写内核、配置分布式训练、实现 RLHF 等。视频中也包含大量代码示例和性能分析演示。