斯坦福课程

@stanfordonline

同步 斯坦福大学 在线 AI 区块链 机器人 相关课程

注册于 2026-06-27
从零学大语言模型 L1:概述与分词 | 斯坦福课程 CS336 2025 春季

视频是斯坦福CS336课程《Language Models from Scratch》的介绍,由Percy Liang主讲,旨在教授学生从头构建大语言模型的完整流程,包括数据、系统、模型等。课程强调通过动手实践理解底层技术,而非仅使用API。内容涵盖五个单元:基础(tokenizer、Transformer、训练)、系统(GPU内核、并行化、推理)、规模化定律(计算预算下的最优模型)、数据(爬取、清洗、评估)、对齐(SFT、DPO、GRPO)。作业从零实现,利用H100集群,注重效率优化。课程目标是培养研究者和工程师,使其能深入理解并改进语言模型技术。 **关键信息**: 课程由Percy、Tatsu等教授,提供YouTube公开讲座;作业包括BPE tokenizer、Transformer、系统并行化、规模化实验、数据处理和对齐;使用Together AI提供的H100集群;强调“理解即构建”的理念。 课件与代码:https://cs336.stanford.edu/spring2025/

215 0 0 2025-06-27