规模定律（Scaling raw） 中的错误与修正 这篇文章揭示了OpenAI原始缩放定律（Kaplan et al.）中的错误：由于固定训练数据量、使用余弦学习率衰减到零以及声称学习率调度影响不大，导致规模定律被误导。实际上，Chinchilla论文提出的规模定律更准确，建议模型应更小、数据更多。文章详细分析了错误的三步，并指出这一错误导致GPT-3等模型被过度训练且规模过大。 缩放定律 Chinchilla Kaplan 学习率衰减 数据量 GPT-3 completeskeptic 发布于 5 天前 146 0 0
