本文详细记录了作者对SDXL模型进行微调实验（bigASP v2.5）的全过程，包括流匹配目标、13M图像数据集、冻结文本编码器、150M样本训练、32块H100 GPU集群、总计$16k成本及多次失败。文章深入探讨了扩散模型的噪声调度问题、流匹配的原理与优势、文本编码器的权衡、多节点训练的挑战，并分享了实际训练配置、推理技巧（如PAG、shift参数）及未来改进方向。

本文作者基于训练开源图像描述模型JoyCaption的经验，深入剖析了强化学习（RL）在大型语言模型（LLM）中的本质作用，并批评了OpenAI将RLHF（基于人类反馈的强化学习）宣传为仅用于安全和对齐的误导。文章从监督式微调（SFT）出发逐步推导出RL的核心——通过在模型自身输出上训练、引入负例和KL散度，有效限制输出空间至“容易”路径，从而实现可靠的指令遵循。作者强调RL是构建实用LLM的基石，而非仅仅用于安全调整。后半部分详细介绍了在JoyCaption上应用离线DPO（直接偏好优化）的具体流程，包括数据集构建（使用自动化裁判模型）、训练参数、两轮DPO的结果（模型偏好率翻倍，故障率从9.6%降至1.5%）以及经验教训。内容技术深度高、信息密度大，适合AI/LLM领域从业者阅读。