Robotics

斯坦福 AA228V I 安全关键系统的验证 I 可解释性

**视频 AI 总结**：本讲座聚焦于人工智能系统的可解释性与可解释性，强调在安全关键场景下理解模型行为的重要性。讲师从简单系统（如倒立摆）的可解释性方法入手，逐步深入到视觉模型和大型语言模型（LLM）的机械可解释性。内容涵盖了多种技术，包括 Shapley 值用于特征归因、积分梯度用于像素级解释、Grad-CAM 用于视觉特征定位，以及前沿的稀疏自编码器和电路追踪方法，旨在回答“为什么失败”、“如何修复”以及“如何向利益相关者证明”三大核心问题。 **主要内容**： - 首先介绍了项目三的排行榜结果，并指出可解释性在工程实践中的重要性。 - 通过“聪明的汉斯”等案例，说明了模型可能依赖虚假相关性做出决策，从而引发失败。 - 详细讲解了 Shapley 值在时间序列故障归因中的应用，并指出其计算复杂度高的问题。 - 介绍了策略可视化方法，通过绘制状态空间理解模型决策边界，并发现训练数据覆盖不足导致的故障区域。 - 针对视觉模型，讲解了扰动法、积分梯度、Grad-CAM 等多种归因技术，并讨论了它们的局限性与改进。 - 转向 LLM 的机械可解释性，探讨如何发现模型内部的概念表示（如方向向量）以及如何通过稀疏自编码器提取这些概念。 - 最后展示了 Anthropic 的电路追踪结果，说明可解释性技术如何帮助理解模型推理链并进行干预。 教科书：https://algorithmsbook.com/validation/ Romeo Valentin，斯坦福大学 助教