斯坦福网络研讨会 - 人工智能安全

当自主系统做出高风险决策时，我们如何确保它们是安全的？

Sydney Katz，她将概述用于构建高安全风险环境中基于人工智能的决策系统安全案例的方法。她将涵盖适用于多个领域（包括航空、自动驾驶和金融）的验证方法。

你将了解安全工程师和人工智能开发者如何建立对依赖机器学习的复杂系统的信任——这些系统仅靠传统测试可能不足以确保安全。无论你是有兴趣开发自主技术、在受监管行业中部署人工智能，还是就这些系统的部署做出决策，本次网络研讨会都将帮助你理解安全验证方法的重要性。

视频 AI 总结：该视频由斯坦福大学博士后研究员 Sydney Katz 主讲，介绍安全关键决策系统（如自动驾驶、自主飞机、AI 系统）的验证方法。她强调没有单一“银弹”能确保安全，必须结合多种技术构建“安全案例”，包括故障分析、形式化保证、可解释性和运行时保证。视频深入讲解了每种技术的原理、优势与局限，并演示了重要性采样、神经网络验证、机械可解释性等具体方法，最后指出验证是一个迭代循环过程，需与利益相关者不断反馈。
主要内容：

• 安全关键系统（如自动驾驶、AI）的验证至关重要，失败可能导致财产损失或生命危险。
• 故障分析：通过重要性采样等高效估计罕见失败概率，但无法提供保证。
• 形式化保证：在特定假设下可正式证明系统安全，但计算成本高且需内部模型知识。
• 解释性：通过策略可视化、敏感性分析和机械可解释性理解模型决策，提升信任。
• 运行时保证：部署后实时监控系统，处理离线验证未覆盖的未知场景。
• 验证是循环过程：设计→验证→重新设计，需与监管机构、用户等利益相关者协作。

Sydney Katz 博士
Sydney Katz 是斯坦福智能系统实验室的博士后研究员。她的研究方向聚焦于安全关键决策系统的设计与验证，其工作基于优化、贝叶斯推断、不确定性量化、神经网络验证以及可达性分析等思想。