逆强化学习

斯坦福机器人讲座 | 2026年春季 | 机器人交互自主性

**视频 AI 总结**：该演讲由UC Berkeley ICON Lab的教授主讲，聚焦于如何让机器人在多智能体环境中实现安全、智能的交互。核心挑战在于机器人需要具备联合预测与规划能力，即考虑其他智能体（包括人类）对其决策的反应。演讲介绍了利用博弈论中的纳什均衡和势博弈简化多智能体规划问题，并通过逆强化学习从人类交互中学习奖励函数。此外，还探讨了扩散模型实现多模态协调、大语言模型作为教练指导多智能体强化学习，以及利用分布式优化解决持续学习与安全约束等问题。 **主要内容**： - **多智能体规划**：将多机器人协同问题转化为势博弈，通过求解单一最优控制问题快速得到纳什均衡，计算速度提升显著。 - **学习交互模式**：通过逆强化学习从人类交互数据中推断成本函数，并利用熵成本均衡建模人类非理性行为。 - **多模态协调**：使用扩散策略学习多种协调模式，实现机器人间无显式通信的分布式协作。 - **LLM作为教练**：让大语言模型（如GPT-4）分解任务、生成奖励、提供反馈和信用分配，显著提升多智能体强化学习效果。 - **感知与安全**：利用分布式优化（如ADMM）进行多机器人协同场景映射，并在训练中直接施加动力学约束保证安全性。