前缀缓存

本文是对Armin Ronacher关于LLM API是状态同步问题观点的反驳。作者认为消息抽象并非隐藏更简单的现实，而是模型权重中提示格式的直接映射。提供商通过前缀缓存和隐藏状态（如思考痕迹、VM状态）引入状态，但从客户端角度看，服务器本质上是无状态的，只需回显服务器给出的不透明数据即可。本地优先/CRDT方案无法解决提供商内部的隐藏状态问题，因为提供商不会暴露这些状态。实际问题是消息重传的二次增长和缺少互操作性。作者建议客户端管理自己的规范状态，将提供商视为黑盒，仅依赖可观测的消息和工具结果。文章深入剖析了LLM API设计的现状与挑战。