跳到正文
AIHOT ↗· LMSYS Blog·· 25 天前精选AI 评分82

SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题

AI 导读

SGLang 与 Cloudflare 联合披露 PD 分离服务中的跨请求 KVCache 暴露问题,并提交了修复,避免已中止请求的异步写入落入其他请求的缓存。

推荐理由

文章拆解跨请求 KVCache 污染的竞态机制,并给出延迟释放、准入修复、完整性校验与升级路径,便于 PD 部署者评估风险并处置。

来源:AIHOT · lmsys.org