kv-cache-latency-budgeter

针对两个生产瓶颈（KV缓存受限的并发量和端到端延迟）对专家模型集群进行预算规划：计算单个GPU可承载的并发用户数（关键约束是每个活跃用户的峰值KV缓存量，而非模型大小），证明权重量化不会提升该并发上限，而KV压缩（MEMENTO）可以；预估图分析（cuGraph / nx-cugraph）的GPU加速效果；并验证多节点工作流是否符合书中设定的延迟预算及2秒以内的目标。适用于将多模型智能体扩展至实时延迟场景。不用于模型选择（由 model-routing-selector 负责），不用于成本/质量评分（由 cost-performance-scorer 负责），也不用于定义GPU术语（由 gpu-glossary-anchor 负责）。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本