roofline-perf-ru

加速并测量 vLLM/SGLang 上的 LLM 推理：VRAM 和 KV 缓存预算、连续批处理、前缀/基数缓存、量化（FP8、AWQ、GPTQ、fp8 KV）及其对工具调用的影响、推测性解码、TTFT/TPOT/p95、基准测试方法（task bench、task vram、task metrics）。当被问及服务器为何变慢、如何提高吞吐量或并发性、应选择哪种量化方式、如何确定 KV 缓存大小、调整 max-num-seqs、max-num-batched-tokens 或 max-model-len，或如何运行和解读基准测试时，请使用本技能。俄语版本；英文技能同名，但无 -ru 后缀。

模型生成摘要（rules/v1 · 2026-11-12 17:40）：加速并测量 vLLM/SGLang 上的 LLM 推理：VRAM 和 KV 缓存预算、连续批处理、前缀/基数缓存、量化（FP8、AWQ、GPTQ、fp8 KV）及其对工具调用的影响、推测性解码、TTFT/TPOT/p95、基准测试方法（ta…
这是模型对公开材料的总结，不是官方声明，请以原链内容为准。

存档时间线

版本	存档时间	内容哈希	内容
v1	2026-11-12 17:40	8548b12e	可取

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

纠错与举报（发现条目失效、署名有误或涉及侵权？）

提交举报 / 纠错

侵权举报经核验成立后，我们会即时下线该条目并删除已存的内容副本。