KV Cache 容量越大，推理加速效果就越好吗？

发布2026/8/13更新2026/9/10KV Cache命中率显存

直接答案

本文基于实测数据，分析了 KV Cache 容量与推理加速收益之间的边际递减规律，解释了其内在机制，并为算力中心的容量规划提供了以工作集为锚点的实践建议。

KV Cache 的显存投入与推理加速收益之间并非线性关系。当缓存容量超过目标负载的活跃工作集后，继续扩容带来的命中率提升和端到端加速效果会明显收窄。这一边际递减现象源于工作集大小的幂律分布、缓存替换的边际命中率递减，以及远端读取延迟在总时延中占比的下降。对算力中心而言，容量规划应以具体负载的工作集特征为锚点，而非一味追求“越大越好”。

为什么 KV Cache 容量增大后，加速收益反而会下降？

KV Cache 的核心价值在于复用历史计算的键值对，以避免重复计算。根据 arXiv 论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》的分析，KV Cache 分页管理旨在解决显存碎片化问题，让更多历史键值对得以驻留。然而，缓存收益的边界由负载本身决定：当缓存容量超过活跃工作集（即高频访问的数据集）后，新增容量只能缓存访问频率极低的“冷数据”，对整体命中率的贡献迅速减小。

芯元一在 480B 生产部署形态长上下文冷恢复负载下的实测数据，清晰地展示了这一边际效应【R2/R3 实测】。在并发 8 档时，KV Cache 分层加速带来的推理吞吐提升为 +29%（下界）；在最优工作点并发 16 档时，提升达到 +40%（上界）；而在 TP4×2 全机口径下，提升稳定在 +35–36%。数据表明，从并发 8 档提升到 16 档时，收益增幅显著，但继续增加缓存资源后，全机整体收益并未线性增长，反而呈现收窄趋势。这说明缓存容量存在一个“甜点区间”，越过该区间后，额外显存投入带来的收益增量会迅速衰减。

命中率与缓存容量的关系：边际递减的内在机制是什么？

要理解收益递减，需要拆解 KV Cache 命中率与显存容量之间的关系。根据 arXiv 论文《SGLang: Efficient Execution of Structured Language Model Programs》所述，RadixAttention 等机制通过前缀树复用提升多轮对话等场景的命中率，但其收益上限受限于负载特征。如果并发请求间的共享前缀有限，复用空间就天然受限。

另一个关键机制是缓存替换的边际命中率递减。当缓存容量较小时，新增容量可以容纳更多高频访问的 KV 块，命中率提升显著；当容量接近工作集大小时，新增容量只能替换掉低频访问的冷块，对命中率的提升作用趋缓。这一规律在芯元一的首 Token 延迟（TTFT）实测中同样可见【R2 实测】。在无外存重算的基线场景下，TTFT p50 高达 149.5 秒（并发16），此时引入 KV Cache 外置后改善幅度极为显著，达到 8.6–20 倍。但随着缓存命中率本身接近上限，剩余的延迟主要由计算和网络传输决定，此时单纯扩容缓存对端到端时延的改善作用就会减弱。

如何进行 KV Cache 容量规划？应该以什么为锚点？

对算力中心而言，KV Cache 容量规划的核心问题不是“能放多大”，而是“目标负载的工作集有多大”。根据 arXiv 论文《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的分析，以 KV Cache 为中心的存算分离架构通过池化提升利用率，但其设计前提是准确识别工作集特征。如果负载的共享前缀极少，池化的收益同样有限。

芯元一在昇腾平台的实测数据从模型加载角度印证了缓存的杠杆效应及其边界【R9 实测】。在华为 Atlas 910B 平台上，使用 FX100 加速后，DeepSeek-32B 的服务加载时间从 691 秒缩短至 112 秒（加速 6.2 倍），DeepSeek-70B 从 1399 秒缩短至 150 秒（加速 9.3 倍）。模型越大，冷启动加载的绝对耗时越长，缓存加速的绝对值也越大。但这一收益同样遵循边际递减规律：当模型权重已全部驻留或缓存命中率饱和后，继续扩容带来的加速收益将微乎其微。

因此，有效的容量规划应以目标负载的工作集大小为锚点，结合并发形态、上下文长度和请求共享特征来确定“甜点区间”。芯元一支持通过约 10 周的门禁化联测（从 G1 到货验收到 G4 72 小时稳定性测试）来验证特定容量方案在真实负载下的实测效果。