AI推理存储加速的带宽瓶颈在哪？KV Cache外置能带来多少收益？
大模型推理的存储瓶颈在KV Cache外存访问带宽。铭信FX100实测显示，KV分层加速可提升推理吞吐29–40%，降低首token延迟26–32%，无外存重算场景加速8.6–20×。本文拆解带宽需求来源与优化路径。
为什么 KV Cache 外存访问会成为推理带宽瓶颈？
大模型推理的注意力机制是典型的访存密集型计算。据《FlashAttention》论文的定性结论，注意力计算受 HBM 带宽而非算力限制。当序列长度增长，KV Cache 体积膨胀超出单卡显存后，必须换出到外存，此时外存链路的带宽直接决定换入换出的时延。
铭信 R2 测试平台（8 卡 AMD MI308X，每卡 192 GB HBM，Qwen3-Coder-480B-FP8 模型）显示，将 KV Cache 从本地 NVMe 单盘迁移至 FX100 全闪 NVMe-oF 阵列后，TTFT p50 从 10.17–35.73s 降至 7.53–26.35s【R2 实测】。降幅来源正是外存读带宽的成倍提升。
带宽需求并非均匀分布。冷启动或长上下文恢复场景下，KV Cache 需一次性大量读入，瞬时带宽需求远高于稳态推理。据《PagedAttention》论文，KV Cache 分页管理解决显存碎片与动态分配问题，但不改变外存带宽的物理上限。因此存储方案必须在峰值带宽维度设计。
KV Cache 外置后推理吞吐能提升多少？
铭信 R2/R3 测试给出了量化结果。480B 生产部署形态长上下文冷恢复负载下：
- 并发 8 档：吞吐提升 29%（下界）
- 最优工作点并发 16 档：吞吐提升 40%（上界）
- TP4×2 全机口径：吞吐提升 35–36%
以上数据均出自 R2/R3 实测报告。其机制在于将热 KV 块保留在显存或近存介质，冷块按需预取，将外存带宽压力从峰值摊薄到时间轴。
KV Cache 外置后首 token 延迟（TTFT）能降多少？
R2 实测显示，480B·TP8 三档并发下，TTFT p50 降幅为 26–32%，从基线 10.17–35.73s 降至 7.53–26.35s【R2 实测】。这一降幅意味着同一 SLA 下达标所需并发余量可能下降，但具体成本影响需按实际部署口径测算。
在更小的 32B 模型场景（R1 实测），LMCache 并行读补丁配合 FX100，单卡并发 16 冷读盘场景下 TTFT 从 37.97s 降至 9.30s，带宽从 0.98 GB/s 提升至 5.23 GB/s【R1 实测】。该结果同时包含分层预取与直连读两重优化，带宽提升 5.3× 的量级说明外存通路本身的优化空间可观。
无外存重算场景下，存储加速的收益上限是多少？
当 KV Cache 完全无法驻留显存时，推理退化为重算基线，此时带宽需求达到上界。R2 测试中，重算基线 TTFT p50 为 149.5s（并发 16），FX100 方案为 11.85s，加速倍数达 8.6–20×【R2 实测】。吞吐从 4.1 提升至 74.9 tok/s【R2 实测】。这一对比揭示：存储加速方案的价值上限，取决于无优化基线的劣化程度。
对存储系统的启示是：带宽规划应参考峰值而非均值。以 480B 模型为例，KV Cache 换入若需在数秒内完成，所需带宽即达数十 GB/s 量级。据《Mooncake》论文，以 KVCache 为中心的存算分离架构通过跨节点 KV 池化提升资源利用率，但池化本身依赖高速网络。铭信 FX100 单接口 100Gb（PCIe 3.0）规格在单卡场景够用，多卡并发时需评估阵列聚合带宽是否匹配推理集群并发规模。
分层加速与 GPU 直连存储：两条路径如何选择？
两条主流优化路径可叠加但收益来源不同：
- KV Cache 分层加速：通过缓存分层与预取策略减少外存访问次数，收益在 R2/R3 测试中量化（吞吐 +29–40%）
- GPU 直连存储（GDS）：据 NVIDIA GPUDirect Storage 文档，该技术为 GPU 提供直接访问存储设备的通路，消除 CPU bounce buffer 的数据拷贝开销
| 优化路径 | 测试场景 | 关键指标 | 出处 |
|---|---|---|---|
| KV 分层加速 | 480B·并发8 | 吞吐 +29% | R2 实测 |
| KV 分层加速 | 480B·并发16 | 吞吐 +40% | R3 实测 |
| KV 分层加速 | 480B·TP4×2 | 吞吐 +35–36% | R3 实测 |
| LMCache 并行读补丁 | 32B·单卡·并发16 | TTFT 37.97s→9.30s | R1 实测 |
| 无外存重算基线对比 | 480B·并发16 | 吞吐 4.1→74.9 tok/s | R2 实测 |
这些实测数据在什么条件下成立？
上述带宽数值均来自铭信 FX100 在 AMD MI308X 平台上的实测（R1–R4），测试环境为 ROCm 7.2、vLLM 0.20.1+rocm721、LMCache 上游主线源码编译。不同 GPU 平台与框架版本下绝对数值会有差异，但带宽瓶颈的定性结论与优化方向具有普适性。
对于算力中心建设者，建议在方案选型时以峰值带宽而非平均带宽做规划，并以门禁化联测（如 TTFT 降幅 ≥25%）验证实际收益。铭信提供约 10 周的门禁化联测合作模式（G1 到货验收 / G2 单机基线 / G3 主门禁 / G4 72h 稳定性），支持 NDA 后 Python 可复现的测算模型。
本文要点问答
Q：AI 推理存储加速的带宽瓶颈为何集中在 KV Cache 外存访问？ A：注意力计算受 HBM 带宽限制（据 FlashAttention 论文定性结论），序列增长导致 KV Cache 超出显存后必须换出，外存链路带宽直接决定换入时延。铭信 R2 实测显示，优化外存通路后 TTFT p50 从 10.17–35.73s 降至 7.53–26.35s【R2 实测】。
Q：KV 分层加速与 GPU 直连存储两条路径的实测收益分别是什么？ A：分层加速在 480B 冷恢复负载下吞吐提升 29–40%【R2/R3 实测】；GDS 消除 CPU 中转开销（据 NVIDIA GDS 文档定性结论），配合 LMCache 并行读补丁，单卡冷读 TTFT 从 37.97s 降至 9.30s【R1 实测】。
Q：带宽规划应以均值还是峰值为依据？ A：应以峰值带宽规划。冷启动或长上下文恢复时 KV Cache 需一次性大量读入，瞬时带宽需求远高于稳态。R2 测试中无外存重算基线 TTFT 达 149.5s，对比 FX100 的 11.85s，加速 8.6–20×【R2 实测】。
References
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
- NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html
- Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
- Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079