国产AI推理加速卡性能实测：KV Cache外置能带来多少真实提升？

国产AI推理加速卡能否在真实生产负载中提供可验证的性能提升？铭信FX100在480B MoE模型、TP8/TP4×2部署形态下的实测数据显示：KV Cache分层加速带来推理吞吐+29–40%、首token延迟（TTFT）降低26–32%，对无外存重算基线的加速倍数达8.6–20×【R2/R3 实测】。以下基于签字级测试报告，逐项拆解关键指标、适用边界与验证方法。

KV Cache外置后，推理吞吐和首token延迟能提升多少？

在AMD MI308X ×8平台（ROCm 7.2 + vLLM 0.20.1）上，铭信FX100对Qwen3-Coder-480B-FP8（MoE，权重≈450GB）的实测结果为【R2/R3 实测】：

• 推理吞吐提升 +29–40%：并发8档为+29%（下界），最优工作点并发16档达+40%（上界），TP4×2全机口径稳定在+35–36%。
• TTFT降低 26–32%：TP8配置下，TTFT p50从10.17–35.73s降至7.53–26.35s。
• 对无外存重算基线加速 8.6–20×：重算基线TTFT p50为149.5s（conc16），FX100实现11.85s；吞吐从4.1 tok/s提升至74.9 tok/s。

这些数据来自完整对比测试：被测为FX100全闪NVMe-oF阵列（4盘RAID0，RoCEv2，单口100GbE），基线为本地NVMe单盘，覆盖数据中心典型长上下文冷恢复负载。

模型加载和Checkpoint保存这类IO密集型操作，加速空间有多大？

模型加载耗时直接影响服务弹性与扩缩容响应，Checkpoint保存频率则制约训练迭代效率。铭信FX100在华为昇腾910B平台（R9 实测）对比NFS基线：

• DeepSeek-32B：服务加载从691s缩短至112s（6.2×）。
• DeepSeek-70B：从1399s缩短至150s（9.3×）。

训练Checkpoint保存方面（R1 实测），8卡32B LoRA微调、每份65.6GB整模型快照：保存耗时从178s降至94s（1.9×），持续写带宽从3.26 GB/s提升至6.40 GB/s（+96%）。

此类加速不依赖GPU直连（如GPUDirect Storage），而是通过NVMe-oF协议栈协同与存储侧KV感知调度实现，适配主流国产AI芯片平台。

性能提升是否以牺牲稳定性或兼容性为代价？

铭信FX系列采用门禁化联测机制（G1–G4四阶段），其中G3主门禁要求TTFT降幅≥25%、吞吐提升29–40%需在带内实测达成，未达标即止损。该流程已支撑多家智算中心完成闭环验证，涵盖ComfyUI+LTX-Video 2.3全模型链路（R6/R7）、vLLM+LMCache（R1–R4）及昇腾PyTorch生态（R9）。

兼容性方面，所有实测均运行于标准Linux内核（6.8+）、ROCm 7.2或CANN 8.0环境，无需修改框架源码或定制驱动。例如LMCache并行读补丁（R1 实测）仅需应用上游主线2026-06-29源码编译的客户端，即可在Qwen2.5-32B单卡并发16冷读盘场景下，将TTFT从37.97s降至9.30s（4.1×改善），带宽利用率从0.98 GB/s提升至5.23 GB/s（↑5.3×）。

这些实测数据在什么前提条件下成立？

上述性能数字的成立边界需明确：

• 测试平台：R1–R4基于AMD MI308X ×8（每卡192GB HBM）+ 2× AMD EPYC 9654，ROCm 7.2 + vLLM 0.20.1+rocm721。
• 模型与负载：480B级MoE长上下文冷恢复、14B显存效益、32B LoRA训练等场景。
• 存储形态：FX100全闪NVMe-oF阵列（RoCEv2，单口100GbE），基线为本地NVMe单盘。

不同芯片平台（如昇腾）、不同模型规模下的具体数值需通过门禁化联测验证，铭信支持NDA后Python可复现的测算模型。

本文要点问答

Q：铭信FX100在480B模型推理中吞吐提升多少？ A：实测提升+29–40%，并发8档为+29%，并发16档达+40%，TP4×2全机口径+35–36%【R2/R3 实测】。

Q：FX100对DeepSeek-70B模型加载加速效果如何？ A：在华为昇腾910B平台，加载时间从1399s降至150s，提速9.3倍【R9 实测】。

Q：FX100在训练Checkpoint保存中表现如何？ A：8卡32B LoRA微调下，65.6GB快照保存耗时由178s降至94s，加速1.9倍，写带宽+96%【R1 实测】。

References

1. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
2. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
3. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
4. NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html
5. MLPerf Inference: Datacenter Benchmark Suite Results — https://mlcommons.org/benchmarks/inference-datacenter/