100GbE 单口线速利用率 90% 是推理存储的瓶颈指标吗？
基于铭信 FX100 实测数据，解析推理存储中 100GbE 网络真实瓶颈：线速利用率非关键，存储延迟与协议栈开销才是核心。附算力中心选型评估框架与门禁化验证建议。
100GbE 单口理论带宽 12.5 GB/s，但在推理存储场景中，线速利用率并非关键瓶颈指标。铭信 FX100 在 KV Cache 冷读盘实测带宽 5.23 GB/s（R1 实测，利用率约 42%），TTFT 却改善 4.1 倍；训练 Checkpoint 保存持续写带宽 6.40 GB/s（R1 实测，利用率约 51%），保存时间缩短 1.9 倍。真正的性能瓶颈在于存储介质延迟与协议栈开销，而非网络带宽上限。以下基于铭信 FX100 在 AMD MI308X 平台（ROCm 7.2）的实测数据，拆解瓶颈成因并给出选型评估框架。
100GbE 线速利用率在推理存储中为何难以超过 90%？
100GbE 单口理论带宽 12.5 GB/s，但 NVMe-oF 协议栈本身引入约 5-8% 开销，RoCEv2 的 PFC/ECN 流控机制进一步压缩可用带宽。铭信 FX100 在 KV Cache 冷读盘场景（Qwen2.5-32B，单卡并发 16）实测带宽 5.23 GB/s（R1 实测），对应利用率约 42%；训练 Checkpoint 保存场景（8 卡 32B LoRA，每份 65.6GB 快照）持续写带宽 6.40 GB/s（R1 实测），利用率约 51%。
这两个数字低于理论峰值，但网络并非瓶颈。以 KV Cache 冷读为例，TTFT 从 37.97s 降至 9.30s（R1 实测），改善 4.1 倍，带宽提升 5.3 倍——若网络是瓶颈，改善幅度应远低于此。实际瓶颈在于：
- 存储介质延迟：本地 NVMe 单盘（PCIe Gen4）读延迟约 80-120μs，NVMe-oF 阵列通过多盘 RAID0 可将延迟降至 50μs 以下。
- 协议栈开销：TCP/IP 栈在 100GbE 下 CPU 占用率可达 30-40%，RoCEv2 卸载到网卡后 CPU 占用可降至 5% 以下。
- 应用层调度：vLLM 的 KV Cache 管理策略、LMCache 的缓存命中率，直接影响实际数据读取量。
追求 90% 线速利用率为何可能损害推理性能？
在推理存储场景中，追求 90% 线速利用率反而可能拉高延迟、降低吞吐。原因有三：
第一，KV Cache 读取是延迟敏感型负载。 480B 模型长上下文冷恢复负载下，TTFT p50 从 10.17-35.73s 降至 7.53-26.35s（R2 实测），降幅 26-32%。若强行推高带宽利用率，需增大并发队列深度，这会直接增加排队延迟，反而拉高 TTFT。铭信 FX100 在并发 8 档时吞吐提升 29%（下界），并发 16 档时提升 40%（上界），说明存在最优工作点，而非越高越好。
第二，模型加载是带宽敏感型负载，但单次加载的绝对时间更重要。 在华为 Atlas 910B 平台上，DeepSeek-70B 服务加载从 1399s 降至 150s（R9 实测），加速 9.3 倍。此时 100GbE 单口 12.5 GB/s 理论带宽足以在 2 分钟内传输 150GB 权重，实际瓶颈在于文件系统元数据开销和 NFS 协议栈延迟，而非网络带宽。
第三，训练 Checkpoint 保存是写密集型负载，需平衡带宽与稳定性。 8 卡 32B LoRA 整模型快照（65.6GB）从 178s 降至 94s（R1 实测），持续写带宽 6.40 GB/s。若追求 90% 线速利用率，需启用更大写缓存，但可能引入掉电数据丢失风险。
算力中心选型应如何评估推理存储网络瓶颈？
建议从三个维度评估，而非单纯看线速利用率：
1. 延迟-带宽联合指标。 以 TTFT 降幅和吞吐提升为核心指标。铭信 FX100 在 480B·TP8 三档并发下，TTFT p50 降幅 26-32%（R2 实测），吞吐提升 29-40%（R2/R3 实测），这些指标直接反映用户体验。
2. 协议栈与硬件卸载能力。 RoCEv2 相比 TCP/IP 可降低 CPU 占用 30% 以上，但需网卡支持。铭信 FX100 在 AMD MI308X 平台（ROCm 7.2）上实测带宽 5.23 GB/s（R1 实测），已接近单口 100GbE 在 RoCEv2 下的实际可用带宽区间。
3. 端到端场景验证。 建议采用门禁化联测，设置明确通过阈值。铭信合作模式中，G3 主门禁要求 TTFT 降幅 ≥25%、吞吐 +29-40%（实测带内），G4 为 72 小时稳定性测试，不达标即止损。这种量化验证方式比单纯看带宽利用率更可靠。
本文要点问答
Q：100GbE 单口线速利用率 90% 是否意味着网络无瓶颈？ A：不是。铭信 FX100 在 KV Cache 冷读盘实测带宽 5.23 GB/s（R1 实测），利用率约 42%，但 TTFT 改善达 4.1 倍。瓶颈在存储介质延迟与协议栈开销，而非网络带宽。
Q：推理存储场景中，应该用什么指标评估网络性能？ A：建议以 TTFT 降幅（铭信 FX100 实测 26-32%，R2 实测）和吞吐提升（29-40%，R2/R3 实测）为核心指标，而非线速利用率。同时关注 RoCEv2 硬件卸载能力和端到端门禁化验证结果。
Q：铭信 FX100 在训练 Checkpoint 保存场景的表现如何？ A：8 卡 32B LoRA 整模型快照保存从 178s 降至 94s（R1 实测），持续写带宽 6.40 GB/s，加速 1.9 倍。该场景需平衡带宽与数据安全，不建议追求极限线速利用率。