MoE推理的扩展通常受限于通信 + KV缓存：一旦你推动专家并行，解码可能会被集体操作和不平衡所主导，而预填充的滞后者可能会拖慢整个EP组。 关于在多节点H200（Coreweave，Infiniband + ConnectX-7）上进行vLLM宽专家并行的新社区基准结果： - 每个H200 GPU持续约2.2k tokens/s（比之前的每个GPU约1.5k tokens/s有所提升） 在这篇文章中，我们分享了实现这一目标的关键要素： - 宽专家并行（`--enable-expert-parallel`）用于DeepSeek风格的MoE + MLA KV效率 - DeepEP全到全，双批次重叠（DBO）和专家并行负载均衡（EPLB） - 通过llm-d、NVIDIA Dynamo和Ray Serve LLM实现预填充/解码的分离和部署路径

vLLM 在相同的 GPU 平台上提供了更高的推理性能。 仅在一个月内，我们与 NVIDIA 合作，将 @nvidia Blackwell 每个 GPU 的最大吞吐量提高了多达 33% -- 显著降低了每个 token 的成本 -- 同时还为最敏感延迟的用例提供了更高的峰值速度，这得益于深度 PyTorch 的集成和合作。

🎉恭喜 @Zai_org 团队推出 GLM-4.6V 和 GLM-4.6V-Flash —— 在 vLLM Recipes 中为希望在自己的 GPU 上运行它们的团队提供了零日服务支持。 GLM-4.6V 专注于高质量的多模态推理，具有长上下文和原生工具/函数调用，而 GLM-4.6V-Flash 是一个 9B 变体，经过调优以实现更低的延迟和更小的占用；我们的新 vLLM Recipe 提供了即用型配置、多 GPU 指导和以生产为导向的默认设置。 如果您正在构建推理服务并希望在您的技术栈中使用 GLM-4.6V，请从这里开始：