擴展 MoE 推理通常受限於通信 + KV 緩存：一旦推動專家並行，解碼可能會受到集體操作和不平衡的主導，而預填充的延遲者可能會使整個 EP 群組停滯。 關於在多節點 H200（Coreweave，Infiniband + ConnectX-7）上進行 vLLM 寬 EP 的新社區基準結果： - 每個 H200 GPU 持續約 2.2k tokens/s（較早期的每 GPU 約 1.5k tokens/s 有所上升） 在這篇文章中，我們分享了使這一切成為可能的關鍵要素： - 寬 EP (`--enable-expert-parallel`) 用於 DeepSeek 風格的 MoE + MLA KV 效率 - DeepEP 全到全，雙批重疊（DBO）和專家並行負載平衡（EPLB） - 通過 llm-d、NVIDIA Dynamo 和 Ray Serve LLM 進行預填充/解碼的解耦和部署路徑

vLLM 在相同的 GPU 平台上提供了更高的推理性能。 在短短 1 個月內，我們與 NVIDIA 合作，將 @nvidia Blackwell 每個 GPU 的最大吞吐量提高了多達 33% -- 顯著降低了每個 token 的成本 -- 同時也為最敏感延遲的使用案例啟用了更高的峰值速度，這得益於深度 PyTorch 的整合與合作。

🎉恭喜 @Zai_org 團隊推出 GLM-4.6V 和 GLM-4.6V-Flash — 在 vLLM Recipes 中提供日零支援，適合希望在自己的 GPU 上運行的團隊。 GLM-4.6V 專注於高品質的多模態推理，具備長上下文和原生工具/函數調用，而 GLM-4.6V-Flash 是一個針對較低延遲和較小佔用的 9B 變體；我們的新 vLLM Recipe 提供即用型配置、多 GPU 指導和以生產為導向的預設。 如果您正在構建推理服務並希望在您的堆疊中使用 GLM-4.6V，請從這裡開始：