Kimi K3 推論架構把瓶頸從部分 KV cache 傳輸移向模型權重、專家路由與 scale-up 互連。 這個 2.8 兆參數 MoE 模型每個 token 只啟動 896 個專家中的 16 個，並以 Kimi Delta Attention 降低長序列注意力負擔；然而 Moonshot 仍建議採用至少 64 個加速器的 supernode。效率提高沒有讓硬體消失，而是改變硬體必須解決的問題。
先把三種記憶體流量拆開
大型模型推論同時搬動權重、KV cache 與中間 activation。線性注意力主要改善序列長度增加時的注意力狀態成本，無法縮小整個模型的權重。K3 的權重若以每參數約 4 bit 粗估，原始資料量就接近 1.4 TB；實際服務還要加入量化 metadata、路由資料、cache 與執行工作區。
因此，即使 KDA 降低某些 KV cache 壓力，系統仍需把龐大的專家權重分散到多張 GPU，並在每個 token 到來時把資料送往被選中的專家。高併發時，這段 all-to-all 通訊可能成為延遲與吞吐量的主導因素。
| 推論資料 | K3 的效率來源 | 仍存在的系統成本 |
|---|---|---|
| 模型權重 | MXFP4 量化感知訓練 | 2.8 兆參數必須跨大量 HBM 儲存 |
| KV cache | KDA 與 Gated MLA 改善長序列效率 | 100 萬 token 上下文與高併發仍需分層儲存 |
| 專家路由 | 每 token 啟動 16／896 個專家 | GPU 間需要低延遲、高頻寬的 expert parallel 通訊 |
| 輸出 token | 稀疏啟動降低單 token 運算 | 使用量成長會放大總推論需求 |
為什麼 64 個以上加速器是重要訊號
Moonshot 在官方技術說明中明確建議，以 64 個以上加速器的高頻寬 supernode 部署 K3。這表示有效率的服務邊界已從單機八卡擴大到機櫃級系統。模型可以把不同專家放在不同 GPU 的 HBM 中，讓每張卡只保存一部分權重；代價是 token 路由時必須快速跨卡交換資料。
NVIDIA 的 GB300 NVL72 提供 72 張 Blackwell Ultra GPU、20 TB GPU 記憶體與 130 TB/s NVLink 頻寬。這些規格不能直接證明它是 K3 的唯一最佳平台，但很符合 K3 對大規模記憶體池與 scale-up domain 的需求。NVIDIA 公布的 25 倍效能功耗比是跨多個領先開放模型的最高值，Kimi K2.6 的個別測試則為最高 10 倍；不能把 25 倍直接標成 K3 實測結果。
HBM 不夠時，CPU 與 NVMe 才進場
當模型權重、KV cache 與執行空間同時逼近 HBM 上限，服務框架會把較冷的 cache 或資料卸載到 CPU 記憶體，必要時再使用 NVMe。這能增加可服務的上下文與使用者數量，卻會引入額外延遲。真正的最佳化目標是依工作負載在 HBM 容量、跨卡頻寬、延遲與每 token 成本之間取捨。
K3 也讓 vLLM 的 prefix caching 面臨新問題。Moonshot 表示已為 KDA 開發相對應的 prefill cache 實作，預計隨模型釋出。這提醒部署團隊：模型架構的效率，只有在推論引擎、排程器與記憶體階層一起調整時，才會轉成實際成本優勢。
Jevons 悖論是情境，不能當保證
當每 token 成本下降，企業可能把 AI 放進更多工作流程，進而增加總 token 用量。這符合 Jevons 悖論的方向，但結果取決於需求彈性、應用價值與電力限制。硬體需求更可能從單純追求訓練 FLOPS，轉為追求每瓦 token、每使用者延遲與可用記憶體容量。
KDA 會讓 HBM 需求下降嗎？
它能降低部分長序列注意力狀態成本，但 K3 的 2.8 兆參數權重仍需要龐大 HBM。整體需求必須同時考慮權重、cache、activation 與併發量。
為什麼 MoE 只啟動 16 個專家仍需要高速網路？
因為 16 個專家可能分散在不同 GPU。稀疏啟動省下運算，expert parallel 路由卻增加跨 GPU 資料交換的重要性。
K3 一定要使用 NVL72 嗎？
官方只建議 64 個以上加速器的高頻寬 supernode，沒有指定唯一硬體。NVL72 的 72-GPU domain、20 TB HBM 與 130 TB/s NVLink 很匹配，但部署仍要用真實工作負載測試。
25 倍效能功耗比是 K3 的數字嗎？
不是。NVIDIA 的 25 倍是多個領先開放模型中的最高結果；官方列出的 Kimi K2.6 測試最高為 10 倍。目前沒有同等方法下的 K3 數字。
權威來源
Author Insight
部署大型 MoE 時，最容易犯的錯是只看 active parameters。生產成本由整個 working set、路由拓樸與服務水準共同決定。K3 的價值在於把這件事講得很清楚：演算法省下的資源，往往會在另一層系統瓶頸重新出現。
Tenten 能協助團隊把模型評測轉成推論架構、容量規劃與可量測的單位成本。若你正在評估大型模型部署或多模型路由，與我們討論。
