NVIDIA 近期公佈了新一代 DGX Station，並同步推出被稱作 DGX Spark 的小型 AI 個人電腦（前稱 NVIDIA Digits）。DGX Station 成為市場焦點，因為它結合了強大的 GPU 記憶體與驚人的頻寬，讓機器學習、資料科學與大型語言模型（LLM）訓練在本地端成為可能。以下將從 DGX Spark 與 DGX Station 的特色出發，探討這些 AI 電腦能帶來哪些重大改變。
最新的DGX Station採用NVIDIA Grace Blackwell架構，配備了強大的GB300 Grace Blackwell Ultra桌面超級晶片。其關鍵規格包括:
- 處理器: 1x Grace-72核心Neoverse V2 CPU
- GPU: 1x NVIDIA Blackwell Ultra (GB300)
- GPU記憶體: 高達288GB HBM3e，提供驚人的8 TB/s記憶體頻寬
- 系統記憶體: 高達496GB LPDDR5X，頻寬高達396 GB/s
- 統一記憶體: 高達784GB的大型一致性記憶體
最新的DGX Station在記憶體容量和頻寬方面有了顯著提升，使其能夠處理更複雜的AI模型和更大的數據集。DGX Station採用分離的GPU和系統記憶體，但通過一致性記憶體架構連接。相比之下，DGX Sparks使用類似Mac的統一記憶體設計。
DGX Spark：入門級AI工作站
DGX Spark 的定位是一款迷你但功能強大的 AI 個人電腦。根據目前公佈的數據，這台小型主機擁有 128GB 共享記憶體（Unified System Memory），採用 LPDDR5X，讓 CPU 與 GPU 共享相同資源。雖然記憶體頻寬僅有 273GB/s，與一些高階顯示卡相比並不算高，但對於想在桌上型機器上跑中小型 LLM 的使用者而言，DGX Spark 的記憶體空間相當可觀。
然而，此產品的 Tensor 效能只有約 1,000 AI TOPS，低於 RTX 系列顯示卡。儘管如此，DGX Spark 能有效解決一般 GPU 記憶體不足的問題，讓較大模型也能在本地端執行。DGX Spark 建議售價約 4,000 美元，而合作廠牌（如華碩推出的 Asus Ascent GX10）預計約 3,000 美元，但仍屬高價帶產品。
為了提供比較，NVIDIA還推出了更實惠的DGX Spark (前身為Project DIGITS):
- 處理器: 20核心Arm (10 Cortex-X925 + 10 Cortex-A725)
- GPU: GB10 Blackwell GPU
- 記憶體: 128GB LPDDR5x統一系統記憶體，頻寬273 GB/s
- AI性能: 1000 "AI TOPS"
- 功耗: 170W，相對節能
- 尺寸: 150 mm L x 150 mm W x 50.5 mm H，結構緊湊
- 重量: 僅1.2 kg
- 價格: 約$3,000
- 上市時間: 2025年5月
DGX Spark專為原型設計、微調和本地推理最新一代AI模型而設計，能夠處理參數高達2000億的模型。
DGX Station：強化 AI 工作流程的核心
相較之下，DGX Station 才真正展現 NVIDIA 在 AI 計算領域的雄心。DGX Station 的 GPU 採用 Blackwell Ultra，最高可達 288GB GPU 記憶體，頻寬高達 8TB/s。除此之外，CPU 端可搭配 496GB 記憶體，頻寬能達到 396GB/s。這些搭配讓 DGX Station 在執行大型語言模型或深度學習工作時，更能保持高速且穩定的輸出。
DGX Station 規格概要
| 項目 | 規格 |
|---|---|
| GPU | Blackwell Ultra |
| GPU 記憶體容量 | 最多 288GB |
| GPU 記憶體頻寬 | 高達 8TB/s |
| CPU 記憶體容量 | 最多 496GB |
| CPU 記憶體頻寬 | 約 396GB/s |
| 連接技術 (NVLink) | 最高 900GB/s |
| 網路連線 (NVIDIA ConnectX) | 可達 800Gb/s（光纖） |
透過 NVLink 技術，可把多張 GPU 或多個 DGX Station 連結成一個 AI 叢集；而全新的高速網卡 NVIDIA ConnectX，則提供高達 800Gb/s 的光纖連線，大幅提升集群效能。不過 DGX Station 仍未正式公布售價，預期價格將不菲，較適合企業級或對 AI 工作有專業需求、且能回收投資成本的用戶。
Erik
大型語言模型與記憶體需求
不論是 DGX Spark 或 DGX Station，都強調「記憶體容量」與「記憶體頻寬」在深度學習和 LLM 本地端推論時的重要性。大量參數的模型通常需要更高的 GPU 記憶體，如果無法一次容納，便會溢出到 CPU；這時整體運算效能就會顯著下滑，無法發揮機器的最佳速度。DGX Station 以 288GB 甚至更高的 GPU 記憶體容量，展現能輕鬆駕馭大型模型的潛力，進一步鞏固它在 AI 市場的領先位置。
FP4 與量化技術
NVIDIA 執行長在發表會中提到，DGX Station 的運算性能可達 20 PetaFLOPS，但同時也提及一種稱為「FP4（Float4）」的新型態運算格式。這與常見的 FP16 或 FP32 不同，也與一般常用的 int4 或 int8 量化模式差異顯著。雖然詳細效能與實際運作方式仍有待進一步驗證，但這也代表 DGX Station 在硬體與演算法最佳化上可能做了特殊設計，值得後續關注。
DGX Station和DGX Spark在記憶體架構上有顯著差異:
- DGX Station: 採用HBM3e GPU記憶體和LPDDR5X系統記憶體的組合，兩者通過一致性記憶體架構連接
- DGX Spark: 類似於Mac的LPDDR5X統一記憶體設計
這種差異反映了兩款產品的定位不同 — DGX Station面向高端AI訓練和研究，而DGX Spark則更適合開發和推理工作。
價格與定位
DGX Station的價格反映了其高端定位:
- 最新GB300 DGX Station: 估計價格在$40,000-$60,000之間
- 有觀點認為可能更高: 考慮到前代A100 DGX Station起價為$99,000，部分專家估計新版可能在$100,000以上
相比之下，DGX Spark的$3,000價格使其成為開發者、數據科學家和學生更容易接觸的選擇。
冷卻系統與維護
DGX Station採用先進的冷卻解決方案:
- 封閉式加壓冷卻系統: 使用特殊的冷卻液和高性能泵
- 水冷系統合作夥伴: 由EK提供
- 常見問題: 泵故障是DGX Station較常見的問題，特別是在長時間關機後重新啟動時
對於企業用戶，維持有效的支援合約是確保系統穩定運行的關鍵。
DGX生態系統
- DGX-Ready軟體程序: 企業級MLOps解決方案，確保數據科學生產力
- 儲存技術合作夥伴: 由NVIDIA認證，為DGX系統提供最大應用性能
- DGX-Ready認證數據中心: 提供現代基礎設施、互連性和先進冷卻解決方案
- 管理服務: 委託認證合作夥伴處理部署和維護超級計算基礎設施的複雜性
硬體設計與製造
- 機箱設計: NVIDIA自主設計，專為DGX Station系統打造
- 製造合作夥伴: 由富士康製造，不單獨銷售
- 水冷系統: 由知名水冷解決方案提供商EK設計和製造
對比其他AI計算選項
與其他AI計算選項相比，DGX Station提供了獨特的優勢:
- 與雲端服務相比: 允許本地數據處理，減少數據傳輸成本和潛在的安全風險
- 與組裝系統相比: 提供經過優化的軟硬體堆棧和專業支援
- 與Mac等替代品相比: 提供更高的性能上限和NVIDIA特有的軟體生態系統優勢
DGX Station x DGX Sparks主要差異
DGX Station和DGX Sparks (前身為Project DIGITS)是NVIDIA推出的兩款AI工作站，針對不同需求和預算的用戶。以下是它們的主要區別:
| 特性 | DGX Station | DGX Sparks |
|---|---|---|
| 定位 | 高端AI訓練和推理桌面超級電腦 | 入門級AI開發和推理工作站 |
| CPU | 1x Grace-72核心Neoverse V2 | 20核心Arm (10 Cortex-X925 + 10 Cortex-A725) |
| GPU | 1x NVIDIA Blackwell Ultra (GB300) | GB10 Blackwell GPU |
| GPU記憶體 | 高達288GB HBM3e | 不適用 |
| 系統記憶體 | 高達496GB LPDDR5X | 128GB LPDDR5x統一系統記憶體 |
| 記憶體頻寬 | GPU: 8 TB/s, 系統: 396 GB/s | 273 GB/s |
| 一致性記憶體 | 高達784GB | 不適用 |
| AI性能 | 未指定 | 1000 "AI TOPS" |
| 功耗 | 未指定 | 170W |
| 尺寸 | 未指定 | 150 mm L x 150 mm W x 50.5 mm H |
| 重量 | 未指定 | 1.2 kg |
| 估計價格 | $40,000-$60,000或更高 | 約$3,000 |
NVIDIA Blackwell Ultra GPU
NVIDIA Blackwell Ultra GPU (GB300) 是DGX Station的核心組件，為這款高端AI工作站提供了強大的計算能力。以下是其主要特性:
- 高昂售價: NVIDIA執行長黃仁勳透露，Blackwell GPU的售價約為30,000美元。這個價格反映了其卓越的性能和先進技術。
- 大容量高速記憶體:
- GPU記憶體容量高達288GB HBM3e
- 記憶體頻寬達到驚人的8 TB/s
- 一致性記憶體架構: 與系統記憶體結合，提供高達784GB的大型一致性記憶體空間。
- 專為AI和高性能計算設計: Blackwell架構針對大規模AI訓練和推理工作負載進行了優化。
- 整合解決方案: NVIDIA正轉向提供完整的服務器和機架級解決方案，而非單獨的GPU模組。
- 高端定位: 這款GPU主要面向數據中心和企業級AI應用，不適用於個人工作站。
- 先進製程: 雖然具體細節未公開，但預計採用最新的半導體製程技術。
- 能效比提升: 相較前代產品，預計在性能提升的同時也會改善能源效率。
- 支援最新AI框架: 針對主流AI框架和庫進行了優化，以提供最佳性能。
- 專業冷卻解決方案: 考慮到其高性能特性，DGX Station很可能採用先進的冷卻系統來維持穩定運行。
這些特性使NVIDIA Blackwell Ultra GPU成為DGX Station的核心，為高端AI研究和開發提供了強大的計算基礎。然而，其高昂的價格也意味著它主要針對擁有充足預算的企業和研究機構。
記憶體頻寬比較
NVIDIA DGX Station與其他AI工作站在記憶體頻寬方面的比較如下:
| 工作站型號 | 記憶體頻寬 |
|---|---|
| NVIDIA DGX Station (Blackwell Ultra GPU) | 8 TB/s (GPU), 396 GB/s (系統) |
| NVIDIA DGX Sparks | 273 GB/s |
| Mac Studio (M3 Ultra) | 819 GB/s |
| NVIDIA RTX Pro 5000 | 1.3 TB/s |
| NVIDIA RTX Pro 6000 | 1.8 TB/s |
分析
- DGX Station優勢: DGX Station的GPU記憶體頻寬達到驚人的8 TB/s，遠超其他工作站。這使其特別適合處理大規模AI訓練和複雜推理任務。
- Mac Studio M3 Ultra: 雖然不及DGX Station，但其819 GB/s的頻寬仍然相當可觀。這足以支援許多AI工作負載，特別是在統一記憶體架構中。
- RTX Pro系列: RTX Pro 5000和6000提供了介於Mac Studio和DGX Station之間的選擇，分別達到1.3 TB/s和1.8 TB/s。這些GPU適合高端工作站配置。
- DGX Sparks: 作為入門級選項，其273 GB/s的頻寬雖然較低，但考慮到其價格和功耗，仍然提供了不錯的性能。
- 使用場景考慮: DGX Station的高頻寬特別適合需要處理超大型模型和數據集的研究機構和企業。Mac Studio和RTX Pro系列則更適合中小型AI項目和開發工作。
- 性價比: 雖然DGX Station提供最高性能，但其價格也最為昂貴。Mac Studio和RTX Pro系列在性能和價格之間提供了良好的平衡。
總的來說，DGX Station在記憶體頻寬方面領先其他工作站，但選擇合適的工作站還需考慮具體的使用需求、預算和能耗等因素。
家用AI運算平台比較分析
針對RTX Pro 5090、DGX Station、DGX Spark和Mac Studio M3 Ultra 512GB在AI運算領域的表現，以下是關鍵比較指標:
| 關鍵指標 | RTX Pro 5090 | DGX Station | DGX Spark | Mac Studio M3 Ultra 512GB |
|---|---|---|---|---|
| 定位 | 旗艦消費級GPU | 企業級AI工作站 | 入門AI開發平台 | 整合式創意工作站 |
| 處理核心 | 21,760 CUDA核心 | Blackwell Ultra GPU | GB10 Blackwell GPU | 80核GPU + 32核NPU |
| 記憶體配置 | 32GB GDDR7 | 784GB混合記憶體 (288GB HBM3e + 496GB LPDDR5X) | 128GB LPDDR5x | 512GB統一記憶體 |
| 記憶體頻寬 | 1.5 TB/s | 8 TB/s (GPU) + 396 GB/s (系統) | 273 GB/s | 819 GB/s |
| AI性能基準 | 41% 高於RTX4090 | 未公開(企業級基準) | 1000 AI TOPS | 49,847量化運算分數 |
| LLM推理速度 | 8.9圖/分鐘(SD) | 專注大模型訓練 | 支援2000億參數模型 | 約18 token/秒(q4) |
| 功耗 | 648W峰值 | 未公開 | 170W | 370W峰值 |
| 定價 | $1,999 | $40,000-$100,000+ | $3,000 | $8,999起 |
記憶體架構比較
DGX Station
採用分離式混合記憶體架構，GPU配備288GB HBM3e(8TB/s)與系統496GB LPDDR5X(396GB/s)，透過一致性連接技術實現784GB邏輯記憶體空間。
Mac Studio M3 Ultra
512GB統一記憶體架構，頻寬819GB/s，適合需大容量記憶體的AI模型。
RTX 5090
32GB GDDR7顯存搭配1.5TB/s頻寬，支援最新AI框架與DLSS 4技術。
DGX Spark
128GB LPDDR5x統一記憶體，273GB/s頻寬，採用Arm架構CPU。
性能實測表現
- 圖像生成
RTX 5090在Stable Diffusion測試中達到8.9圖/分鐘，比RTX4090快41%。DGX Station雖未公開具體數據，但憑藉HBM3e記憶體可處理更複雜的生成式模型。 - LLM推理
Mac Studio M3 Ultra在Deepseek v2.5測試中約18 token/秒(q4量化)，適合本地部署中型模型。DGX Spark可運行2000億參數模型，但速度未公開。 - 訓練能力
DGX Station專為大規模訓練設計，可處理超過1兆參數模型。RTX 5090雖支援本地訓練，但受顯存限制更適合微調任務。
應用場景建議
DGX Station
- 企業級AI模型訓練
- 多模態大語言模型開發
- 科學計算與模擬
RTX Pro 5090
- 本地AI研究與開發
- 4K實時渲染與生成式AI
- 深度學習原型設計
DGX Spark
- 初創公司AI模型原型開發
- 教育機構教學平台
- 邊緣計算部署測試
Mac Studio M3 Ultra
- 創意產業AI輔助工具
- 本地化隱私敏感型AI應用
- 中型LLM商業部署
技術架構差異
NVIDIA生態優勢
CUDA核心與Tensor核心的協同優化，配合DLSS 4多幀生成技術，在視覺化AI任務表現突出。DGX系列完整軟體堆疊支援端到端MLOps流程。
Apple Silicon特性
統一記憶體架構消除數據傳輸瓶頸，神經引擎專精低精度運算，MLX框架提供原生加速。但缺乏專用RT核心限制光追應用發展。
成本效益分析
- 每GB記憶體成本
DGX Station: ~$127/GB
Mac Studio: ~$17.6/GB
RTX5090: ~$62.5/GB
DGX Spark: ~$23.4/GB - 能耗效率比
DGX Spark以170W功耗提供1000 TOPS性能，最適合需長期運行的邊緣部署。RTX5090雖性能強勁，但648W峰值功耗需專門供電系統。
未來擴展潛力
多GPU協同
DGX Station支援NVLink擴展，而RTX5090已取消該功能。Mac Studio受限於架構無法擴充GPU，但記憶體可選配至512GB。
量子化支援
Apple Neural Engine在Q4量化表現最佳，達49,847分。NVIDIA系列則在FP16/FP32精度保持優勢，適合科研級計算。
產業應用實例
- 視覺特效
RTX5090在Redshift渲染中較4090快20%，但32GB顯存仍可能不足複雜場景。 - 醫療影像
DGX Station的784GB記憶體可完整載入3D醫學影像模型，避免傳統工作站的外存交換延遲。 - 金融建模
Mac Studio統一記憶體在風險模擬計算中展現優勢，避免CPU-GPU數據傳輸瓶頸。
此比較顯示不同定位產品在AI計算領域的互補性，企業需根據運算規模、數據敏感性與預算進行組合配置。最新趨勢顯示混合架構(如DGX Spark集群)將成為性價比解決方案。
AI 工作流與 DGX Station 的價值
DGX Station 不只是一台強大的桌上型電腦，它為開發者或資料科學家提供更穩定的 AI 訓練與推論環境。以下是 DGX Station 能帶來的主要益處：
- 大規模記憶體：288GB GPU 記憶體搭配高頻寬，執行大型模型更流暢。
- 量化新思維：FP4 技術或能在模型推論時帶來更高效率。
- 擴充性佳：可藉由 NVLink 與高速網路，組建大型 AI 叢集。
- 整合度高：整機設計專為 AI 而生，不像傳統桌機需要不同零組件相互整合。
未來展望：DGX Station 如何改變市場
隨著 DGX Spark 與 DGX Station 等產品陸續問世，NVIDIA 持續穩固自己在 AI 時代的關鍵地位。DGX Station 作為桌上型 AI 計算的強力選擇，未來可能被廣泛應用於以下領域：
• 企業內部 AI 團隊：對大型模型或高速訓練有迫切需求
• 高校或研究機構：進行深度學習專案試驗
• 資料科學與影像辨識公司：需要穩定且高效能的本地運算裝置
雖然 DGX Station 售價高昂，但對於有專業需求的使用者來說，單機在本地端即可處理複雜模型或組建 AI 叢集，能顯著提升研發效率並縮短部署時間。
結語
DGX Station 象徵著 NVIDIA 在 AI 計算領域的最新前進，也顯示出記憶體容量、頻寬與叢集連線的未來趨勢。從 DGX Spark 的桌上型輕量解決方案，到高達 20 PetaFLOPS 的 DGX Station，整個產品系列正不斷擴增 AI 應用可能。若您對 DGX Station 與本地端 AI 訓練感興趣，持續關注相關資訊並深入瞭解量化技術與高速連線，相信將能在機器學習與大型語言模型的領域迅速掌握先機。
了解更多關於 Nvidia DGX
- LLM 運算速度終極戰：NVIDIA DGX Spark (雙機) vs Mac Studio M3 Ultra 512GB
- NVIDIA DGX Spark vs Mac Studio M3 Ultra：家用 AI 伺服器終極對決！
- NVIDIA DGX Spark（前身Project Digits）：桌面AI超級電腦的革命
- Nvidia Project DIGITS：桌面AI超級電腦的革命進化
- Nvidia - Tenten AI - 科技、AI 新聞｜解鎖人工智慧的未來
常見問題 (FAQ)
1. NVIDIA DGX Station 是什麼？
NVIDIA DGX Station 是一台專為企業內部及研究機構設計，用於高效人工智慧開發的大型桌面 AI 工作站。它配備 NVIDIA Grace Blackwell 超級晶片，擁有高達 784GB 的一致性記憶體，特別適合處理大型模型訓練和推論。
2. DGX Spark 與 DGX Station 的主要區別是什麼？
DGX Spark 是一款入門級桌面 AI 工作站，適合開發相對中小型的 AI 模型，而 DGX Station 則針對企業和高端需求，用於大語言模型及深度學習訓練，其 GPU 記憶體容量高達 288GB，記憶體頻寬達 8TB/s。
3. DGX Station 的主要應用場景有哪些？
DGX Station 適合以下應用場景：
- 大型語言模型 (LLM) 的訓練和調整
- 深度學習中的複雜計算任務
- 科學計算和模擬運算
- 資料科學公司需要本地端高效能 AI 計算
4. DGX Spark 是否適合大型語言模型？
DGX Spark 雖非專為大型語言模型設計，但仍可支持高達 2000 億參數的模型推論。它的 128GB 統一記憶體設計雖然記憶體頻寬僅 273GB/s，但在中小型模型的本地部署中，能有效運行。
5. DGX Station 為何適合大型模型訓練？
DGX Station 採用高達 288GB 的 HBM3e GPU 記憶體，頻寬高達 8TB/s，並配備一致性記憶體架構，提供穩定且高速的性能，能處理超過 1 兆參數的模型訓練及推論工作。
