Nvidia Project DIGITS：桌面AI超級電腦的革命進化

想像一下，一台可以放在桌面上的超級電腦，是不是像科幻小說裡的情節？如今，Nvidia推出了一項突破性的技術——Project DIGITS，這是一台桌面AI超級電腦，不僅體積小巧，還具備運行大規模AI模型的強大能力。就像把鋼鐵人的Jarvis帶回家一樣酷炫！過去，超級電腦通常被認為是需要整個房間來容納的大型設備，而Nvidia將這個想法顛覆，將其縮小到普通人也能使用的程度。

Project Digits：英偉達改變遊戲規則的家用AI超級電腦

NVIDIA 發表突破性的 GB10 超級晶片，為 Project DIGITS 提供動力--這是一台精巧的 AI 超級電腦，能夠有效率地處理 200B 參數的模型，其裝置體積小到足以握在手中。

搭配兩個 Project DIGITS 單元，開發人員就能無縫處理多達 405B 參數的 AI 模型。

AI 技術的新標杆

Nvidia在CES 2025的記者會上宣布了兩項重磅新品：Project DIGITS和RTX 50系列GPU。這些產品為AI領域提供了前所未有的性能飛躍。以下是它們的亮點：

Project DIGITS：桌面AI超級電腦
- 配備最新的Grace Blackwell晶片，能夠運行多達2000億參數的大型模型。擁有 20 個 ARM 核心的 Grace CPU (與 MediaTek 合作)
- 支援訓練AI模型、微調參數以及進行即時推論，無需依賴雲端。
- 具備高達1 PetaFLOP（每秒一千兆次浮點運算）的性能，相當於數千台普通家用電腦的計算能力。
- 最新一代 CUDA 核心與第五代張量核心
- NVIDIA ConnectX 網路
- 配有128GB統一記憶體和最高4TB NVMe儲存空間，輕鬆處理海量數據。
- 售價3,000美元，預計2025年5月開售。
RTX 50系列GPU
- 主打型號RTX 590性能翻倍，支援最新的DLSS 4技術，將遊戲畫質提升至電影級別。
- 配備32GB GDDR7記憶體，帶寬高達1.8 TB/s，是上一代RTX 4090的兩倍。
- AI計算能力達到33.5 Tops（每秒33.5兆次運算），是創作者和AI開發者的理想工具。

Project Digits 的應用與能力

💪能力：

可運行高達 200B 參數的 AI 模型
可連結兩個裝置來處理 405B 參數模型
以標準壁式電源運作
基於 Linux 的 NVIDIA DGX OS
預先安裝完整的 NVIDIA AI 軟體堆疊

專為下列用途打造

AI 模型原型開發
微調
推理工作負載
資料科學
邊緣應用程式開發

2025 年 5 月上市，起價 3000 美元。將資料中心級運算帶給個別研究人員、開發人員和學生，是 Edge AI 普遍應用的里程碑。

Tenten AI 的應用情境

等 Project Digits 於五月問世, 我們打算採購兩個 Project Digits (約$6000 美金)來堆疊並運行 LLama 3.1 405B 模型 - 這是目前最大的開源 LLM 模型, 而其效能接近於 GPT-4，想想看能夠在辦公室透過普通電源，加上桌面極小的空間就能夠運行接近 GPT-4 的 LLama 405B 模型或是拿來做其他 AI 生成的任務，這是所有開發者的夢想，感謝黃老闆!! 🤘

Why LLama 3.1 405B

Llama 3.1 405B的表現與GPT-4非常接近，在某些基準測試中甚至超越了GPT-4。以下是比較：

與GPT-4的基準測試比較

基準測試	Llama 3.1 405B	GPT-4o
MMLU	88.6%	88.7%
HumanEval	89%	90.2%
GSM8K	96.8%	89.8%
MATH	73.8%	76.6%

人類評估比較

在人類偏好一致性評估中，Llama 3.1 405B達到了72.8%的一致率，略高於GPT-4o的71.9%。

特定任務表現

在數學推理方面，405B在某些測試中的表現優於GPT-4
在編碼任務中，雖然略遜於Claude 3.5 Sonnet和GPT-4o，但差距不大
在多語言任務方面，GPT-4仍然具有優勢，特別是在處理印地語、西班牙語和葡萄牙語等多語言提示時

Nvidia Project DIGITS：桌面AI超級電腦的革命進化