NVIDIA CES 2025：NIM 微服務與 AI 藍圖引領本地 AI 新紀元！

NVIDIA 在 CES 2025 大放異彩！深入解析 NIM 微服務和 AI 藍圖如何革新本地 AI，讓您的裝置擁有前所未有的 AI 能力。

在過去一年中，生成式 AI 改變了人們的生活、工作和娛樂方式，從寫作和內容創作到遊戲、學習和生產力，各方面都得到提升。PC 愛好者和開發人員正引領著這項突破性技術的前沿。

這次的 CES 標誌著 RTX AI Garage 系列的開始，該系列將為希望了解更多關於 NVIDIA NIM 微服務和 AI 藍圖，以及如何在 AI PC 上構建 AI 代理、創意工作流程、數位人類、生產力應用程式等的開發人員和愛好者提供例行內容。歡迎來到 RTX AI Garage。

第一期重點介紹了本週稍早在 CES 上發布的公告，包括可在 NVIDIA RTX AI PC 上使用的新 AI 基礎模型，這些模型將數位人類、內容創作、生產力和開發提升到新的水平。

這些模型以 NVIDIA NIM 微服務的形式提供，由新的 GeForce RTX 50 系列 GPU 提供支援。RTX 50 系列 GPU 基於 NVIDIA Blackwell 架構，提供高達每秒 3,352 兆次的 AI 運算效能、32GB 的 VRAM，並具有 FP4 運算能力，使 AI 推理效能翻倍，並使生成式 AI 能夠在本地以更小的記憶體佔用量運行。

NVIDIA 還推出了 NVIDIA AI 藍圖——基於 NIM 微服務構建的、可隨時使用的預配置工作流程，適用於數位人類和內容創作等應用。

NIM 微服務和 AI 藍圖使愛好者和開發人員能夠比以往更快地為 PC 構建、迭代和交付 AI 驅動的體驗。其結果是為 PC 用戶帶來一波引人注目且實用的新功能。

透過 NVIDIA NIM 快速追蹤 AI

將 AI 進展帶到 PC 面臨兩個主要挑戰。首先，AI 研究的步調非常快，每天都有新模型出現在 Hugging Face 等平台上，該平台現在託管著超過一百萬個模型。因此，突破很快就會過時。

其次，使這些模型適應 PC 使用是一個複雜且資源密集型的過程。針對 PC 硬體優化它們、將它們與 AI 軟體整合以及將它們連接到應用程式需要大量的工程工作。

NVIDIA NIM 透過提供針對 PC 優化的預封裝、最先進的 AI 模型來幫助應對這些挑戰。這些 NIM 微服務涵蓋模型領域，只需單擊即可安裝，具有應用程式編程介面 (API) 以實現輕鬆整合，並利用 NVIDIA AI 軟體和 RTX GPU 來加速效能。

在 CES 上，NVIDIA 宣布了一系列適用於 RTX AI PC 的 NIM 微服務，支援涵蓋大型語言模型 (LLM)、視覺語言模型、圖像生成、語音、檢索增強生成 (RAG)、PDF 提取和電腦視覺的使用案例。

新的 Llama Nemotron 開放模型系列在廣泛的代理任務中提供高準確度。Llama Nemotron Nano 模型將作為 RTX AI PC 和工作站的 NIM 微服務提供，擅長指令遵循、函數調用、聊天、編碼和數學等代理 AI 任務。

很快，開發人員將能夠使用適用於 Linux 的 Windows 子系統 (WSL) 在 Windows 11 PC 上快速下載並運行這些微服務。

為了演示愛好者和開發人員如何使用 NIM 來構建 AI 代理和助手，NVIDIA 預覽了 Project R2X，這是一個具有視覺功能的 PC 頭像，可以將資訊放在用戶的指尖，協助處理桌面應用程式和視訊會議通話，閱讀和總結文檔等等。註冊以獲取 Project R2X 的更新。

透過使用 NIM 微服務，AI 愛好者可以跳過模型策劃、最佳化和後端整合的複雜性，專注於使用尖端的 AI 模型進行創建和創新。

API 中包含什麼？

API 是應用程式與軟體庫通信的方式。API 定義了一組應用程式可以調用庫的「呼叫」以及應用程式可以期望的回應。傳統的 AI API 需要大量的設定和配置，使得 AI 功能更難使用，並阻礙了創新。

NIM 微服務公開了易於使用、直觀的 API，應用程式可以簡單地向其發送請求並獲得回應。此外，它們的設計圍繞著不同模型類型的輸入和輸出媒體。例如，LLM 以文本作為輸入並產生文本作為輸出，圖像產生器將文本轉換為圖像，語音辨識器將語音轉換為文本等等。

這些微服務旨在與領先的 AI 開發和代理框架（如適用於 VSCode 的 AI 工具包、AnythingLLM、ComfyUI、Flowise AI、LangChain、Langflow 和 LM Studio）無縫整合。開發人員可以從 build.nvidia.com 輕鬆下載和部署它們。

透過將這些 API 引入 RTX，NVIDIA NIM 將加速 PC 上的 AI 創新。

預計愛好者將能夠使用即將發布的 NVIDIA ChatRTX 技術演示來體驗一系列 NIM 微服務。

創新的藍圖

透過使用最先進的模型，這些模型經過預先封裝並針對 PC 進行了最佳化，開發人員和愛好者可以快速創建 AI 驅動的專案。更進一步，他們可以組合多個 AI 模型和其他功能來構建複雜的應用程式，如數位人類、播客產生器和應用程式助手。

NVIDIA AI 藍圖基於 NIM 微服務構建，是複雜 AI 工作流程的參考實現。它們幫助開發人員將多個組件（包括庫、軟體開發套件和 AI 模型）連結到一個應用程式中。

AI 藍圖包含開發人員構建、運行、自訂和擴展參考工作流程所需的一切，其中包括參考應用程式和原始程式碼、範例資料以及用於自訂和協調不同組件的文檔。

在 CES 上，NVIDIA 宣布了適用於 RTX 的兩個 AI 藍圖：一個是 PDF 到播客，允許用戶從任何 PDF 生成播客；另一個是 3D 引導的生成式 AI，它基於 FLUX.1 [dev]，預計將作為 NIM 微服務提供，為藝術家提供對基於文本的圖像生成的更大控制權。

透過 AI 藍圖，開發人員可以快速從 AI 實驗過渡到 RTX PC 和工作站上尖端工作流程的 AI 開發。

為生成式 AI 而生

新的 GeForce RTX 50 系列 GPU 專為應對複雜的生成式 AI 挑戰而設計，具有支援 FP4 的第五代 Tensor 核心、更快的 G7 記憶體和 AI 管理處理器，可在 AI 和創意工作流程之間實現高效的多任務處理。

GeForce RTX 50 系列增加了 FP4 支援，以幫助為 PC 帶來更好的效能和更多模型。FP4 是一種較低的量化方法，類似於檔案壓縮，可減小模型大小。與大多數模型採用的預設方法 FP16 相比，FP4 使用的記憶體不到一半，並且 50 系列 GPU 的效能比上一代高出 2 倍以上。這可以使用 NVIDIA TensorRT 模型最佳化器提供的先進量化方法實現，且幾乎不會損失品質。

例如，Black Forest Labs 的 FLUX.1 [dev] 模型在 FP16 下需要超過 23GB 的 VRAM，這意味著它只能由 GeForce RTX 4090 和專業 GPU 支援。使用 FP4，FLUX.1 [dev] 需要不到 10GB，因此它可以本地運行在更多 GeForce RTX GPU 上。

使用配備 FP16 的 GeForce RTX 4090，FLUX.1 [dev] 模型可以在 15 秒內生成具有 30 個步驟的圖像。使用配備 FP4 的 GeForce RTX 5090，圖像可以在 5 秒多一點的時間內生成。

開始使用適用於 PC 的新 AI API

NVIDIA NIM 微服務和 AI 藍圖預計將於下個月開始提供，最初的硬體支援適用於 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 專業 GPU。未來將支援其他 GPU。

預計 Acer、ASUS、Dell、GIGABYTE、HP、Lenovo、MSI、Razer 和 Samsung，以及本地系統建構商 Corsair、Falcon Northwest、LDLC、Maingear、Mifcon、Origin PC、PCS 和 Scan 將提供支援 NIM 的 RTX AI PC。

GeForce RTX 50 系列 GPU 和筆記型電腦提供改變遊戲規則的效能、為變革性 AI 體驗提供動力，並使創作者能夠在創紀錄的時間內完成工作流程。重新觀看 NVIDIA 執行長Jensen的主題演講，以了解更多關於 NVIDIA 在 CES 上發布的 AI 新聞。

NVIDIA 創辦人兼執行長Jensen以一場 90 分鐘的主題演講揭開了 CES 2025 的序幕，其中包括用於推進遊戲、自動駕駛汽車、機器人和代理 AI 的新產品。

Jensen在拉斯維加斯舉行的 CES 2025 上對超過 6,000 名觀眾表示，AI 正以「驚人的速度」發展。

「它始於感知 AI——理解圖像、文字和聲音。然後是生成式 AI——創建文字、圖像和聲音，」Jensen說。現在，我們正在進入「物理 AI，可以進行、推理、計畫和行動的 AI」時代。

Jensen解釋說，NVIDIA GPU 和平台是這種轉型的核心，推動了包括遊戲、機器人和自動駕駛汽車 (AV) 在內的各個行業的突破。

主要公告

Jensen的主題演講展示了 NVIDIA 的最新創新如何實現這個新的 AI 時代，其中包括幾項突破性的公告，包括：

新發布的 NVIDIA Cosmos 平台透過用於機器人、自動駕駛汽車和視覺 AI 的新模型和視訊資料處理管道來推進物理 AI。
全新的基於 NVIDIA Blackwell 的 GeForce RTX 50 系列 GPU 提供令人驚嘆的視覺真實感和前所未有的效能提升。
在 CES 上為 RTX PC 推出的 AI 基礎模型採用 NVIDIA NIM 微服務和 AI 藍圖，用於製作數位人類、播客、圖像和視訊。
全新的 NVIDIA Project DIGITS 將 NVIDIA Grace Blackwell 的強大功能帶到開發人員的桌面上，採用緊湊的封裝。
NVIDIA 正與豐田合作，使用運行 NVIDIA DriveOS 的 NVIDIA DRIVE AGX 車載電腦進行安全的下一代汽車開發。

Jensen在演講開始時回顧了 NVIDIA 三十年的歷程。1999 年，NVIDIA 發明了可編程 GPU。從那時起，現代 AI 從根本上改變了運算的工作方式，他說。「技術堆疊的每一層都發生了轉變，這是一個令人難以置信的轉變，僅在 12 年內就完成了。」

透過 GeForce RTX 50 系列徹底改變圖形處理

「GeForce 使 AI 能夠走向大眾，現在 AI 正回歸 GeForce，」Jensen說。

他以此介紹了 NVIDIA GeForce RTX 5090 GPU，這是迄今為止最強大的 GeForce RTX GPU，擁有 920 億個電晶體，可提供每秒 3,352 兆次的 AI 運算 (TOPS)。

「它就在這裡——我們全新的 GeForce RTX 50 系列，Blackwell 架構，」Jensen說，他舉起黑色的 GPU，並指出它如何能夠利用先進的 AI 來實現突破性的圖形。「GPU 簡直是個野獸。」

「而其工業設計也是一個奇蹟，」Jensen說，並指出顯示卡透過兩個散熱風扇實現更有效率的散熱。

該 GPU 系列將推出更多變體。GeForce RTX 5090 和 GeForce RTX 5080 桌面 GPU 計劃於 1 月 30 日上市。GeForce RTX 5070 Ti 和 GeForce RTX 5070 桌面 GPU 計劃於 2 月開始上市。筆記型電腦 GPU 預計將於 3 月上市。

DLSS 4 引入了多幀生成，與完整的 DLSS 技術套件協同工作，將效能提升高達 8 倍。NVIDIA 還發布了 NVIDIA Reflex 2，它可以將 PC 延遲降低高達 75%。

最新一代的 DLSS 可以為我們計算的每一幀生成三個額外的幀，Jensen解釋說。「因此，我們能夠以極高的效能進行渲染，因為 AI 完成了大量的計算。」

RTX 神經著色器使用小型神經網路來改善即時遊戲中的紋理、材質和光照。RTX 神經面部和 RTX 頭髮推進了即時面部和頭髮渲染，使用生成式 AI 來製作有史以來最逼真的數位角色。RTX Mega Geometry 將光線追蹤三角形的數量增加了高達 100 倍，從而提供更多細節。

透過 Cosmos 推進物理 AI

除了圖形方面的進步，Jensen還介紹了 NVIDIA Cosmos 世界基礎模型平台，稱其為機器人和工業 AI 的遊戲規則改變者。

Jensen解釋說，AI 的下一個前沿是物理 AI。他將這一刻比作大型語言模型對生成式 AI 的變革性影響。

「通用機器人的 ChatGPT 時刻即將到來，」他解釋說。

Jensen解釋說，與大型語言模型一樣，世界基礎模型對於推進機器人和自動駕駛汽車至關重要，但許多開發人員缺乏從頭開始訓練這些模型的資源或專業知識。

Cosmos 整合了生成模型、分詞器和視訊處理管道，為自動駕駛汽車和機器人等物理 AI 系統提供動力。

Cosmos 為 AI 模型配備了先進的模擬功能，使其能夠預測和評估多個未來情景，以選擇最佳行動方案。

Cosmos 模型處理文字、圖像和視訊提示，以創建專為機器人和自動駕駛汽車模擬量身定制的詳細虛擬環境。

包括 1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和 XPENG，以及共乘巨頭 Uber 在內的領先機器人和汽車公司是首批採用 Cosmos 的公司。

Cosmos 是開源專案，可在 GitHub 上獲得。

透過 AI 基礎模型賦能開發人員

除了機器人和自動駕駛汽車之外，NVIDIA 還透過 AI 基礎模型為開發人員和創作者賦能。

Jensen介紹了適用於 RTX PC 的 AI 基礎模型，這些模型可以增強數位人類、內容創作、生產力和開發。

「這些 AI 模型在每個雲端中運行，因為 NVIDIA GPU 現在在每個雲端中都可用，」Jensen說。「它在每個 OEM 中都可用，因此您可以完全獲取這些模型，將它們整合到您的軟體包中，創建 AI 代理，並將它們部署到客戶希望運行軟體的任何地方。」

由 GeForce RTX 50 系列 GPU 加速

這些模型以 NVIDIA NIM 微服務的形式提供，由新的 GeForce RTX 50 系列 GPU 加速。

GPU 旨在高效運行這些模型，並支援 FP4 運算，與上一代硬體相比，FP4 運算可將 AI 推理效能提高高達 2 倍，同時減少記憶體使用量。

Jensen解釋了創作者新工具的潛力：「我們正在創建大量我們的生態系統可以利用的藍圖。所有這些都是完全開源的，因此您可以獲取並修改藍圖。」

頂級 PC 製造商和系統建構商正在推出配備 GeForce RTX 50 系列 GPU 的支援 NIM 的 RTX AI PC。「AI PC 即將來到您附近的家中，」Jensen說。

雖然這些工具將 AI 功能帶到個人運算領域，但 NVIDIA 也在推進汽車產業中以 AI 驅動的解決方案，在汽車產業中，安全性和智慧至關重要。

自動駕駛汽車的創新

Jensen宣布了 NVIDIA DRIVE Hyperion AV 平台，該平台基於新的 NVIDIA AGX Thor 單晶片系統 (SoC) 構建，專為生成式 AI 模型而設計，並提供先進的功能安全和自動駕駛功能。

「自動駕駛汽車革命已經到來，」Jensen說。「像所有機器人一樣，建構自動駕駛汽車需要三台電腦：NVIDIA DGX 用於訓練 AI 模型，Omniverse 用於測試駕駛和生成合成資料，以及 DRIVE AGX，汽車中的超級電腦。」

DRIVE Hyperion 是首個端到端 AV 平台，將先進的 SoC、感測器和安全系統整合到一個全面的套件中，已經被 Mercedes-Benz、JLR 和 Volvo Cars 等汽車領導者採用。

Jensen強調了合成資料在推進自動駕駛汽車方面的重要作用。他解釋說，真實世界的資料是有限的，因此合成資料對於訓練自動駕駛汽車資料工廠至關重要。

NVIDIA Omniverse AI 模型和 Cosmos 用於建構詳細的駕駛場景

透過使用 NVIDIA Omniverse AI 模型和 Cosmos，這種方法創建了高度詳細的駕駛場景，顯著擴展和改進了自動駕駛汽車的訓練資料集。

Jensen說，透過使用 Omniverse 和 Cosmos，NVIDIA 的 AI 資料工廠可以將「數百次駕駛擴展到數十億有效里程」，從而顯著增加了安全和先進自動駕駛所需的資料集。

「我們將擁有大量用於自動駕駛汽車的訓練資料，」他補充說。

Jensen說，全球最大的汽車製造商豐田將在其下一代汽車上建構在 NVIDIA DRIVE AGX Orin 之上，該系統運行經過安全認證的 NVIDIA DriveOS 作業系統。

Jensen說：「正如電腦圖形以如此驚人的速度發生革命一樣，您將看到自動駕駛汽車的開發速度在未來幾年內大幅提高。」這些汽車將提供功能安全、先進的駕駛輔助功能。

代理 AI 和數位製造

NVIDIA 及其合作夥伴推出了適用於代理 AI 的 AI 藍圖，包括用於高效研究的 PDF 到播客，以及用於分析大量視訊和圖像的視訊搜尋和摘要——使開發人員能夠在任何地方建構、測試和運行 AI 代理。

AI 藍圖使開發人員能夠創建用於自動化企業工作流程的自訂代理。這個新產品整合了 NVIDIA AI Enterprise 軟體，包括 NIM 微服務和 NeMo，以及 CrewAI、Daily、LangChain、LlamaIndex 和 Weights & Biases 等領先平台。

Jensen還發布了 Llama Nemotron，這是一種旨在增強企業應用生成式 AI 模型開發的新工具。

開發人員可以使用 NVIDIA NIM 微服務來建構用於客戶支援、欺詐偵測和供應鏈最佳化等任務的 AI 代理。

這些模型以 NVIDIA NIM 微服務的形式提供，可以在任何加速系統上增強 AI 代理的功能。

NVIDIA NIM 微服務簡化了視訊內容管理，提高了媒體產業的效率和受眾參與度。

除了數位應用之外，NVIDIA 的創新還為 AI 透過機器人技術徹底改變物理世界鋪平了道路。

「我一直在談論的所有支持技術都將使我們在未來幾年內看到通用機器人技術方面非常快速的突破，令人驚訝的突破。」

用於合成運動生成的 NVIDIA Isaac GR00T 藍圖

在製造業中，用於合成運動生成的 NVIDIA Isaac GR00T 藍圖將幫助開發人員生成指數級龐大的合成運動資料，以使用模仿學習來訓練他們的人形機器人。

Jensen強調了有效訓練機器人的重要性，使用 NVIDIA Omniverse 為人形機器人訓練生成數百萬個合成運動。

Mega 藍圖為大規模機器人機群模擬提供動力，使埃森哲和 KION 等公司能夠徹底改變倉庫自動化。

這些 AI 工具為 NVIDIA 的最新創新奠定了基礎：一種名為 Project DIGITS 的個人 AI 超級電腦。

NVIDIA 發布 Project DIGITS

Jensen將 NVIDIA Grace Blackwell 放在每張桌子上和每位 AI 開發人員的指尖，發布了 NVIDIA Project DIGITS。

「我還有一件事要向大家展示，」Jensen說。「如果沒有我們大約十年前開始的這個令人難以置信的專案，這一切都不可能實現。在公司內部，它被稱為 Project DIGITS——深度學習 GPU 智慧訓練系統。」

Jensen強調了 NVIDIA 的 AI 超級運算之旅的歷史，講述了他在 2016 年向 OpenAI 交付首個 NVIDIA DGX 系統的故事。「顯然，它徹底改變了人工智慧運算。」

新的 Project DIGITS 進一步推進了這一使命。「每位軟體工程師、每位工程師、每位創意藝術家——今天將電腦作為工具使用的每個人——都需要一台 AI 超級電腦，」Jensen說。

Jensen透露，由 GB10 Grace Blackwell 超級晶片提供支援的 Project DIGITS 代表了 NVIDIA 最小但功能最強大的 AI 超級電腦。「這是 NVIDIA 最新的 AI 超級電腦，」Jensen展示了該裝置。「它運行整個 NVIDIA AI 堆疊——所有 NVIDIA 軟體都運行在這個上面。DGX Cloud 也運行在這個上面。」