Elon Musk 再次引爆 AI 熱潮！xAI 團隊利用 10 萬張 NVIDIA H100 GPU，全力訓練 Grok-3 大型語言模型，目標打造全球最先進的 AI 模型。
馬斯克在旗下社群平台X上宣布，xAI團隊、X團隊、NVIDIA及其他支援公司已於當地時間凌晨4時20分開始在「孟菲斯超級叢集（Memphis Supercluster）」上進行訓練。
馬斯克介紹說，「孟菲斯超級叢集」由10萬個液冷H100 GPU組成，在單個RDMA架構（即遠端直接資料存取架構，可解決網路傳輸中伺服器端資料處理的延遲）上運行，是世界上最強大的人工智慧訓練叢集。
馬斯克還補充，目標是在今年12月前訓練出按每項指標衡量都是世界上最強大的人工智慧。
馬斯克透露，將用該叢集訓練xAI旗下第三代大型語言模型Grok-3。
今年5月，馬斯克透露，xAI計畫打造一台超級電腦，名為「算力的超級工廠」，規模將是市場上最強大競爭對手的四倍。該電腦將採用NVIDIA H100 GPU。
一年前，xAI宣佈正式成立，並表示公司的宗旨是瞭解宇宙的真實本質。xAI在官網上表示，「我們是一家獨立於X Corp的公司，但將與X、特斯拉及其他公司密切合作以實現使命。」
2023年11月，xAI發佈第一款大型語言模型Grok-1。
本月，馬斯克宣佈Grok-2將於8月推出，帶來更先進的AI功能。他還透露，Grok-3將使用10萬塊NVIDIA H100晶片進行訓練，預計將於年底發佈，並且將非常特別。
今年5月，xAI宣佈獲得60億美元B輪融資，主要投資者包括安德森·霍洛維茲基金（Andreessen Horowitz）、紅杉資本（Sequoia Capital）等。xAI的投前估值為180億美元，本輪融資後的投後估值將達到240億美元。
在AI潮流下，算力已經成為科技巨頭們的必爭之地。今年1月，Meta公司透露，計畫在年底前部署35萬塊NVIDIA H100 GPU，將Meta的算力擴展到相當於60萬塊NVIDIA H100 GPU的水平；微軟和OpenAI則計畫建構一台名為「星際之門」的新超級電腦，其成本可能高達1000億美元，並計畫在2030年完全開發完成。
XAI 的下一步計畫
馬斯克還計劃在明年夏天新增另外 300,000 個 GPU B200 集群，目標是在 2025 年秋季之前讓整個項目運行起來。
這台機器將用於為 xAI 的 Grok 聊天機器人提供下一版本的動力。
xAI 據信目前從 Oracle Cloud 租用約 16,000 顆 Nvidia H100 GPU，同時也使用 Amazon Web Services 及 X/Twitter 數據中心的閒置容量。
在 2024 年 5 月，xAI 完成了一輪 60 億美元的融資，該公司的估值達到 240 億美元。
