什麼是加速計算？
加速計算是一種應用於學術、研究和工程應用中的計算方法，其中計算在專用處理器（稱為加速器）和傳統 CPU 上執行，以實現更快的執行時間。加速器是為數據並行性而構建的複雜微處理器和 AI 芯片。實際上，它們通過將可能拖慢 CPU 的高要求工作卸載來減少執行時間，而 CPU 通常串行地執行任務。由於加速計算在同等規模上結合了 CPU 和其他類型的處理器，因此也被稱為異質計算。
加速數據處理已經廣泛應用。它被用於個人電腦、智能手機和雲服務。如今，公司還使用加速計算來運行其深度學習模型。神經網絡需要許多並行算術操作，加速計算滿足了這一需求。
圖形處理單元（GPU）是最廣泛使用的處理器。數據處理單元（DPU）則是一個迅速崛起的類別，促進了增強和加速的網絡連接。每個單元都與主機 CPU 一起發揮獨特作用，共同形成統一且平衡的系統。與僅依賴 CPU 的系統相比，加速計算系統在成本效益、性能和能源效率方面具有顯著優勢。
加速計算起源於個人電腦，並在超級計算機中成熟。它被應用於個人電腦、智能手機和雲服務。如今，商業和技術系統廣泛採用加速計算來處理機器學習、數據分析、模擬和可視化等任務。
為什麼現在加速計算很重要？
加速計算是讓深度學習模型蓬勃發展的技術之一，因為它提供了有效的計算能力。
深度學習和神經網絡並不是新的發明。事實上，被稱為“深度學習之父”的 Frank Rosenblatt 在 1962 年就發明了它。在 1980 年代，深度學習的實際應用取得了許多進展。然而，正如圖 2 所示，直到最近深度學習才變得流行，因為在 2010 年之前有兩個因素缺失：
- 訓練數據：研究人員過去依賴手工標記的數據進行機器學習。然而，自 2010 年以來，每年新數據的數量每兩年翻一番。
- 相關硬件和便宜的計算能力：神經網絡需要 AI 芯片，這些芯片可以支持神經網絡的計算能力需求。直到 2010 年代，此類工具還不存在或非常昂貴，因此無法廣泛部署。
- 存儲：得益於技術發展，我們在雲平台和本地區域都有更多的數據存儲空間。
- 深度神經網絡技術：深度學習技術的新發展。
加速計算是如何發展的？
協處理器是一種專門設計用於增強主機 CPU 性能的硬件，自電腦問世以來就存在。大約在 1980 年代，浮點處理器的引入使其重要性開始顯現，這些處理器為個人電腦賦予了先進的數學計算能力。隨後十年，隨著視頻遊戲和圖形用戶界面的興起，對圖形加速器的需求激增。
- 1999 年，NVIDIA 推出了 GeForce 256，這是首個專門用於將關鍵 3D 渲染任務從 CPU 卸載的芯片。這一里程碑還首創了四個圖形流水線並行處理的概念，NVIDIA 創造了“圖形處理單元”（GPU）這一術語，建立了一個新的計算加速器類別。
- 到 2006 年，NVIDIA 已成功出貨 5 億個 GPU。同時，一些研究人員開始編寫代碼，利用 GPU 的強大能力來處理超出 CPU 能力的任務。在 Lan Buck 的領導下，CUDA 被引入——這是一個編程模型，旨在利用 GPU 內的並行處理引擎來處理各種任務。
- 2007 年，CUDA 與 G80 處理器協作，推動了一系列新的 NVIDIA GPU，將加速計算帶入不斷擴展的工業和科學應用領域。
這一系列專注於數據中心的 GPU 不斷推出新的架構，以創新者命名，如 Tesla、Pascal、Volta 和 Ampere。全球高性能計算領域的專家使用 GPU 構建了加速的 HPC 系統，推動了開創性的科學研究。他們的工作涵蓋了從天體物理學黑洞研究到基因組測序等多個領域。
為什麼加速計算很重要？
現代的加速計算與人工智能
在人工智能時代，加速計算扮演著關鍵角色。它是推動深度學習模型蓬勃發展的關鍵技術之一，提供了高效的計算能力。在機器學習領域，模型訓練是一項計算密集型任務。使用加速計算設備，特別是 GPU，可以顯著減少模型訓練所需的時間，加快算法迭代和優化過程。人工智能反過來也成為了加速計算發展的重要助手。像美國運通這樣的公司使用它來防止信用卡欺詐，而電信公司則探索使用人工智能來提供智能 5G 服務。
提高能源效率
加速計算還能提高能源效率。CPU 和其他專用加速器被設計用來更高效地處理特定工作負載，通常每次計算所需的能耗更低。例如，GPU 在 AI 推理方面的能源效率比 CPU 高出 42 倍。確實，將所有全球部署的 AI 服務器從僅有 CPU 的系統過渡到 GPU 加速的系統，每年可以節省高達 10 萬億瓦時的能源。這相當於一年內大約 140 萬戶家庭的能源消耗（請參見下圖)。
加速計算的挑戰是什麼？
加速計算只是硬件投資的一部分。因此，有必要強調硬件的挑戰以了解加速計算的缺點：
- 硬件系統的開發時間很長。例如，即使是科技巨頭 Intel 也花了 3 年時間才建立 Nervana 神經網絡處理器。
- 硬件開發成本通常很高，因為它需要很長時間並且需要雇用高技能的工程師。
- 功能更新：構建硬件系統後，改變或維護它很困難。
模型參數的數量和模型的大小（見圖 ）即神經網絡的寬度和深度正在迅速增長。更豐富的數據意味著企業可以更好地預測客戶偏好、趨勢、欺詐、氣候——任何東西。但要更有效地分析數據，企業需要更多的計算能力。加速計算提供了企業所需的計算能力。
加速計算的應用案例是什麼？
加速計算幾乎應用於所有行業。它有助於有效部署聊天機器人、防止和檢測欺詐、天氣預報、定制銷售/營銷工作等。我們在此介紹三個例子：
Vision Banco: 有效的信用風險計算
信用風險分析需要大量計算能力，因為許多與客戶相關的和外部參數影響分析的準確性。
Vision Banco 與 H2O.ai 合作開發了一種快速信用評分分析算法。然而，Vision Banco 現有的基礎設施無法有效運行機器學習模型。他們需要 GPU 加速來處理模型的需求。有鑑於此，Vision Banco 開始使用 IBM Power Systems AC922。
加速計算使 Vision Banco 能夠增加每個客戶接受的信用產品數量。此外，信用風險分析的時間從大約一週減少到幾個小時。
American Express: 欺詐檢測和預防
根據 McAfee 的數據，欺詐每年給全球造成 6000 億美元的損失。這一數額相當於一些 G20 國家的整個 GDP。因此，公司長期以來一直使用 AI 應用程序來有效檢測和預防欺詐。問題是欺詐者不斷發明新的盜竊方法，使得監控的機器學習模型無效。行為分析可以實現更好的欺詐預防，但它需要大量計算能力。
通過使用加速計算硬件，American Express 改進了其檢測客戶行為異常的循環神經網絡。因此，American Express 提供了實時欺詐檢測系統並提高了其準確性。
The Weather Company: 更準確的天氣預報
2016 年，IBM 收購了 The Weather Company。氣候的混亂特性使得這次收購成為測試 IBM 硬件能力的完美實驗。The Weather Company 意識到，通過使用高速 GPU 技術，他們可以加速天氣預報，生成全球高分辨率的未來 15 小時天氣預報，並每小時更新一次，提供更準確的天氣預報。
更準確的天氣預報提高了整個價值鏈和我們的生活水平。例如，農民可以被告知霜凍並保護他們的作物，城市應急系統可以防止極端天氣造成的損害，等等。
總結
加速計算正在改變技術領域，顛覆傳統的計算模式，迎來新一輪的創新浪潮。在人工智能和高性能計算領域，加速計算通常使用專用處理器（如 GPU）來提高計算速度，並使用 AI 交換機 來連接和協調多個計算設備，以實現高效的數據交換和通信。從人工智能和邊緣計算到科學探索和醫療保健，加速計算有望對技術的未來產生持久的影響。它推動了進步，解鎖了曾被認為難以企及的潛力，塑造了各個領域的進步軌跡。
