網路犯罪分子繞過 ChatGPT 的限制，生成惡意內容

自去年ChatGPT上線以來，就不斷受到全球各界人士關注。在本月，ChatGPT宣布其成為IT史上最快達成月活用戶超一億的應用。對比54個月達成過億月活用戶的Facebook，以及9個月用戶過億的抖音國際版，ChatGPT這一成就可謂前無古人，而這也正印證了AI技術的無限可能。在我國，ChatGPT相關話題也于近日登上熱搜，一眾AI相關公司也受到資本市場熱捧。

自去年ChatGPT上線以來，就不斷受到全球各界人士關注。在本月，ChatGPT宣布其成為IT史上最快達成月活用戶超一億的應用。對比54個月達成過億月活用戶的Facebook，以及9個月用戶過億的抖音國際版，ChatGPT這一成就可謂前無古人，而這也正印證了AI技術的無限可能。在我國，ChatGPT相關話題也于近日登上熱搜，一眾AI相關公司也受到資本市場熱捧。

然而，對於網路犯罪分子如何利用 OpenAI 平台，特別是 ChatGPT 來生成釣魚郵件和惡意軟體等惡意內容，業界眾說紛紜，且已有頗多研究。在 Check Point Research (CPR) 今年初的報告中，描述了使用 ChatGPT 完成的一個完整的感染流程：從創建令人信服的魚叉式網路釣魚電子信箱到運行能夠接受英文命令的反向 shell。 

CPR 研究人員最近發現了一個網路犯罪分子使用 ChatGPT 來「改進」一款簡易 Infostealer 惡意軟體程式碼的實例。該惡意軟體最早出現于 2019 年，雖然其程式碼並不複雜，也不難創建，但 ChatGPT 對其程式碼進行了優化。

圖 1.網路犯罪分子使用 ChatGPT 來改進 Infostealer 的程式碼

使用 OpenAI 模型

截至目前，可通過兩種方法訪問和使用 OpenAI 模型：

1、Web 使用者介面——用於使用 ChatGPT、DALLE-2 或 OpenAI Playground。

2、API——用於建構應用、流程等。你可以使用自己的使用者介面，在後台運行 OpenAI 模型和數據。

下面的示例顯示了已將 OpenAI 的 API 模型整合到旗下應用的合法品牌。

圖 2.使用 OpenAI 的 API 模型的品牌

阻礙惡意內容創建的障礙

作為內容政策的一部分，OpenAI 設置了相關障礙和限制，以阻止在其平台上創建惡意內容。ChatGPT 在其使用者介面上設置了一些限制來防止模型的濫用。舉例來說，如果用戶要求 ChatGPT 編寫一封冒充銀行的釣魚郵件或創建一個惡意軟體，系統將不會執行。

圖 3.ChatGPT 對濫用請求的響應示例

繞過限制創建惡意內容

然而，CPR 表示，網路犯罪分子正想方設法繞過 ChatGPT 的限制。在地下論壇上有關如何使用 OpenAI API 來繞過 ChatGPT 障礙和限制的討論帖不斷激增。

圖 4.網路犯罪分子對通過 API 將 ChatGPT 整合到其 Telegram 頻道中表現出興趣

當前版本的 OpenAI API 雖為外部應用所使用（例如，將 OpenAI 的 GPT-3 模型整合到 Telegram 頻道中），但幾乎沒有任何防濫用措施。它並未實施 ChatGPT 在其使用者介面上設置的限制或障礙，允許創建釣魚郵件和惡意軟體程式碼等惡意內容。

例 1——Telegram OpenAI 機器人即服務

在一個地下論壇上，CPR 發現有網路犯罪分子正在宣傳一項新創建的服務：支持無限制地使用 OpenAI API 的 Telegram 機器人。

圖 5.宣傳 Telegram OpenAI 機器人的地下論壇廣告

圖 6.在利用 OpenAI API 的 Telegram 機器人中創建的釣魚郵件示例

圖 7.在利用 OpenAI API 的 Telegram 機器人中創建無防濫用限制的惡意軟體程式碼的示例

作為商業模式的一部分，網路犯罪分子可以使用 ChatGPT 進行 20 次免費查詢，此後每 100 次查詢需支付 5.50 美元。

圖 8.基於 OpenAI API 的 Telegram 頻道的商業模式

例 2——網路犯罪分子提供的一個可繞過防濫用限制的簡單腳本

網路犯罪分子創建了一個使用 OpenAI API 來繞過防濫用限制的簡單腳本。

圖 9.可直接查詢 API 並繞過限制來開發惡意軟體的腳本示例

通過這些案例，Check Point觀察到網路犯罪分子不斷探索如何利用 ChatGPT 來滿足其開發惡意軟體和創建釣魚郵件的需求。隨著 ChatGPT 控制措施的改進，網路犯罪分子也將不斷尋找新的方法來使用 OpenAI 模型。因此可以預見，隨著AI技術的不斷落地，網路犯罪分子的「技術成本」將進一步降低；隨之而來的網路攻擊數量也將不斷增長。因此，以預防為主、以AI對抗AI的網路安全模式可能將成為未來幾年的主要發展趨勢。