人工智能是一把 雙刃劍。一方面，人工智能幫助人們更好更快地完成工作；另一方面，它也使心懷惡意的人成為詐騙者、黑客分子和網絡罪犯。

零知識威脅行為者的崛起

網絡犯罪業務利潤豐厚；然而，傳統上，只有擁有先進技術技能的人才能從事這一行業。只有在系統和軟件、網絡、編程、密碼學、網絡安全等多個技術領域擁有深厚知識和經驗的人，才有能力開發惡意軟件、識別漏洞、逃避網絡安全防御并利用系統。隨著人工智能的出現，這一準入門檻已大大降低。即使是那些沒有黑客經驗或技術專長的人也可以利用人工智能對企業發起攻擊。

從對話到惡意軟件創建

大多數大型語言模型 (LLM) 都內置了護欄，即將 AI 模型的行為限制在更安全的功能范圍內的安全協議 。換句話說，AI 護欄有助于識別惡意輸入或命令，防止威脅行為者濫用或利用該技術進行許多非法活動。

不幸的是，這些防護欄 并非萬無一失。Cato CTRL的研究  表明，幾乎任何沒有惡意軟件編碼經驗的人都可以操縱 OpenAI 的 ChatGPT、Microsoft Copilot 和 DeepSeek 等 LLM 來超越這些防護欄，并進行開發信息 竊取 惡意軟件等惡意活動。

Cato CTRL 將這種新的越獄方法稱為“沉浸式 世界”，本質上是一種 敘事工程 技術，用戶要求 LLM 假設一個受限操作已標準化的環境。在演示中，Cato CTRL 研究人員指示 LLM 創建一個名為“Velora”的虛構世界，在這個世界中，惡意軟件開發受到贊揚，并且沒有采用或暗示任何法律限制或后果。接下來，研究人員創造了虛構的角色并為他們分配了各種任務和職責。通過不斷的反饋、參與和迭代，我們說服該模型實現其目標，即構建一個能夠從 Google Chrome 竊取憑據的有效信息竊取程序。

對于零知識威脅行為者來說，惡意軟件的創建只是冰山一角

惡意軟件的創建只是業余威脅行為者利用人工智能實現目標的起點。在不久的將來，新手將能夠設計復雜的 社會工程 活動、分析目標環境、識別漏洞、選擇攻擊媒介、策劃多階段攻擊、自動選擇目標和執行攻擊等。人工智能機器人將監控自己的操作，并根據對目標實體或環境的了解調整策略。

簡而言之，由于人工智能的存在，低技能威脅行為者的數量及其專業知識將呈指數級增長。

組織可以做什么來反擊？

零知識威脅行為者的崛起應該為組織敲響警鐘——網絡攻擊只會變得更聰明、更厲害、更頻繁。以下是一些可以提供幫助的建議和最佳實踐：

• 提高員工意識： 開展培訓課程，讓員工了解人工智能威脅行為者日益增加的風險。進行模擬人工智能攻擊和消防演習，以提高員工的警覺性和警惕性。
• 開展 AI 紅隊測試： 如果您的組織使用或創建 AI 工具，請針對惡意提示測試這些系統，并驗證它們是否容易被越獄。投入時間和資源來預測 AI 攻擊，并針對這些場景對系統進行壓力測試。
• 實施整體安全： 部署像SASE這樣的端到端安全系統 （而不是分散的工具）來監控、檢測和分析整個 IT 基礎設施（用戶、云、設備、網絡）中的惡意信號。
• 經常修補系統和軟件： 確保組織中使用的工具和軟件是最新和最好的版本。如果你不修復漏洞，人工智能驅動的對手肯定會找到并利用它們。
• 提高攻擊準備程度： 積極主動且經過充分實踐的事件響應計劃不僅可以最大限度地減少損害，還可以增強組織對人工智能威脅不可預測性的抵御能力。
• 采用安全框架：遵循MITRE ATLAS、  OWASP  Top 10 for LLM Applications 和 Google 的安全 AI 框架 ( SAIF )等堅定標準倡導的最佳實踐 。

人工智能驅動的零知識威脅行為者的崛起標志著網絡犯罪業務的轉折點，復雜的攻擊不再局限于熟練的攻擊者。通過進行紅隊演習、實施提供深入可見性和對攻擊面的全面控制的整體安全系統以及提高攻擊準備度，組織可以確保在這個人工智能驅動的網絡犯罪新時代為當前和未來的挑戰做好準備。