什麼是對抗性攻擊？威脅與防禦

對抗性攻擊是攻擊者用來操縱、利用或誤導受害者的策略。它們會欺騙受害者，並透過細微變更輸入資料或影響資料清理工作流程，利用機器學習 (ML) 模型中的弱點。

在某些情況下，它們會誘使 AI 系統錯誤分類影像與資訊，並繞過安全措施。AI 模型最終會做出錯誤的決策與預測，進而以負面方式改變其輸出。

由 AI 驅動的網路安全工具可以自主阻止威脅、大幅降低誤報，並在數秒內而非數小時內調查攻擊。

但問題在於：攻擊者也在適應。

攻擊者可以透過向您的 AI 防禦提供惡意輸入、發動資料投毒攻擊，以及透過系統化查詢擷取您的偵測邏輯，來利用 AI 驅動的安全性。研究顯示，只要改變影像中的一個像素，就能欺騙深度神經網路，揭示問題空間中對抗性 ML 攻擊的耐人尋味特性。

當攻擊者鎖定您的 AI 安全工具時，您的詐欺偵測可能失效、電子郵件篩選器可能失靈，而您的端點防護可能會漏掉威脅。

繼續閱讀以深入了解對抗性攻擊——它們是什麼、如何運作，以及如何阻止它們。

什麼是針對機器學習系統的對抗性攻擊？

針對 AI 系統的對抗性攻擊會迫使 ML 模型產生不當輸出，並誘使其洩露敏感資訊。這些對手攻擊旨在誤導 AI 系統，並迫使其做出錯誤決策。

攻擊者可以鎖定程式碼錯誤、利用記憶體漏洞，並利用這些模型或系統中的固有弱點。在某些情況下，他們也可能擾亂系統功能，或對自主裝置造成實體傷害，進而對其上執行的 AI 軟體或程式造成負面影響。

至於非實體攻擊，攻擊者會提供精心設計的輸入——略微修改的檔案、遭操縱的網路封包，或遭投毒的訓練資料——促使模型將威脅誤判為安全。

可以把它想像成將模型的推理剛好推過決策邊界：幾個人眼難以察覺的像素變化，就能把「惡意軟體」變成「良性」，或對日誌項目做出微小調整來隱藏入侵。

對抗性攻擊的影響

成功的對抗性攻擊會讓組織暴露於多面向風險之中，可能危及其整體安全態勢與業務營運。

• 財務損失會在詐欺偵測系統無法識別惡意交易時發生，讓金融犯罪得以在未被察覺的情況下進行。信用卡公司曾回報，當其以 ML 為基礎的詐欺偵測系統被精心設計的交易模式欺騙時，損失超過數百萬美元。
• 營運中斷發生於依賴 ML 模型的關鍵業務流程變得不可靠時。依賴電腦視覺進行品質控制的製造系統可能漏掉瑕疵產品，而自動駕駛車輛可能誤判路標或障礙物，導致安全事件。
• 資料外洩會在安全邊界失效時發生。漏掉經對抗性設計的網路釣魚訊息的電子郵件安全系統，會讓攻擊者建立初始存取。被修改後的攻擊特徵所欺騙的網路入侵偵測系統，會讓攻擊者得以在企業環境中進行 橫向移動。這些對抗性人工智慧攻擊專門鎖定安全系統中的機器學習弱點。
• 智慧財產竊取是透過模型擷取攻擊發生的，競爭對手或國家級威脅行為者會藉此竊取專有演算法。企業投入數百萬資金開發複雜的 ML 模型以取得競爭優勢，卻最終因系統化查詢技術而遭到複製。
• 法規遵循失敗會在 AI 對抗性攻擊導致以 ML 為基礎的合規監控漏掉違規行為時出現。當自動化監控系統因對抗性操縱而無法偵測可疑活動時，金融機構將面臨監管處罰。

對抗性攻擊如何運作？

首先，對手會嘗試找出您 ML 模型的核心弱點。他們會測試其極限、找出缺陷，並輸入無效資料以觀察這些系統如何反應。

攻擊者探測您的模型，就像他們探測您的網路一樣。他們會根據所提供的輸入，測試不同變化以及模型給出的反應。當他們找到觸發開關或可被利用的點時，就會改變攻擊策略。他們如何欺騙 ML 模型或突破預設限制，將取決於他們自己。

有些對手甚至可以對程式進行逆向工程，以找出漏洞利用並加以鎖定。  在發動攻擊之前，他們甚至會研究目標受害者/系統，並部署各種輸入來觀察這些系統對其的行為。基本上，他們是在測試您機器學習模型的敏感度。

一般攻擊工作流程與您每天看到的情況相呼應：

• 偵察繪製輸出與速率限制
• 建構會執行最佳化以製作惡意輸入
• 利用會傳送承載
• 適應會根據您的回應精煉攻擊

傳統監控工具會漏掉這些動作，因為這些封包、影像或日誌行在人類看來都很正常。

1. 迴避攻擊

迴避攻擊發生於當 機器學習系統正在運行。攻擊者只需稍微改動輸入，就能讓系統做出錯誤決策。

逃避攻擊的一些範例包括：

• Fast Gradient Sign Method (FGSM)：一種快速將輸入朝最能混淆模型方向微調的方法。
• Projected Gradient Descent (PGD)：FGSM 的更強大反覆版本，會持續改變輸入直到模型判斷錯誤。它通常只需幾個步驟就能擊敗許多防禦。
• Carlini & Wagner: 一種更進階的技術，專門設計用來進行特別難以偵測的變更。

這些攻擊背後的概念很簡單：持續進行微小且精準的變更，直到模型的答案翻轉。尤其是 PGD，只需嘗試幾次就能突破許多防禦。

如果攻擊者無法看到模型內部，他們通常會建立一個副本。他們會在該副本上測試並改進攻擊，然後將修改過的輸入送到你的系統，賭它會以相同方式失效。

即使沒有你的安全模型副本，他們也可以送出數千筆測試輸入，只觀察模型的首要選擇，仍然能逐步鎖定可欺騙模型的內容。

例如，惡意軟體作者曾透過加入無害程式碼來避開防毒工具，這會改變檔案指紋但不改變其行為。相同原理也適用於文字：對網路釣魚電子郵件稍微變更措辭，就可能足以躲過垃圾郵件過濾器。在這兩種情況下，內容仍然危險，但微小變更會讓它躲過原本應該攔截它的系統。

危險之處在於，這些攻擊會明目張膽地隱藏起來。你仍會收到相同數量的警示，但最危險的案例會被錯誤標示為無害——而你無法調查你從未看見的東西。

2. 模型擷取與竊取

模型擷取與竊取是指有人透過反覆查詢你的機器學習模型來複製它。攻擊者會向你的模型送出大量精心挑選的輸入，記錄輸出，並利用這些結果訓練他們自己的版本。

這讓他們能竊取你的智慧財產，並利用副本為自己謀利或對你發動攻擊。

一旦副本建立完成，攻擊者就能免費取得你專有決策模型的所有好處。他們也會獲得「白箱」視角，使其更容易製作會讓你的系統誤判的輸入。在某些情況下，副本甚至會暴露你訓練資料中的特性，進而揭露敏感的商業資訊。

現代擷取技術可將所需查詢次數從數百萬次降到僅數千次，使竊取更快且更難偵測。詐欺偵測與內容審核 API 是常見目標。而且一旦複本存在，攻擊者就能從單純竊取轉向主動削弱你的防禦——讓一次入侵同時造成競爭損失與直接的安全威脅。

3. 資料投毒活動

資料投毒攻擊可讓攻擊者在你的模型 部署之前 就將其破壞，把錯誤預先植入，之後才浮現——而且通常在造成實際損害前都不會被發現。

在資料投毒攻擊中，對手會透過竄改共享資料集，或向持續學習的系統提交惡意回饋，將不良資料混入你的訓練流程。

有些被投毒的資料對人類看起來無害，卻會悄悄改變模型做決策的方式，確保特定目標被誤判。另一些則會直接翻轉標籤，將危險內容標記為安全，直到足夠多的錯誤範例扭曲模型的學習。

更危險的變體是 後門：訓練資料中的一個微小隱藏觸發條件，只要該觸發條件出現，就會迫使模型輸出攻擊者想要的結果。

例如，信用評分模型可能被動手腳，只要任何貸款申請包含某個隱藏特徵就予以核准；或者內容過濾器可能被訓練成放行極端主義口號。

由於大多數機器學習管線信任其資料，且不像監控即時流量那樣嚴密監控批次擷取，因此這些攻擊可能不被察覺，只有在造成高成本且備受關注的失敗時才會明顯浮現。

4. 即時模型操控

即時模型操控發生在攻擊者將精心構造的資料餵入持續學習的系統時，藉此在完全不碰觸你的程式碼或伺服器的情況下，讓決策朝對他們有利的方向偏移。

有些模型，例如詐欺偵測器、推薦引擎和 AI 聊天機器人，會隨著新資料到來而自行更新。攻擊者會利用這點，以誤導性輸入灌爆回饋迴圈。隨著時間推移，這會即時推動模型行為偏移，實際上等於把它「訓練」成做出錯誤判斷。

一個備受矚目的例子是針對大型語言模型的 prompt injection，攻擊者會偷偷加入隱藏指令來覆寫安全規則。類似手法也適用於自適應信用卡詐欺系統：反覆提交看似合法的邊界交易，直到模型將越來越多高風險行為視為正常並接受。

由於這些變更是逐步發生的，因此可能被誤認為使用者行為的自然變化。要偵測它們，必須同時密切監控傳入資料與模型更新。若缺乏這種警覺，攻擊者就能持續掌控局面，而系統則悄悄偏離正軌。

如何防禦對抗式機器學習攻擊

攻擊者探測你的模型，就像探測你的網路一樣。他們會找出最薄弱的環節並加以利用。你的機器學習模型此刻正遭受攻擊，而傳統安全工具通常完全無法發現這些威脅。

防禦機器學習系統需要與你在其他地方使用的相同縱深防禦方法：在開發期間強化、即時偵測攻擊，並在損害擴散前做出回應。

差別在哪裡？針對機器學習的對抗式攻擊瞄準的是你系統的大腦，而不只是閘門。

你的資料科學家、機器學習工程師和 SOC 分析師需要作為同一個團隊協作，並共享威脅模型與回應程序。當對抗式攻擊命中你的詐欺偵測模型時，那就是一起安全事件，必須以與勒索軟體相同的急迫性處理。

1. 主動式防禦策略

建立強健防禦始於模型開發期間。對抗式訓練會使用多步驟 PGD 方法，將精心構造的擾動加入每個訓練批次，從而在逃避攻擊開始前就加以阻止。

你的模型會學習在輸入遭操控時仍維持決策穩定。這種權衡是真實存在的：

• 穩健準確率提高
• 乾淨資料準確率可能下降
• 訓練時間更長

先從小規模擾動預算開始，再逐步增加。

資料投毒之所以有效，是因為你的訓練管線信任其所攝取的內容。防止 資料投毒攻擊 作者：

• 以結構描述檢查和離群值篩選器驗證每一項輸入
• 在任何資料進入您的最佳化器之前，先記錄資料來源脈絡
• 將群眾外包的樣本隔離，直到人工審查確認其為乾淨為止。

架構選擇對防禦至關重要。較簡單的網路搭配適當的正則化，能減少攻擊者喜歡利用的非穩健特徵。集成方法會迫使攻擊者同時欺騙多個決策邊界。對於您價值最高的模型，經認證的穩健性技術可提供正式保證——當運算成本合理時請使用它們。

第三方模型權重是攻擊向量。請為每個成品進行簽署、儲存加密雜湊，並在您的 CI/CD 管線中驗證它們。如果供應商無法提供總和檢查碼，就不要部署其模型。透過定期輪替訓練種子、擾動強度和資料切分，將多樣性納入您的防禦中。成功攻破某個模型快照的攻擊者，往往會在下一個版本失敗。

2. 偵測與回應能力

即使是經過強化的模型，也會面對具適應性的攻擊者，因此即時偵測至關重要。

監控您 ML 端點的每一個請求。這表示您應追蹤輸入分佈、嵌入漂移和信心分數模式。劇烈變化可能表示正在進行主動探測。

內嵌式偵測器是您的第一道防線，可在攻擊到達模型之前將其攔截。例如，統計測試可標記落在模型預期模式之外的輸入，而集成分歧——也就是多個模型產生相互衝突的預測時——則可能表示有可疑情況。由於攻擊者可以適應單一防禦，因此最好並行執行多種偵測方法。

一旦偵測器觸發，您的回應應該是自動化的。這可能意味著限制可疑用戶端的流量、隔離可疑請求，或切換到更穩健的備援模型。擷取所有內容——原始輸入、模型輸出和偵測器分數——讓您的團隊擁有調查所需的證據。

接著，像處理任何其他安全性外洩事件一樣處理此事件。

遵循包含蒐集證據、評估影響、回復至受信任的模型版本，以及以乾淨資料重新訓練的作業手冊。

速度至關重要：遭入侵的模型運行越久，可能造成的損害就越大。請像對待勒索軟體一樣看待從偵測到遏制的時間，因為遭污染或被操控的模型可能造成連鎖性的業務失敗。

3. 企業 ML 安全架構

在企業層級保護 機器學習 意味著要像對待任何其他關鍵系統一樣對待它——將防禦整合到您現有的安全堆疊中、補上盲點，並在攻擊造成實際業務損害之前讓其可見。

首先在管線中的每個進入點驗證資料。強制執行嚴格的格式檢查、驗證資料來源，並在任何資料進入長期儲存之前使用已簽署的資料集。

像保護程式碼一樣保護您的模型登錄：要求已簽署的模型檔案、追蹤其歷史記錄，並且僅在通過穩健性測試後才允許部署。在執行階段，將模型伺服器與您的其他工作負載一併監控。

蒐集程序、網路和系統活動，並將這些指標送入您的中央安全主控台，讓分析師能將 ML 異常與端點和網路警示一併查看。維護所有模型的最新清冊，明確標示擁有者、風險評級和穩健性分數，並在變更控制會議中像檢視修補程式等級一樣檢視這些項目。將對抗性測試列為任何內容上線前的硬性要求。

清楚的角色分離可讓系統維持可管理性。例如，CISO 可負責風險並制定政策，SOC 經理負責將偵測整合到日常工作流程中，而分析師則調校警示並調查事件。

偵測對抗性攻擊的挑戰

您在偵測對抗性攻擊時可能會遇到一些挑戰，例如極小失真。這些是攻擊即將到來時細微且難以察覺的跡象。這類攻擊只對原始輸入做出極小變更，因此很難使用簡單的篩選器和異常偵測來發現。從外部看起來，它們非常正常。

接著是利用非線性的第二個問題。深度神經網路可能具有高維度且非常複雜的決策邊界。對手可以利用這些邊界中的尖銳區域，在這些區域中，微小的輸入及其操弄可能導致較大輸出的劇烈變化，進而造成錯誤分類。

用於鎖定某一模型的對抗性攻擊可以轉移並用於其他不同模型，即使它們使用不同的架構或訓練資料也是如此。黑箱攻擊正變得非常普遍。接著還有規避防禦的問題。

沒有任何通用防禦能適用於所有模型，因為模型會變化並適應。我們也面臨適應性攻擊，這意味著對手可以繞過特定防禦。他們可以使常見的防禦技術失效，例如輸入淨化和防禦性蒸餾。

定向攻擊可能更具針對性，有時也可能導致隨機誤分類。根據您使用的偵測方法與技術不同，您也可能需要處理較高的誤判率。自然發生的攻擊與對手發動的攻擊之間的某些界線，可能會因您所處理的資料而變得模糊。您還必須處理品質下降的乾淨輸入，這可能會觸發錯誤的偵測與決策，從而降低您安全解決方案的可靠性。

對抗性攻擊的真實世界案例

有文件記錄的事件顯示，對抗性攻擊如何從學術研究走向企業環境中的主動利用。

• Tesla Autopilot 操控（2019）：安全研究人員展示了貼在路標上的小貼紙如何導致 Tesla 的自動駕駛系統誤讀速限，可能造成車輛不當加速。此攻擊利用了電腦視覺系統對特定視覺模式的依賴，顯示實體對抗性範例如何影響安全關鍵系統。
• Microsoft 的 Tay 聊天機器人（2016）：在推出後 24 小時內，協同行動的使用者透過精心設計的對話輸入操控 Microsoft 的 AI 聊天機器人，逐步將其回應導向不當內容。這顯示持續學習系統如何透過協調一致的對抗性回饋而遭到破壞。
• ProofPoint 電子郵件安全繞過（2020）：攻擊者發現，他們可以透過對惡意附件進行極小修改來規避企業電子郵件安全。藉由變更檔案標頭和嵌入模式，他們建立出對安全分析師而言看起來完全相同、卻能繞過以 ML 為基礎之威脅偵測系統的變體。
• 中國交通攝影機規避（2021）：研究人員顯示，策略性放置的紅外線 LED 可以欺騙用於交通執法的人臉辨識系統。這項技術讓車牌對自動化系統無法辨識，同時對人工交通執法人員仍清晰可見。
• 信用卡詐欺偵測失敗（2022）：金融機構回報了複雜攻擊，犯罪分子逐步訓練詐欺偵測系統接受風險越來越高的交易模式。攻擊者從接近合法邊界的交易開始並緩慢升級，建立了新的基準行為，使更大筆的詐欺交易得以在未被偵測的情況下通過。

這些案例突顯出一個關鍵模式：成功的對抗性攻擊往往利用人類感知與機器學習模型決策之間的落差，讓惡意活動得以在眾目睽睽下隱藏。

SentinelOne 如何防禦 AI 驅動的威脅

對抗性機器學習攻擊以運算速度發動，破壞您仰賴進行防禦的模型本身。從逃避偵測的規避，到重寫決策邏輯的污染，這些威脅利用的是 AI 本身的基礎。

要阻止它們，需要具備自主性的行為式 AI 安全解決方案，以偵測漂移、關聯端點與雲端工作負載之間的訊號，並在數秒內採取行動，而無需等待人工核准或介入。 Purple AI 賦予您的安全團隊 AI 驅動 SOC 分析師的能力，以加速其調查與回應。 SentinelOne has recently acquired Prompt Security。現在，它還能透過 Prompt AI 保護工作負載，讓組織立即掌握整個企業中所有 GenAI 使用情況的可視性。 Prompt AI 將為所有主要 LLM 供應商提供與模型無關的涵蓋範圍，包括 OpenAI、Anthropic、Google，甚至是自託管和內部部署模型。

SentinelOne 可提供機器速度的防禦，以保護您的模型、資料與業務。SentinelOne 的 Offensive Security Engine™ 可在攻擊者發動攻擊前發掘並修補弱點。其 Verified Exploit Paths™ 與進階攻擊模擬有助於識別雲端環境中的隱藏風險——遠遠超越傳統偵測。透過對 AWS、Azure、GCP 等環境中的錯誤設定、機密外洩以及即時合規評分進行自動化檢查，SentinelOne 為組織帶來優勢。

您可以使用 SentinelOne’s agentless CNAPP以防禦針對 AI 模型與服務的攻擊。SentinelOne 的 AI Security Posture Management 可為您的 IT 與雲端環境提供深入可視性，並加速調查以有效解決問題。作為 SentinelOne 無代理程式 CNAPP 的一部分，其可監控雲端上的安全態勢以及 AI 與 ML 工作負載，您可以使用 SentinelOne 的 AI 來偵測基礎架構中的風險與組態缺口。它可偵測 AI 管線特有的威脅，並提供明確的建議。它也會透過維持 AI 部署的安全與合規，自動化威脅修復。

SentinelOne 可以設定 AI 服務的檢查。您也可以運用 Verified Exploit Paths™ 於 AI 服務。SentinelOne 的無代理程式 CNAPP 可提供 SaaS 安全態勢管理，並包含以圖形為基礎的資產清冊、左移安全測試、CI/CD 管線整合、容器與 Kubernetes 安全態勢管理等功能。它可收緊雲端權限授權並防止機密外洩。它可偵測超過 750+ 種不同類型的機密資訊、啟用即時且持續的威脅監控，並產生及時警示。您可以減少警示疲勞、消除誤判，並將 最小化攻擊面。該平台可對抗惡意軟體、勒索軟體、網路釣魚、影子 IT、加密貨幣挖礦程式、社交工程，以及各種新興威脅。

對抗性攻擊者會鎖定多個攻擊面，因此強化這些攻擊面的防禦是個好主意。對於端點安全，SentinelOne 會在各個攻擊面上強化防禦。它透過 Singularity™ Endpoint Protection Platform (EPP) 為端點、雲端工作負載與身分提供自主式偵測與回應能力。您可以透過 Singularity™ Cloud Workload Security (CWS) 以及 Singularity™ XDR Platform 擴展防護，以全面涵蓋對抗性攻擊。該平台可在無需人工介入的情況下自動回應威脅，從端點到雲端保護您的整體數位基礎架構。

AI-Powered Cybersecurity

Elevate your security posture with real-time detection, machine-speed response, and total visibility of your entire digital environment.

Get a Demo

結論

對抗性攻擊仰賴欺騙，並利用 ML 模型與使用者的輕信。它們可以偽造資料、向 ML 模型輸入遭汙染的內容，並提供不準確的表徵來誤導模型並劫持防禦。ML 演算法可能會將良性模型分類為惡性，並意外將敏感資料洩露給對手，這正是對抗性攻擊如此危險的原因。如果您需要協助並希望保持領先，請立即聯絡 SentinelOne。我們可以提供協助。