什麼是資料投毒？類型與最佳實務

我們看到各組織日益依賴人工智慧（AI）與機器學習（ML）來進行決策、保護資產及最佳化營運。McKinsey 最新的全球 AI 調查凸顯了這種對 AI 日益增加的依賴，其中 65% 的受訪者表示其公司經常使用生成式 AI，幾乎是十個月前調查結果的兩倍。然而，隨著這種快速採用而來的是新的風險。網路犯罪分子正利用資料投毒攻擊來破壞這些 AI 模型的完整性。

他們透過將遭破壞或惡意資料注入訓練資料集來發動攻擊，這可能會嚴重干擾 AI 模型，導致有缺陷的預測與安全性受損。根據 digitalcommons.lasalle.edu 的研究，僅對 1-3% 的資料進行投毒，就可能顯著削弱 AI 產生準確預測的能力。

本文將探討什麼是資料投毒、其運作方式、可能造成的影響，以及企業如何偵測、預防與緩解這些攻擊。

什麼是資料投毒？

資料投毒，也稱為 AI 投毒，是一種針對人工智慧（AI）與 機器學習（ML） 模型訓練資料集的網路攻擊類型。攻擊者會引入誤導性資訊、修改現有資料，或刪除重要資料點。攻擊者的目標是誤導 AI 做出錯誤的預測或決策。

這種操控可能在各行各業造成深遠影響，因為 AI 驅動解決方案的完整性高度依賴其訓練所使用資料的品質。

為什麼資料投毒日益令人擔憂？

隨著企業採用生成式 AI 與大型語言模型（LLMs），例如 ChatGPT 和 Google Bard，網路犯罪分子正日益利用 AI 資料集的開源特性。這種存取能力使他們能將惡意資料引入訓練資料集，進而產生新的弱點。

AI 在企業中的整合不僅提升效率，也促使網路犯罪分子開發創新的攻擊方法。像 FraudGPT 和 WormGPT 這類為惡意用途設計的工具，已在暗網上出現。這些工具使網路犯罪分子能夠自動化並擴大其攻擊規模，

令人驚訝的是，攻擊者只需更動極少量的資料，就能使演算法失效。根據一項研究，透過在垃圾郵件訊息中加入合法電子郵件中常見的詞語，攻擊者可以在新資料集重新訓練期間，誘使系統將其重新分類為安全郵件。

資料投毒可能會隨時間悄然發生，因此在已造成重大損害之前，往往難以識別。攻擊者可能逐步更改資料集或引入雜訊，而且其行動通常不會立即被察覺。

在醫療保健領域，資料投毒可能扭曲診斷模型，進而可能導致誤診或不適當的治療建議。例如，如果攻擊者將誤導性資料注入預測病患結果的模型，可能會根據有缺陷的資訊做出危及生命的決策。

同樣地，在金融領域，用於評估信用風險或偵測詐欺的演算法也容易受到資料投毒影響。攻擊者可以操控訓練資料集，建立可規避偵測的虛假設定檔，或核准詐欺交易，從而破壞金融系統的完整性。

另一個容易成為資料投毒受害者的產業是自駕車產業。它們高度依賴準確資料來進行導航與確保安全，而資料投毒可能會引入 感測器資料解讀錯誤，導致危險的駕駛行為或事故。

直接與間接資料投毒攻擊

資料投毒攻擊可分為兩類：直接攻擊與間接攻擊。

• 直接資料投毒攻擊： 這些也稱為目標式攻擊，涉及操縱 ML 模型，使其對特定輸入以特定方式運作，同時維持模型的整體效能。其目標是在不降低模型一般能力的情況下，導致模型對某些資料進行錯誤分類或錯誤解讀。例如，一個經過訓練、可根據影像識別個人的臉部辨識系統。攻擊者可能會將某個特定人物經過修改的影像注入訓練資料集，這些影像會經過細微調整，例如改變髮色或加入配件。因此，當模型在真實世界情境中遇到該實際人物時，可能會因這些目標式修改而將其誤認為其他人。
• 間接資料投毒攻擊： 這些攻擊稱為非目標式攻擊，其目的是降低 ML 模型的整體效能，而非針對特定功能。這類攻擊可能涉及將隨機雜訊或不相關資料注入訓練資料集，進而削弱模型從訓練資料中進行泛化的能力。例如，您可能有一個垃圾郵件偵測系統，使用標記為垃圾郵件或非垃圾郵件的電子郵件資料集進行訓練。攻擊者可能會將大量不相關的電子郵件（例如隨機文字或無關內容）引入訓練資料集。這種雜訊的大量湧入可能會使模型混淆，導致偽陽性與偽陰性的比率上升。最終，這將降低其區分合法郵件與垃圾郵件的有效性。

資料投毒對企業的影響

資料投毒會影響自動駕駛車輛（AV）和手術機器人等先進技術。例如，美國國家醫學圖書館發表的一項研究顯示，機器人手術中的系統錯誤占不良事件的 7.4%，導致手術程序中斷及恢復時間延長。這些中斷可能因住院時間延長及需要額外手術而導致營運成本增加。此外，在受監管產業中營運的企業還面臨嚴格的合規要求。例如，在醫療保健領域，組織必須遵守 Health Insurance Portability and Accountability Act (HIPAA) 及其他法規。若資料投毒事件導致資料外洩或錯誤的醫療診斷，可能會造成重大的合規違規。在使用自動駕駛車輛（AV）的產業中，風險甚至更高。例如，資料投毒事件可能導致 AV 誤判道路標誌，進而引發事故及重大責任。在 2021 年，Tesla 面臨審查，因其 AI 軟體由於有缺陷的資料而錯誤分類障礙物，導致數百萬美元的召回成本與監管罰款。

資料投毒造成的聲譽損害可能持續很久，且難以恢復。對於像 Tesla 這樣大力宣傳其 AV 技術安全功能的公司而言，因資料操控而導致的事件可能侵蝕消費者信心與信任。PwC 的一項調查發現，59% 的消費者 會避免使用他們認為缺乏安全性的品牌。

資料投毒攻擊的類型

了解資料投毒攻擊的類型很重要，因為這有助於您識別 AI 系統中的弱點。您可以實施強大的防禦措施，並防止機器學習模型遭惡意行為者操控。

#1. 後門攻擊

在 後門攻擊 中，攻擊者會在訓練資料中嵌入隱藏觸發條件。這些觸發條件通常是模型可根據其訓練辨識的某些模式或特徵，但人眼無法察覺。當模型遇到這個嵌入的觸發條件時，就會以攻擊者預先設定的特定方式運作。

這些後門對抗手法使攻擊者能夠繞過安全措施，或在未被偵測的情況下操控輸出，直到為時已晚。

#2. 資料注入攻擊

資料注入當惡意樣本被加入訓練資料集時，就會發生這種情況，其目的是在部署期間操縱模型的行為。例如，攻擊者可能會將帶有偏見的資料注入銀行模型，導致其在貸款處理期間歧視特定族群。對銀行組織而言，這意味著法律問題與聲譽受損。這些操縱的問題在於，惡意資料被注入的來源無法追蹤。這種偏見會在模型部署很久之後，才逐漸以不易察覺的方式顯現出來。

#3. 錯誤標記攻擊

攻擊者會透過為部分訓練資料指定錯誤標籤來修改資料集。例如，如果模型正在訓練以分類貓與狗的影像，攻擊者可能會將狗的影像錯誤標記為貓。

模型會從這些遭破壞的資料中學習，並在部署期間變得較不準確，使模型變得無用且不可靠。

#4. 資料操控攻擊

資料操控涉及透過各種方法更改訓練集中的現有資料。這包括加入不正確的資料以扭曲結果、移除原本可引導準確學習的關鍵資料點，或注入旨在使模型錯誤分類或出現不可預測行為的對抗樣本。若在訓練期間未能識別，這些攻擊將嚴重降低 ML 模型的效能。

資料投毒攻擊如何運作？

網路攻擊者可以透過引入惡意或欺騙性的資料點來操控資料集。這種操控會導致訓練與預測不準確。例如，透過加入虛假的客戶評分來更改推薦系統，可能會扭曲使用者對產品品質的看法。

在某些情況下，攻擊者可能不會引入新資料，而是修改真實資料點以製造錯誤並誤導系統。例如，更改金融交易資料庫中的數值可能會破壞詐欺偵測系統，或導致損益計算錯誤。

另一種手法涉及移除關鍵資料點，這會在資料中造成缺口，並削弱模型的泛化能力。這可能使系統暴露於風險之中，例如網路安全模型因相關攻擊資料遭刪除而無法偵測某些網路攻擊。了解這些攻擊如何發生，對於制定有效的因應措施至關重要。為了對抗資料投毒，必須實施強健的偵測策略，以便在這些威脅影響您的系統之前加以識別。

如何偵測資料投毒？

您可以追蹤資料的來源與歷史，以協助識別可能有害的輸入。監控中繼資料、日誌與數位簽章有助於此流程。使用嚴格的驗證檢查可協助篩除異常，並確保用於訓練的是離群資料。這包括使用規則、結構描述與探索性資料分析來評估資料品質。

自動化工具，例如 Alibi Detect 與 TensorFlow Data Validation (TFDV)，可透過分析資料集中的異常、漂移或偏斜來簡化偵測流程。這些工具採用各種演算法來識別訓練資料中的潛在威脅。

此外，您還可以使用統計技術指出偏離預期模式的情況，以凸顯潛在的投毒企圖。分群方法在發現離群值方面尤其有效。進階 ML 模型可以學習辨識與遭投毒資料相關的模式，提供額外一層安全防護。

防止資料投毒的步驟

防止資料投毒需要採取多面向的方法，納入資料管理、模型訓練與安全措施中的最佳實務。以下是組織可採取的關鍵步驟：

1. 確保資料完整性

您必須建立資料治理實務，實施完善的驗證策略，例如結構描述驗證、交叉驗證與總和檢查碼驗證，以在資料用於訓練前檢查其準確性、一致性與品質。此外，使用異常偵測等技術也有助於識別可疑的資料點。採用嚴格的存取控制與加密，以保護敏感資料免於未經授權的存取與修改。

2. 監控資料輸入

監控資料來源，並檢查可能表示遭到竄改的不尋常模式或趨勢。定期評估 AI 模型的效能，以識別任何可能暗示資料投毒的非預期行為，並使用模型漂移偵測工具。

3. 實施強健的模型訓練技術

使用集成學習與對抗式訓練等技術來增強模型的強健性，並提升其拒絕受污染樣本的能力。您可以利用離群值偵測機制來標記並移除明顯偏離預期模式的異常資料點。

4. 使用存取控制與加密

透過角色型存取控制 (RBAC)與雙因素驗證，您可以確保訓練資料集僅由授權人員存取與修改。此外，請選用強式加密方法，例如 Rivest-Shamir-Adleman (RSA) 或 Advanced Encryption Standard (AES)，以保護靜態與傳輸中的資料安全，並避免其在生命週期中遭到任何修改。

5. 驗證與測試模型

使用乾淨且經過驗證的資料集，定期重新訓練並測試您的模型。這有助於預防、偵測及減輕資料投毒的影響。此外，透過主動因應，您可以維持模型的準確性、幫助其良好泛化，並持續抵抗惡意資料輸入。

6. 提升安全意識

定期為您的網路安全團隊舉辦訓練課程，以提高對資料投毒手法及如何辨識潛在威脅的認知。制定清楚的應變流程，以回應疑似資料投毒事件。

當您透過這些預防措施強化團隊的整備能力時，同樣重要的是從真實世界的資料投毒攻擊中學習。這些事件可提供對隱藏弱點及其影響的獨特洞察，協助您精進安全流程，以避免未來出現類似威脅。

為了防止資料投毒，組織需要強大的威脅偵測與預防能力。Singularity’s AI-powered security可主動防護資料遭到操弄。

資料投毒的關鍵最佳實務

這些是協助組織了解如何管理並降低與資料投毒相關風險的指引或原則

#1. 資料驗證與清理

建立嚴格的驗證流程，確保只有高品質且相關的資料會納入訓練集。這可能包括檢查異常、重複項目與不一致之處。定期稽核您的資料集，以識別並移除任何可疑或低品質的資料點。使用自動化工具有助於簡化此流程。

#2. 異常偵測機制

使用專為偵測資料集中離群值與異常而設計的機器學習演算法。這有助於透過標記偏離預期行為的不尋常模式，識別潛在的資料投毒企圖。實施持續監控系統，即時分析傳入資料。這可確保任何惡意輸入都能立即被偵測並處理。

#3. 模型強健性與測試

使用可抵禦雜訊與對抗性攻擊的模型訓練方法。對抗式訓練等技術可協助模型學會承受潛在的資料投毒攻擊。定期使用各種資料集測試您的模型，包括模擬潛在投毒攻擊的資料集。這將有助於您了解模型在不同條件下的表現，並識別弱點。

#4. 存取控制與資料治理

將訓練資料與模型參數的存取權限限制於可信任人員。這可降低內部攻擊風險，並確保模型訓練中僅使用經驗證的輸入。針對資料來源、處理與儲存建立明確政策。教育團隊成員了解資料完整性的重要性以及資料投毒的風險，以培養安全文化。

資料投毒的真實世界案例

#1. Twitter 聊天機器人攻擊

當由招募公司 Remoteli.io 建立並由 GPT-3 驅動的 Twitter 機器人遭到駭客利用 prompt injection attack攻擊時，發生了一起嚴重事件。這次攻擊使有害輸入得以加入機器人的程式設計中，導致其洩露原始指令，並產生有關「遠端工作」的不當回覆。

結果，這家新創公司難以在社群媒體上有效溝通，並面臨重大的聲譽風險與潛在法律問題。

#2. Google DeepMind 的 ImageNet 資料投毒事件 (2023)

同樣地，在 2023 年，Google 的 DeepMind AI 模型的一個子集因資料投毒而遭到破壞。該模型以廣受歡迎的 ImageNet 資料集進行訓練，並遭惡意行為者滲透，他們對影像進行細微修改，加入難以察覺的失真。由於這項修改，AI 會錯誤分類物件，尤其是常見的家用品或動物。

儘管客戶並未明顯感受到損害，這次攻擊仍揭示了資料投毒在極具影響力的 AI 模型中所帶來的潛在風險。為了回應這次攻擊，DeepMind 決定重新訓練其模型受影響的部分，並建立更嚴格的資料治理流程，以防止未來事件發生。

這些事件突顯了 AI 系統中的重大弱點，以及此類攻擊可能對企業與大眾信心造成的嚴重後果。這也凸顯出需要強健的預防措施來防範類似攻擊。

結論

我們現在知道，隨著企業日益依賴 AI 進行決策，資料投毒對機器學習模型的完整性與效能構成了巨大的風險。攻擊者可透過將惡意或誤導性資料注入訓練資料集，破壞這些系統的可靠性，進而導致代價高昂的錯誤並損害聲譽。Generative AI 和 LLMs 的興起進一步提高了企業理解此風險並實施強健偵測與預防策略的迫切性。

為了防範資料投毒，組織必須採取多面向的方法。這包括透過嚴格的治理實務確保資料完整性、持續監控資料輸入中的異常、採用強健的模型訓練技術，以及提升員工的安全意識。這些步驟將有助於建立對攻擊的韌性，並保障 AI 系統的效能。