10 項生成式 AI 安全風險

隨著 Transformers 和生成式 AI 的興起，人工智慧已發展到能夠產出讀起來相當像人類所寫的文字。這些 AI 系統在不同產業中，從文章、影像，甚至程式碼都能生成。但眾所周知，能力越大，責任越大，而生成式 AI 的增加顯然也打開了全新的一整類安全風險，這些風險需要被解決。

在這篇文章中，我們將深入探討什麼是生成式 AI 安全、濫用可能引發哪些威脅，以及您可以如何降低這些風險。我們也會討論像 SentinelOne 這樣的網路安全解決方案，在協助組織應對新興威脅方面所扮演的角色。

什麼是生成式 AI 安全？

Generative AI 安全是指用於保護可產生新內容的系統免於遭受濫用，或防止被誤用的實務與工具。其涵蓋範圍從資料隱私到 AI 生成錯誤資訊的潛在可能性。

由於生成式 AI 可用來產生極為逼真的內容，而這些內容可能以有害方式被利用，因此必須投入大量心力來確保這些系統的安全。如果技術在設計上未將安全納入考量，生成式 AI 可能被用來製作深偽內容、產生惡意程式碼，以及大規模自動化社交工程攻擊。維持生成式 AI 系統的安全，不僅能保護系統本身，也能保護可能成為其輸出目標的任何人。

生成式 AI 安全中的一項關鍵風險與資料隱私有關。這些系統是在龐大的資料庫上進行訓練，而其中可能包含私人或個人資料。確保這些訓練資料的安全並進行匿名化處理非常重要。更重要的是，生成式 AI 系統所輸出的資訊本身就是一項重大風險，若管理不當，可能會無意間暴露私人個人資料。

此外，生成式 AI 安全的一個重點在於，它可能透過制定各種資料處理程序並對其他倫理議題進行特定檢查，進而影響廣泛的隱私問題與合規遵循；也就是說，由這項技術產生的內容必須維持更具意義且與目的相關的導向。

10 項生成式 AI 安全風險

生成式 AI 的能力持續提升，而每一項新功能都伴隨著一批新的安全風險。對於想要使用生成式 AI 技術、同時仍維持強大安全資產的企業而言，掌握這些風險非常重要。以下是生成式 AI 的十項主要安全弱點：

#1. 深偽內容生成

生成式 AI 已提升了 deepfakes 的製作能力，也就是極為逼真的假影片、影像或音訊錄音（最常見的是與換臉猥褻影片相關）。這項技術以前所未有的方式助長假新聞，因為它能建立一些看起來最真實的影像素材，使深偽內容成為非常嚴重的問題。

但深偽內容的影響遠不只是娛樂或惡作劇而已。深偽內容可能導致官員或高階主管等知名人士的身分遭竊，並可能造成名譽毀損、金融詐欺，甚至政治不穩定。試想，一段 CEO 說出不實言論的深偽影片，會對組織股價造成什麼影響，或它可能如何引發員工與利害關係人的恐慌。

#2. 自動化網路釣魚攻擊

生成式人工智慧正在改變 phishing attacks 的技術水準，使其更先進且更難以偵測。以 AI 為基礎的系統可以自動產生極為逼真且個人化的網路釣魚電子郵件（可大規模進行），模仿寫作風格，甚至包含真實人物的身分設定與完整個人資訊。

這些融入 AI 的網路釣魚活動甚至能規避以模式比對或關鍵字偵測為基礎的傳統安全技術。利用以來自社群網路及其他公開可用資源的大量資料訓練的人工智慧，AI 本身即可產生針對每一位收件人的訊息，進而提升此類攻擊的成效。其結果是，憑證竊取、惡意軟體散布或一般社交工程手法的成功率可能提高。

#3. 惡意程式碼生成

GitHub Copilot 和 Cursor AI 等工具會使用生成式 AI 來撰寫程式碼。雖然這可成為建立強大安全解決方案的實用工具，但攻擊者所產生的新型惡意程式碼數量也相當驚人。

由 AI 驅動的系統可以分析現有惡意軟體、識別成功的攻擊模式，並產生可規避傳統安全措施偵測的新變種。這很可能會進一步加速惡意軟體的發展，讓網路安全專家疲於奔命。

#4. 社交工程

Social engineering 攻擊在 AI 的協助下正日益升級。藉由使用網路上的大量個人資料，artificial intelligence 使機器能夠發展出高度個人化且有效的社交工程攻擊。

這些由 AI 驅動的攻擊不僅止於電子郵件網路釣魚。其範圍可能從偽造真實語音錄音以進行語音網路釣魚（vishing）攻擊，到為長期網路情感詐騙計畫編造複雜謊言。其中讓這些攻擊如此陰險的一點，在於 AI 能夠即時調整其戰術，以獨特方式影響不同目標。

#5. 對 AI 系統的對抗性攻擊

組織越依賴 AI 來執行安全措施，其安全系統就越容易面臨對抗性攻擊，因為這類對抗通常是透過特別製作的雜訊來完美模仿輸入，導致相同輸出中包含某些惡意軟體封包或訊號，進而造成資料中毒。若利用生成式 AI 建立其他輸入來欺騙 AI 的第二層（或更多層），就可能導致其產生錯誤輸出或決策。

例如，生成式 AI 可用來產生專門設計、用以擊敗最先進影像辨識系統中深度學習演算法的影像，或產生經過精心構造、可欺騙自然語言處理系統並規避內容審核軟體的文字。這類對抗性攻擊會逐步削弱對 AI 驅動安全系統的信任，最終可能留下巨大的漏洞，讓惡意行為者得以趁隙而入並從中獲利。

#6. 資料中毒

Data poisoning 攻擊是透過竄改用於建構 AI 模型的訓練資料來運作，其中也包括生成式 AI 系統。它們也可以透過將精心設計的惡意資料點注入訓練集，來顛覆 AI 的行為。

例如，針對生成式 AI 系統（例如用於建議程式碼補全的系統）的資料中毒攻擊，可能會在建議的程式碼片段中注入弱點。這在 AI 驅動的安全系統中更是如此。若其訓練資料遭到污染，可能會引入盲點，導致其他地方的攻擊無法被偵測。

#7. 模型竊取與逆向工程

隨著生成式 AI 模型變得更加複雜且更具價值，它們本身也成為竊取與逆向工程的目標。取得這些模型存取權的攻擊者，可能會利用它們建立自己的競爭系統，或更危險地，找出並利用 AI 驅動系統中的弱點。

模型竊取可能導致智慧財產損失，進而讓組織在研發投資上蒙受數百萬損失。此外，如果攻擊者能對用於安全用途的模型進行逆向工程，他們可能就能預測其行為並制定繞過策略，進而危及圍繞該 AI 系統所建立的整體安全基礎架構。

#8. AI 生成的不實資訊活動

生成式 AI 能產生大量連貫且具情境感知能力的文字，使其成為大規模散布不實資訊的強大工具。從 AI 的角度來看，可透過社群媒體散播的誤導性文章、社群媒體貼文與留言不勝枚舉，並可鎖定特定受眾或平台。

這類由 AI 驅動的假新聞，起初作為不實資訊活動，已經且確實曾被用來影響公眾輿論（影響選舉）或引發市場恐慌。對事實查核人員與內容審核者而言，唯一的解決方案就是提升其工作速度，理論上必須與 AI 本身運作的速度一樣快，才能在謊言擴散到無法反制之前加以遏止。

#9. AI 輸出中的隱私洩漏

在龐大資料集上訓練的生成式 AI 模型，可能會在其輸出中無意間洩漏私人資料。這稱為模型洩漏或非預期記憶。

例如，一個訓練不佳的語言模型可能會在不知情的情況下，將商業機密編碼進其文字輸出中。同樣地，一個以醫療影像訓練的影像生成模型，可能會在其輸出中產生新的、與特定病患相關的資訊。在這種情況下，隱私洩漏可能以難以察覺的微妙方式發生。

#10. 過度依賴 AI 生成內容

隨著生成式 AI 越來越普及，且其輸出開始變得更具說服力，若在未充分驗證的情況下過度依賴 AI 生成內容，其風險將會升高。這反過來可能導致不準確資訊、偏見，甚至徹底謊言的傳播。

在新聞、研究，或企業與政府機構的決策等領域中，風險可能最高，因為若在未經任何批判性檢視的情況下接受 AI 產生的內容，可能會對現實世界造成影響。例如，如果你僅依賴 AI 產生的市場分析，而不透過真實的人員驗證結果，就可能出現錯誤的建議。在醫療保健領域也存在風險，若過度依賴未經驗證的 AI 產生診斷結果，可能會對病患造成傷害。

降低生成式 AI 安全風險

組織有一些良好的方法可以應對生成式 AI 所帶來的安全挑戰。以下是五種提升安全性的重要方式：

1. 嚴格的存取控制與驗證

強大的存取控制與驗證對於保護生成式 AI 系統至關重要。如同上述範例，多因素驗證、角色型存取控制以及定期稽核都屬於此類。生成式 AI 有時可能被不當使用，因此，將曝險降到最低並限制可與這些模型互動的人員，也是企業可採取的其他措施。

2. 改善隱私與資料保護系統

如果有任何資料被用於訓練和執行生成式 AI 模型，就必須妥善保護。這包括對資料進行完善加密（靜態資料與傳輸中資料），以及採用差分隱私等隱私技術，確保其中的個別資料點保持私密。定期資料稽核與適當的資料保留政策，可防止 AI 在不知情的情況下洩露個人可識別資訊。

3. 建立適當的模型治理與追蹤

確保生成式 AI 系統安全性與可靠性的關鍵，在於建立完整的模型治理框架。控制措施可包括定期執行模型稽核、監控非預期的行為／輸出，或設計防故障機制以避免產生惡意內容。透過持續監控，可及早偵測潛在的安全性漏洞或模型效能退化。

4. 投資 AI 倫理與安全培訓

為了避免風險，必須對員工進行 AI 倫理與安全教育。這類準備包括學習有效辨識 AI 生成內容的方法、了解 AI 系統的限制，以及發現潛在安全風險。最終，當組織建立起對 AI 的警覺與問責文化時，將可作為人員防線的保障，以抵禦源自人工智慧使用的安全威脅。

5. 與資安專業人員和 AI 研究人員合作

生成式 AI 安全需要安全專家與 AI 研究人員之間持續對話，才能持續掌握並降低生成式 AI 所帶來的風險。這可能意味著加入產業工作小組、分享威脅情報，甚至與學術界合作。這將使組織能夠據此調整策略，以充分因應 AI 安全面向上的新發展。

由 AI 驅動的解決方案，例如 Singularity Endpoint Protection，可即時偵測並阻擋基於生成式 AI 的攻擊。

SentinelOne 如何提供協助？

SentinelOne 也提供可因應生成式 AI 安全挑戰的解決方案。讓我們來看看其中幾項。

• 威脅偵測： SentinelOne 可即時偵測並回應任何試圖升級攻擊的威脅。
• 行為式 AI： SentinelOne 的專有行為式 AI 可偵測異常行為，指出由 AI 產生的攻擊或未經授權使用 AI 系統的情況。
• 輕鬆遏制並修復威脅： SentinelOne 的自動化回應能力可透過降低 AI 相關安全事件影響的回應措施，快速阻止攻擊。
• 端點與 EDR： SentinelOne 可保護用於生成式 AI 工具的端點裝置。

結論

雖然生成式 AI 是一項令人振奮且提供前所未有能力的技術，但它確實帶來了組織應考量的全新安全疑慮。如果企業能意識到這些風險並投入更強化的安全措施，那麼生成式 AI 將能大放異彩，在避免安全性漏洞的同時，帶來巨大的正面效益。

隨著生成式 AI 領域持續進步，企業必須隨時掌握最先進的安全措施與最佳實務。生成式 AI 不僅為解決未來問題創造了全新的機會世界，也帶來了企業必須克服的挑戰。這些風險反過來決定了在不造成過多損害的情況下，必須為 AI 助理提供哪些保護。為確保您的生成式 AI 系統持續安全，整合 Singularity’s AI-powered security 對於偵測與防止新興威脅至關重要。