AI 安全評估：逐步框架

什麼是 AI 安全評估？

AI 安全評估是對 人工智慧 系統、模型、資料管道與基礎架構進行系統化評估，以識別弱點、評估風險，並實施適當的安全控制。AI 安全評估會檢視由機器學習模型所產生的獨特攻擊面，因此需要針對模型特定威脅採用專門方法。

有效的 AI 安全評估涵蓋四個關鍵領域：

• AI 模型： 演算法、權重、決策邏輯
• 訓練與推論資料： 來源、沿襲、完整性
• 支援基礎架構： GPU、雲端服務、API
• 治理流程： 法規遵循、變更管理

AI 系統是會隨著訓練週期演進的動態實體。它們會處理大量且往往未經審查的資料，並產生新的攻擊向量，例如對抗樣本、資料投毒與提示注入，這些都需要專門的偵測方法。

現代 AI 安全評估框架會與既有標準保持一致，例如 NIST AI Risk Management Framework 與 ISO/IEC 42001，提供結構化方法論，以同時滿足 AI 安全稽核要求與法規遵循需求。

為什麼 AI 風險評估現在很重要

對全面性 AI 安全評估的迫切需求持續增加。 網路釣魚攻擊增加了 1,265%，其成長由生成式 AI 的發展所驅動，而目前所有電子郵件威脅中有 40% 已由 AI 賦能，顯示出需要針對模型特定風險建立專門防禦。

監管壓力也在升高。EU AI Act 與美國針對 AI 安全所提議的行政命令，要求組織展現全面的風險管理與安全控制。ISO/IEC 42001 等標準草案為 AI 安全建立管理系統要求，促使組織證明其在整個 AI 生命週期中的治理能力。

AI 特定威脅持續演變：

• 模型投毒攻擊 操縱訓練資料集以改變模型行為，造成在被觸發前持續潛伏的安全漏洞
• 提示注入攻擊 針對大型語言模型，可透過惡意請求繞過安全強化，並可能暴露敏感資料
• 對抗樣本 會細微地改變輸入以造成錯誤分類
• 模型擷取 使用 API 查詢來重建智慧財產

業務影響包括技術弱點與營運風險。醫療領域中遭入侵的 AI 系統可能影響病患診斷，而遭投毒的金融模型則可能助長詐欺或造成法規違規。透過遭入侵的預先訓練模型或受污染資料集所帶來的供應鏈風險，可能將弱點擴散至多個系統。

實施主動式 AI 弱點評估計畫的組織，能在維持競爭優勢與利害關係人信任的同時安全地使用 AI。定期的 AI 風險評估週期可協助組織在新興威脅成為重大弱點之前加以識別。

六階段 AI 安全評估框架

系統化的 AI 安全評估採用六階段循環，其靈感來自 NIST AI Risk Management Framework 與 ISO/IEC 42001 的 Plan-Do-Check-Act 方法。隨著您的 AI 系統演進，每個階段都會持續建構。

第 1 階段：定義範圍與目標 建立評估邊界、風險容忍度與成功標準。這對應到 NIST 的「Govern」功能與 ISO 的情境建立要求。

第 2 階段：盤點 AI 資產與資料流 編錄每個模型、資料集、管道與相依性，並以訓練資料沿襲與模型版本等中繼資料建立可辯護的系統紀錄。

第 3 階段：威脅對應與弱點分析 使用對抗式 AI 技術探查每項資產，參考 MITRE ATLAS 中的威脅模型，例如模型投毒與提示注入。此 AI 弱點評估階段可識別機器學習系統特有的攻擊向量。

第 4 階段：評分並排序 AI 風險優先順序 建立依業務情境與法規要求加權的可能性－影響矩陣，產出供主管審查與 AI 安全稽核文件使用的 AI 風險登錄。

第 5 階段：實施控制與緩解措施 部署特定防護措施，例如輸入驗證、存取治理與對抗式強化。

第 6 階段：報告、驗證與持續監控 產生可稽核報告、透過測試驗證修復，並建立持續性的遙測。

逐步 AI 安全評估實作指南

階段 1：定義範圍與目標

從三項關鍵輸入開始：業務驅動因素（AI 價值與失敗影響）、法規環境（影響 AI 的 HIPAA、GDPR 要求），以及組織的 AI 成熟度（現有文件與治理）。

建立一頁式評估章程，內容包括：

• 專案目的
• 範圍界線
• 成功標準
• 時程
• 透過 RACI 矩陣明確責任歸屬

透過將正式環境模型與研究用途分開、繪製資料管線，以及列出外部相依性，劃定清楚的評估界線。以具體標準定義風險容忍度，例如「模型輸出中不得包含 PII」或「準確率下降 >3% 即觸發回復」。若沒有明確界線，範圍蔓延會拖慢進度並稀釋評估品質。為每個階段設定時間框限，並指派 RACI 責任歸屬以維持推進動能。

將評估定位為品質促進者，而非阻礙。當產品團隊將安全評估視為障礙時，抗拒情緒會削弱實作成效。應將評估框定為保護 AI 計畫免於更大問題的措施，避免這些問題延遲上線或損害聲譽。

階段 2：盤點 AI 資產與資料流

建立完整的 AI 資產登錄，列出所有模型、其架構、訓練資料來源、版本與部署資訊。記錄模型卡、沿襲資訊與授權條款。若資產探索不完整，當資料科學團隊在變更控制之外部署「影子模型」時，就會產生盲點。每季執行探索掃描，並與主資產清冊進行核對，以維持準確可視性。

使用 SBOM 掃描器與雲端資產管理器等探索工具追蹤資料流。像是 SentinelOne Singularity Platform 這類平台可提供跨 AI 基礎架構的全面可視性，自動探索並編目 AI 資產。

實作驗證流程，包括對照已知資料集進行交叉檢查，以及自動化差異偵測。將沿襲檢查納入資產登錄，並將授權成品附加至資料集。若無法證明資料來源，訓練資料的智慧財產權問題將帶來法律風險，因此請記錄所有訓練資料的完整監管鏈。

要求供應商提供預先訓練模型與函式庫的 SBOMs，以因應供應鏈弱點。將模型版本固定至加密雜湊，以防止竄改並確保可重現性。

階段 3：威脅對應與弱點分析

將威脅分析建立在 MITRE ATLAS 之上，該框架以 AI 專屬戰術擴充了 ATT&CK。聚焦於四項關鍵威脅：

• 模型投毒： 含有隱藏後門的受污染訓練資料
• 提示注入： 覆寫系統指令的惡意輸入
• 對抗性範例： 細微的輸入變動導致錯誤分類
• 模型擷取： 透過 API 查詢重建智慧財產

建立聚焦 AI 的紅隊，列舉相關 ATLAS 技術、產生攻擊手冊，並結合自動化模糊測試與手動測試。

階段 4：評分並排序 AI 風險優先順序

將已識別風險繪製於可能性－影響矩陣上，並考量 AI 專屬因素：偏差、模型漂移、可解釋性與對抗穩健性。建立風險登錄，內容包括：

• 風險 ID
• 受影響資產
• 威脅情境
• 分數
• 緩解措施負責人
• 監控 KPI

階段 5：實作控制措施與緩解

依實作工作量與安全效益排序控制措施。快速見效的措施包括提示驗證、API 速率限制與詳細記錄。中等複雜度的控制措施則包括以角色為基礎的存取控制與自動化沿襲追蹤。

依技術堆疊調整控制措施：

• 對於 LLM： 輸入淨化與輸出審核
• 對於視覺系統： 對抗性貼片偵測與感測器融合
• 通用控制措施： 加密、最小權限存取，以及串流至安全平台的即時遙測

具備進階解決方案的 Purple AI 功能提供專為 AI 環境設計的自然語言安全分析與自動化威脅狩獵。

第 6 階段：報告、驗證與持續監控

建立包含商業術語高階摘要的文件，以及詳述方法論的技術報告。使用熱點圖等風險視覺化方式與利害關係人溝通。

透過紫隊演練與桌上推演情境進行驗證。當團隊只是勾選核取方塊，卻未驗證控制措施是否確實有效時，就會出現虛假的完成狀態。在最終報告之前安排紅隊驗證，以確認已實作的控制措施在真實攻擊條件下能如預期運作。

建立每季審查與自動化警示。使用 統一端點安全 平台，將 AI 安全監控整合至現有的安全營運，涵蓋各種技術堆疊。

強化您的 AI 安全基礎

如果您正苦於目前的 AI 安全評估，並希望改變現況，那麼 SentinelOne 可以提供協助。使用正確的工具、技術與工作流程，與發現並緩解已知與未知弱點同樣重要。SentinelOne 可透過從雲端安全稽核開始，為您提供清晰的路線圖，說明如何管理 AI 安全風險。

您可以使用 Singularity™ Cloud Security 來驗證可被利用的風險並阻止執行階段威脅。這是一款由 AI 驅動的 CNAPP，可深入掌握您目前的 AI 安全態勢。AI-SPM 可協助您探索 AI 模型與管線。您甚至可以對 AI 服務設定檢查，並利用其 External Attack and Surface Management (EASM) 功能執行自動化滲透測試。 Purple AI 可執行自主調查與威脅狩獵，而 Storyline™ 技術則可重建完整的攻擊敘事，以進行全面驗證。  SentinelOne 的 Offensive Security Engine™ 能夠阻擋攻擊、預測新的動向並對應攻擊進程。您可以在攻擊發生前加以防範，並防止 AI 基礎架構中的權限升級。

SentinelOne 的容器與 Kubernetes 安全態勢管理也能執行錯誤組態檢查。SentinelOne 的 Prompt Security 代理程式相當輕量，並可為 Google、Anthropic 和 Open AI 等主要 LLM 供應商提供與模型無關的涵蓋範圍。它可保護您的基礎架構，防範提示注入、模型資料投毒、惡意提示、模型誤導，以及其他各類以提示為基礎的 AI 安全威脅。您可以自動封鎖高風險提示、消除內容繞過過濾器的情況，並阻止越獄攻擊。

您還可獲得對 API、桌面應用程式與瀏覽器中 AI 活動的即時監控與原則強制執行。Prompt Security 也有助於管理您的 AI 服務，並讓 MSSP 能更有效地偵測異常並強制執行 AI 安全原則。

SentinelOne 可確保 AI 部署安全，並符合 NIST AI Risk Management Framework 與 EU AI Act 等監管框架。 Singularity™ XDR Platform 可連接來自端點、雲端工作負載與身分的安全資料，讓您完整掌握所有與 AI 相關的威脅。您可以使用 SentinelOne 的 AI 引擎，在偵測到威脅後採取自動化行動加以遏制，並降低對 AI 系統造成的風險。 SentinelOne's Vigilance MDR Service 也提供 24/7 的人工專業知識與威脅狩獵服務，以找出並消除各種與 AI 相關的威脅與風險。

立即報名參加 SentinelOne 的客製化示範 ，了解我們由 AI 驅動的全面防護如何協助您領先快速變化的威脅。

Singularity™ AI SIEM

Target threats in real time and streamline day-to-day operations with the world’s most advanced AI SIEM from SentinelOne.

Get a Demo

結論

AI 安全評估將為您的組織帶來價值，且隨著您採用更多 AI 模型、服務與其他類型功能，其重要性也會持續提升。如今幾乎每家公司都在將 AI 整合到其工作流程中，因此您絕對不想落後。但在您增加 AI 使用的同時，也必須確保您採用的任何服務與工具都是安全的。 SentinelOne 的產品與服務可協助您進行更完善的 AI 安全評估。如果您有任何疑問或需要更清楚的說明，歡迎聯絡我們的團隊並獲得解答。