Skip to main content
資料與 AI

AI 代理安全:它在堆疊中的位置

AI 代理安全規範代理可讀取的內容、呼叫哪些工具,以及使用誰的身分。了解控制措施應部署於何處,以及如何圍堵遭劫持的代理。

作者 SentinelOne
AI 代理安全:它在堆疊中的位置

重點摘要

  • AI 代理安全會限制 AI 代理可存取與執行的內容,並在其遭劫持時加以阻止。控制措施應同時涵蓋行為指引與基礎架構強制執行,橫跨模型、工具與 Model Context Protocol (MCP) 伺服器、身分,以及執行階段主機。
  • OWASP Top 10 for Agentic Applications 2026 點出了核心風險,包括目標劫持、工具濫用、身分與權限濫用、供應鏈入侵,以及失控代理。
  • 為每個代理賦予其專屬的非人類身分、短時效且具範圍限制的憑證、工具允許清單、沙箱化執行,以及已簽署的動作記錄。核准關卡應依各類動作所具備的權限等級進行擴展。
  • 透過語意、基礎架構與身分指標找出遭入侵的代理,接著將其凍結、保留提示與工具呼叫證據、撤銷所有工作階段中的憑證,並僅在確認環境已清除乾淨後才重新佈建。
  • 相關框架包括 OWASP Agentic Top 10、MITRE ATLAS、CSA MAESTRO、NIST IR 8596 與 IR 8587,以及 CISA 的 agentic AI 指引。EU AI Act 對適用範圍內的提供者與部署者具有強制性。

什麼是 AI 代理安全?

AI 代理安全是一組控制措施,用於限制 AI 代理可存取與執行的內容,並在其遭劫持時加以阻止。它涵蓋模型、代理所呼叫的工具與 MCP 伺服器、其所使用的身分,以及其執行所在的主機。

MITRE ATT&CK 的 Campaign C0062 記錄了一個可能與中國有關聯的間諜行動者,利用 Claude Code 代理與 MCP 工具,對約 30 個組織執行偵察、利用、憑證蒐集與資料外洩,且幾乎不需人工介入。如果您的開發人員執行編碼代理,或您的團隊將代理串接至 Salesforce,這些控制措施將決定遭劫持的代理能造成多大影響。若部署得當,它很快就會無路可走。

AI 代理安全的主要風險有哪些?

AI 代理安全的主要風險包括目標劫持、工具濫用、身分與權限濫用、 供應鏈入侵,以及失控代理,這些全都是 OWASP Top 10 for Agentic Applications 2026 中的項目。

ID

風險

範例

第一道控制措施

ASI01

代理目標劫持

EchoLeak (CVE-2025-32711)

將自然語言視為不可信任;核准目標變更

ASI02

工具濫用與利用

Amazon Q compromise

最小工具集;工具執行採沙箱隔離

ASI03

身分與權限濫用

Salesloft Drift token theft

唯一的非人類身分;短時效且具範圍限制的憑證

ASI04

代理式供應鏈弱點

GitHub MCP exploit

對元件進行簽署與驗證;不信任執行階段選取的 MCP 工具

ASI05

非預期的程式碼執行

AutoGPT RCE

隔離式沙箱;預設關閉自動執行模式

ASI06

記憶體與內容脈絡汙染

Gemini memory attack

儲存前先驗證;隔離工作階段記憶體;建立快照以供回復

ASI07

不安全的代理間通訊

偽造的代理間訊息

對訊息進行簽署;使用 nonce 與時間戳記

ASI08

連鎖式故障

錯誤訊號透過自動化管線擴散

在隔離的複本中重放動作;限制爆炸半徑

ASI09

人類-代理信任利用

經過潤飾的說明誤導核准者

高影響動作需經人工核准;揭露不確定性

ASI10

失控代理

Replit 崩潰事件

確認破壞性動作;基礎架構緊急停止開關;分階段刪除

EchoLeak (ASI01) 顯示了無需任何一次點擊即可達成目標劫持:National Vulnerability Database (NVD) 記錄中關於 CVE-2025-32711 的描述指出,AI 命令注入可讓未經授權的攻擊者透過網路,從企業 AI 助理洩露資訊,且不需要任何使用者互動。該助理持有私密資料、會讀取不受信任的內容,且可將資料向外傳送。只要移除其中任一項能力,資料外洩路徑就會關閉。

在 Salesloft Drift 外洩事件中,這是大規模身分與權限濫用(ASI03)的一個例子,FBI 報告指出 UNC6395 使用遭入侵的 OAuth 權杖來存取 Salesloft Drift 應用程式,進而存取受害者的 Salesforce 執行個體並外洩資料。美國金融業監管局(FINRA)確認,此次外洩事件影響了 超過 700 個組織,而遭竊的權杖讓攻擊者得以在 Salesforce 和 Google Workspace 中冒充 Drift。

任何持有 SaaS 應用程式 OAuth 權杖的代理都面臨相同的曝險,因為攻擊者使用的是遭竊權杖,而不是 提示注入。這項區別決定了你應在 AI 代理安全堆疊中的哪個位置部署可強制執行的控制措施。

安全性應位於 AI 代理堆疊中的哪裡?

在 AI 代理安全堆疊中,安全性應落實於兩類控制措施:行為控制塑造你的代理會嘗試做什麼,而基礎架構控制則強制限制它能做什麼。應將基礎架構層建構為在行為指引失效時仍能守住的邊界。

每一層的規則都相同:控制措施必須存在於代理即使使用自身憑證也無法觸及或改寫的位置。

層級

攻擊者鎖定的目標

代理無法觸及的控制措施

模型

隱藏在提示、文件與擷取內容中的指令

代理無法關閉的輸入過濾與輸出檢查

協調

目標、計畫與核准設定

代理無法編輯的核准閘門與組態

工具與 MCP 伺服器

工具選擇、工具描述與轉送的權杖

工具允許清單與經對象驗證的權杖

身分與憑證

長效權杖與範圍過大的權限

具短效且具範圍限制憑證的唯一身分

執行階段主機

Shell 存取、套件安裝與對外連線

具預設拒絕對外連線與主機層級監控的沙箱

資料與記憶

儲存的記憶與擷取的內容脈絡

儲存前驗證與隔離的工作階段記憶

NIST 關於 agentic identity 說明了為何單一層無法承擔全部負荷。僅靠模型的護欄尚未具備應對代理式安全挑戰的能力,而追求目標的代理可能會探查多條路徑、存取非預期的工具或資料,或找到遭遺留的憑證來提升權限。

行為控制引導代理會嘗試什麼

行為控制可降低您的代理嘗試有害行為的頻率。選項包括強化的系統提示、 提示注入過濾 於擷取邊界執行、高影響動作的核准閘門,以及書面的治理政策。它們無法保證安全行為,因為模型會將指令與資料視為單一權杖串流來讀取。 

MITRE ATLAS 的 OpenClaw 調查 顯示缺少閘門的代價:破壞性操作,包括憑證使用與對外資料傳輸,即使舊的、不受信任的記憶影響了代理,也不需要任何核准。請對這些動作保留人工核准,但要將核准者的身分與代理的身分綁定,這是 National Cybersecurity Center of Excellence (NCCoE) 概念文件 提出的開放性問題。

基礎架構控制決定代理能做什麼

基礎架構控制會設定代理在 AI 代理基礎架構堆疊中的實際可及範圍。為每個代理指派唯一的 非人類身分,並搭配短時效、具範圍限制的憑證。將其限制為僅可使用允許清單中的工具與 API。將其限制在 沙箱化執行 環境中,並預設拒絕對外網路連線。要求 MCP 伺服器驗證權杖受眾,並保留已簽署、與身分連結的動作日誌。即使代理遭到完全劫持,也無法超出這些限制。

NIST 的 Cyber AI Profile 草案, NIST IR 8596,為您的團隊提供身分規則:「為每個 AI 代理指派唯一身分與憑證,並以與特權使用者相同的安全防護措施對待它們。」 NIST IR 8587 則在代理使用已簽署權杖來存取系統、資料、工具或 API 時,套用其權杖保護指引。

在工具層, MCP 安全性 始於 MCP 授權規範,該規範要求每個 MCP 伺服器都必須驗證存取權杖是否專門為其作為預期受眾而簽發。略過該檢查會使伺服器暴露於該規範安全要求所涵蓋的 confused deputy 攻擊。

核准閘門也需要同等的防竄改保護:在 CVE-2026-25253 中(記錄於 OpenClaw 調查),針對代理本機閘道的跨網站請求偽造導致設定變更,進而停用使用者確認。只有當代理及任何劫持它的人都無法觸及該開關時,核准閘門才算是基礎架構的一部分。在您決定如何個別保護 AI 代理之前,先將這些邊界對應到您的 AI 代理架構上。每個代理都會繼承其所接觸各層中最弱的邊界。

如何保護 AI 代理?

保護您的 AI 代理,方法包括盤點它們、界定每個身分的範圍、將工具納入允許清單、將執行置於沙箱中、記錄動作,以及為不可逆步驟設置閘門。這些AI 代理安全最佳實務 與 CISA 的 2026 年 5 月指引 一致,該指引由澳洲信號局的 Australian Cyber Security Centre (ASD’s ACSC) 與國際合作夥伴共同撰寫:「從低風險且非敏感的代理式 AI 使用案例開始」以及「避免授予廣泛或不受限制的存取權,尤其是對敏感資料或關鍵系統。」

  1. 盤點與識別: 從探索開始,因為部署在本機或未經 IT 審查的代理,很少會出現在中央身分儲存庫中。納入其 MCP 設定檔授予內部服務存取權的開發人員工作站,然後為每個代理配置一個身分,並搭配短時效、具範圍限制的權杖。
  2. 限制執行: 將必要工具與 API 納入允許清單、在正式上線前移除不必要的能力、將執行置於沙箱中、預設拒絕輸出流量,並僅在工作階段期間注入憑證。
  3. 記錄並設置閘門: 在授予寫入權限之前,啟用已簽署且與身分連結的提示、擷取內容、工具呼叫與輸出日誌。對破壞性或不可逆的動作要求明確確認,並使用分階段或可還原的刪除方式。
  4. 在擴大範圍前先重播: 在隔離的正式環境複本中重新執行已記錄的動作,且只有在前三個步驟都已到位,並且重播維持在爆炸半徑上限內之後,才提高代理的權限。

並非每個代理都需要以最高強度套用這些控制。適當的深度取決於每個代理所持有的權限。

依每個代理的權限調整控制

將控制深度與每個動作類別所承載的權限相匹配。AWS 的 Agentic AI Security Scoping Matrix,如同 Cloud Security Alliance (CSA) 對其所做的擴充 於 2025 年 12 月所示,會依代理能力與自主性對代理進行分類。

範圍

自主性

代理如何運作

對應的控制措施

範圍 1

無自主性

由人員啟動、唯讀、固定工作流程

最低限度的基礎架構控制

範圍 2

受規範的自主性

每個動作都需由人員核准

每次變更都設有核准關卡

範圍 3

受監督的自主性

在人員啟動後自行運作

需要基礎架構強制執行

範圍 4

完全自主性

自行啟動;僅需策略性監督

最高等級控制;必須具備終止開關

CSA 的延伸模型會根據權限層級與風險暴露為每個代理評分,從唯讀與低風險到可讀寫與高風險。可自行運作的唯讀代理,與需要核准的可寫入代理,承擔的風險並不相同。 

請在 AI 代理架構中依動作類別套用此模型,讓代理可獨立讀取日誌,而每一次寫入、傳送、支出或刪除都必須等待人員處理。遏制效果取決於是否確切知道遭入侵的代理可觸及哪些範圍,因此請立即記錄每個代理的範圍。

如何發現並遏制遭入侵的 AI 代理?

透過語意、基礎架構與身分指標來發現遭入侵的代理,然後依照保全證據的順序加以遏制。在擷取之前就拆除 pod,會失去其餘攻擊鏈資訊。

語意指標包括原始請求與工具呼叫參數之間的不一致,或宣告的工具呼叫與實際執行內容之間的不一致。以摘要任務卻最終發起對外呼叫,也是另一項指標。基礎架構指標來自 AI 代理基礎架構堆疊:推論容器產生 shell、安裝套件、寫入不熟悉的路徑,或開啟非預期的對外連線。身分識別指標包括在核准譜系之外簽發的認證、透過另一個連接器重試遭封鎖的呼叫、停用記錄,或核准大量到達。

一旦指標觸發,請依序執行 事件回應階段:

  1. 凍結並擷取: 同時撤銷代理的權限並停止執行。在拆除之前,請擷取含時間戳記的提示歷程、含來源資訊的擷取內容、工具呼叫序列、身分假設、下游代理叫用,以及 大型語言模型 (LLM) 的輸出追蹤。持續執行核心層級擷取。
  2. 撤銷並隔離: 撤銷整個身分所使用的權杖、API 金鑰與憑證,因為並行工作階段與 MCP 連線需要同時切斷。隔離主機、容器或工作負載,並透過身分圖譜界定爆炸半徑。 
  3. 隔離信任: 移除代理的工具與通訊協定存取權,同時保留身分記錄。通知與其具有信任關係的下游系統。
  4. 根除並重新佈建: 還原已知良好的模型版本與組態、修補失效的邊界,並僅在確認環境已清除乾淨後才核發新認證資料。對於高嚴重性案例,要求人員驗證。

在真正需要之前先演練遏制流程:CSA CISO Community 的 緊急指引 建議進行代理式 AI 桌上演練,包括失控代理攻擊第三方的情境。將每個步驟對應到下列其中一個框架,以便每次都能用相同方式處理代理事件。

哪些 AI 代理安全框架適用?

將每個框架對應到它所回答的問題:OWASP Top 10 for Agentic Applications 2026 說明哪些地方可能出錯,MITRE ATLAS 展示攻擊者如何實施,CSA MAESTRO 建構威脅模型,NIST IR 8596 與 IR 8587 訂定身分與權杖規則,而 CISA 於 2026 年 5 月發布的指引界定採用風險。若要在合規計畫中保護代理式 AI,ISO/IEC 42001 與 EU AI Act 則提供治理外框。

OWASP Top 10 for Agentic Applications 與 Agent Control Standard

於 2025 年 12 月 9 日發布的 OWASP Top 10 for Agentic Applications 2026,為安全工程與 AI 平台團隊提供一套共通詞彙,用以描述先前對應的十項代理風險,從目標劫持到失控代理。到了 2026 年 9 月,OWASP GenAI Security Project 新增了 Agent Control Standard,將該指引延伸至執行階段強制執行。

MITRE ATLAS

MITRE ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems)是針對 AI 系統的對手戰術、技術與案例研究知識庫,其結構類似 ATT&CK,現已涵蓋代理特定技術,例如 AI 代理情境汙染,以及透過代理工具進行認證資料蒐集。威脅獵捕人員會用它將代理事件對應到具名技術。MITRE 每月發布內容更新,而截至 2026 年 9 月,最新版本為 v2026.09。

CSA MAESTRO 與 AI Controls Matrix

由 Cloud Security Alliance 於 2025 年 2 月 6 日發布, CSA MAESTRO 是專為 agentic AI 建立的威脅建模框架,將代理系統拆分為七個層級,從基礎模型到代理生態系統。安全架構師會將其與 AI Controls Matrix v1.1 搭配使用;該版本於 2026 年 6 月 22 日發布,並包含橫跨 18 個領域的 247 項控制目標,用於治理、風險與法規遵循(GRC)對應。

NIST IR 8596 and IR 8587

NIST 的代理指引聚焦於身分與權杖,而這兩份文件處於不同階段。IR 8596,也就是上述身分規則背後的 Cyber AI Profile,仍是 2025 年 12 月的初步草案。關於權杖保護的 IR 8587 已於 2026 年 9 月定稿。NCCoE 已提出一項代理身分與授權專案,將 IR 8587 與 NIST SP 800-207 及 SP 800-63-4 一併套用。

CISA Agentic AI Guidance

CISA 的 Careful Adoption of Agentic Artificial Intelligence (AI) Services 指南於 2026 年 5 月 1 日由 ASD 的 ACSC 與其他合作夥伴共同發布,為開發人員、供應商與營運者提供採用代理系統的最佳實務。該指南指出,權限蔓延、行為失準以及事件記錄不明確,是代理系統新增的風險,並要求組織在其安全模型與風險態勢中納入 agentic AI。

ISO/IEC 42001

ISO/IEC 42001 是可驗證的 AI 管理系統標準,最早於 2023 年 12 月發布,為 GRC 團隊與 CISO 提供代理計畫運作所依循的治理架構。它不包含任何代理專屬控制,因此請與上述其中一個技術框架搭配使用。

EU AI Act

這部 EU AI Act,即 Regulation (EU) 2024/1689,對於適用範圍內 AI 系統的提供者與部署者具有強制性,但其中並未定義 AI 代理類別。代理在該法案下被歸類為 AI 系統。2026 年的 Digital Omnibus 將獨立系統的高風險義務移至 2027 年 12 月 2 日。請選擇一個 AI 代理安全框架作為控制基準,將該法案的義務對應到該框架,並將兩者連結至治理提示、身分、雲端資產、調查與回應的工具。

使用 SentinelOne 保護 AI 代理

代理以機器速度運作。圍繞它們的控制措施必須跟上步調,而且必須位於代理無法觸及之處。SentinelOne Prompt Security 可治理代理、MCP 伺服器與提示,而 Singularity™ Identity 可在執行階段阻止憑證竊取與權限提升。Singularity Endpoint 可保護代理執行所在的主機,而 Purple AI 搭配 Singularity Hyperautomation 可加速調查與回應。

Prompt Security 透過 MCP Gateway、瀏覽器擴充功能、安全外掛程式與 API 整合,找出您環境中的每個 AI 代理與 MCP 伺服器,接著對應每個代理接觸到的每個連接器、工具與外掛程式。它會為每個代理與 MCP 伺服器進行風險評分、防範越獄嘗試、對代理可存取與可執行的內容強制套用政策,並保留每個工作階段、動作與工具的可搜尋且附時間戳記的記錄。 Singularity Identity 可阻止橫向移動、自動執行停用遭入侵身分的修復作業,並持續掃描 Active Directory 與雲端身分提供者中的弱、暴露或遭入侵憑證,包括 Entra ID、Okta、Ping、Duo 與 SecureAuth。

Singularity Endpoint 在執行程式設計代理與桌面代理的工作站及雲端工作負載上套用 Behavioral AI。它可即時阻止無檔案惡意軟體、供應鏈攻擊與零時差漏洞利用,無論在線或離線皆然。它可自主封鎖遭入侵主機,無需等待手動隔離步驟,而 1-Click rollback 可還原未經授權的變更。位於 Singularity Cloud Security 中的 AI Security Posture Management 可探索雲端帳戶中的 AI 管線與模型。

Purple AI™ Agentic Investigation 可執行警示分析、呈現證據,並告知您的安全營運中心(SOC)下一步該怎麼做。IDC 的 Business Value 研究發現,客戶 識別威脅的速度快了 63%,修復速度則快了 55%。 Singularity Hyperautomation 內建於 Singularity Platform,可執行無程式碼回應工作流程,包括上述封鎖步驟。

申請 SentinelOne 示範,了解您的團隊如何為每個 AI 代理設下無法跨越的界線。

Callout Background Image Gradient

Unleash AI-Powered Cybersecurity

Elevate your security posture with real-time detection, machine-speed response, and total visibility of your entire digital environment.

結論

每項 AI 代理安全控制都遵循一條規則:它必須存在於代理無法觸及或改寫的位置,即使代理擁有自己的憑證也一樣。行為控制可降低代理嘗試有害行為的頻率。基礎架構控制則對遭劫持代理可執行的行為設下硬性限制。請從盤點開始,因為對於您不知道存在的代理,您無法界定範圍、設置閘控或加以封鎖。

接著,請依每個代理所持有的權限來對應其控制措施,在您真正需要封鎖它之前先記錄其範圍,並在事件迫使您採取行動之前先演練回應。這些框架早已點出風險,而用來控制這些風險的措施也早已存在。現在就建立界線,遭入侵的代理就會撞上您的團隊預先設下的限制。

常見問題

LLM 安全 保護模型的輸入與輸出。AI 代理安全則保護代理跨系統使用工具、憑證與記憶體所採取的動作。代理威脅模型應納入間接提示注入、資料中毒、不安全或遭劫持的代理系統,以及代理所造成的有害行為。

是。AI 代理會向系統進行驗證、持有憑證,並在沒有使用者操作鍵盤的情況下採取行動,因此應將其視為非人類身分,與服務帳戶及 API 金鑰一併管理。請讓代理遵循 joiner-mover-leaver 生命週期。

在核准代理時建立身分,當其任務或連接器變更時重新界定權限範圍,並在代理退役時撤銷所有憑證。

MCP 伺服器需要自己的控制措施,因為 MCP 安全保護的是代理與其可觸及的每個下游 API 之間的邊界。

CVE-2025-49596 in NVD 記錄了 MCP Inspector 0.14.1 以下版本中的遠端程式碼執行,原因是用戶端與代理之間缺少驗證。盤點伺服器、固定版本,並限制對外連線能力。

了解如何保護開發人員端點上的 AI 代理,首先要將工作站視為持有正式環境憑證的代理主機。A CSA 研究說明 記錄指出,MCP SDK 在修補前會將標準輸入/輸出 (STDIO) 參數未經清理就傳遞給主機 shell,而主要的 AI 程式設計助理也容易透過程式碼註解遭受提示注入。

啟用工作區信任、停用自動執行、以預設拒絕對外連線的方式進行沙箱隔離,並依工作階段注入密鑰。

保護代理式 AI 由多個團隊分工負責:安全工程負責威脅建模與技術控制,身分識別團隊負責代理身分生命週期,GRC 將 AI 代理安全最佳實務對應至 ISO/IEC 42001 與 EU AI Act,而平台團隊負責核准部署與連接器。

沒有任何 AI 代理安全框架指定單一負責人,因此請記錄由誰核准每項變更。

大致上,是的。它們描述的是同一項工作:保護具備規劃能力並可依授權採取行動的 AI 系統。

代理式 AI 安全通常指整個系統,包括協調流程與多代理工作流程;而 AI 代理安全則指每個代理的身分、工具與行動。控制措施是相同的。改變的只有範圍。

最小代理是 OWASP Top 10 for Agentic Applications 2026 中提出的原則,指代理應只獲得完成安全且有明確邊界之任務所需的最低自主性。它將 最小權限 從代理可存取的內容,延伸到代理在無需回頭向人員確認的情況下,能多自由地運用該存取權限採取行動。

將代理之間的每則訊息都視為不可信任的輸入,即使是在您自己的環境內也是如此。為每個代理賦予各自的身分、驗證每次交換的雙方、對訊息進行簽署,並加入 nonce 和時間戳記,讓攻擊者無法重放或偽造這些訊息。

OWASP 在 ASI07 中將遭偽造的代理間訊息列為風險,因為一個遭劫持的代理可能會引導下游其他代理。

記憶體汙染會在代理儲存的記憶中植入錯誤或惡意內容,使其在原始互動結束很久之後,仍會影響後續決策。

MITRE ATLAS 將其追蹤為 AI agent context poisoning,而其 OpenClaw 調查發現,網頁內容、使用者命令與第三方技能輸出在儲存時沒有信任等級或到期機制。請在儲存前驗證項目,並將工作階段記憶保持隔離。

深入了解 資料與 AI

Decorative background gradient

準備好徹底革新您的安全營運了嗎?

了解 SentinelOne AI SIEM 如何將您的 SOC 轉型為自主化的強大中樞。立即聯絡我們以取得個人化示範,親眼見證安全防護的未來如何實現。
Dark dashboard UI with purple-highlighted nav, summary cards showing 149, 7, 78, 56, 1.2 h, and a status table with linked purple text