什麼是 LLM（大型語言模型）安全？

什麼是大型語言模型（LLM）？

大型語言模型是一種人工智慧系統，經過海量文字資料集訓練，以理解、生成及處理人類語言。這些模型包含數十億個參數，也就是在訓練期間編碼所學模式的數值權重，使其能夠產生連貫文字、回答問題、撰寫程式碼，並執行複雜的推理任務。

LLM 驅動正在改變企業營運的 AI 應用：客戶服務聊天機器人、程式碼生成助理、文件摘要工具，以及知識管理系統。組織部署這些模型，以自動化內容建立、加速軟體開發，並大規模從非結構化資料中擷取洞察。

LLM 的運作方式（從安全角度來看）

了解 LLM 架構可揭示為何這些系統需要傳統應用程式防禦無法提供的專門安全控制。

LLMs 透過 transformer 架構運作，藉由分析整個序列中詞語之間的關係來處理文字，而不是從左到右閱讀。在訓練期間，模型會擷取數十億筆文字樣本，並調整其參數，以預測在任何特定語境中下一個會出現的詞語。這個過程在數兆次預測中反覆進行，使模型學會語言模式、事實關聯與推理結構。從安全性的角度來看，這個訓練過程形成了第一個攻擊面：對手若汙染訓練資料，便可將惡意行為直接嵌入模型權重中。

訓練階段需要大量的運算資源：數千個 GPU 在涵蓋書籍、網站、程式碼儲存庫與科學論文的資料集上運行數週或數月。完成訓練後，模型會進入推論模式，透過計算可能的下一個 token 的機率分布，並從這些分布中取樣來產生文字，以回應使用者輸入。推論層構成第二個主要攻擊面，提示注入與 jailbreak 嘗試會在此鎖定模型遵循指令的能力。

您的 LLM 部署通常涉及三個元件：包含已學習參數的基礎模型、處理推論請求的服務基礎架構，以及管理使用者互動與系統提示的應用程式層。每個元件都會帶來不同的安全考量。基礎模型可能透過重複查詢而遭竊取或擷取。服務基礎架構面臨阻斷服務與資源耗盡攻擊。應用程式層必須防禦提示注入、資料外洩，以及未經授權的操作。傳統應用程式安全 架構無法處理這些 AI 專屬攻擊向量，因此組織需要專門打造的防禦。

什麼是 LLM 安全？

LLM 安全 涵蓋專門設計的控制、流程與監控能力，用於在整個生命週期中保護大型語言模型免受對抗性攻擊。傳統安全控制無法阻止 提示注入攻擊 透過精心設計的自然語言輸入覆寫您的 LLM 系統指令：您需要針對資料投毒、模型竊取及訓練資料擷取弱點的專門防禦。

NSA 的 AI 安全指引 於 2024 年 4 月 15 日發布，明確指出 AI 系統需要與金融系統相同程度的安全嚴謹性：加密、嚴格的存取控制，以及供應鏈安全。

為何傳統安全不足以應對

LLM 攻擊使用熟悉的模式，但採用陌生的傳遞機制。攻擊者透過自然語言操控而非程式碼漏洞來執行權限提升、橫向移動，以及 供應鏈入侵。2023 年 MGM 事件顯示，當攻擊者冒充服務台人員時，社交工程如何繞過技術控制。 OWASP 的 LLM 安全研究 記錄了提示注入如何覆寫系統指令，而 資料投毒 會破壞訓練資料，而向量弱點則會在 RAG 系統中造成跨租戶洩漏。

您無法僅使用傳統周界防禦、基於特徵碼的偵測或基於規則的監控來保護 LLM。這些模型會處理非結構化自然語言、做出機率性決策，並在對話間維持上下文。您的安全架構必須考量對抗性機器學習、統計操控，以及對人類看似合法但會利用模型盲點的語意攻擊。

防火牆無法解析隱藏在客戶支援工單中的提示注入之語意。防毒特徵碼無法偵測在訓練期間嵌入模型權重中的 backdoor。SIEM 關聯規則無法識別 LLM 何時開始透過精心設計的查詢洩漏訓練資料。這些缺口形成了對專門打造的 LLM 安全控制之需求。

為何 LLM 安全對企業至關重要

企業 LLM 部署同時帶來業務價值與業務風險，而且程度相當。使 LLM 在自動化、決策支援與客戶互動方面強大的同樣能力，也使其成為對手尋求資料竊取、系統操控或競爭情報時的誘人目標。

• 法規遵循要求 AI 治理。 《歐盟 AI 法案》、州層級 AI 法規，以及特定產業要求，日益要求對 AI 系統進行文件化、風險評估，以及安全控制。未建立治理架構就部署 LLM 的組織，將面臨監管處罰與稽核失敗。
• 隨著 LLM 存取能力提升，資料暴露風險倍增。 當您將 LLM 連接到知識庫、客戶資料庫或內部文件時，您就建立了可繞過傳統 DLP 控制的資料外洩路徑。單一次成功的提示注入，就可能擷取模型受訓內容或透過 RAG 整合可存取的資訊。
• 智慧財產面臨新型竊取途徑。 競爭對手或國家級行為者可透過系統性的 API 查詢擷取您的專有模型，藉由模型擷取攻擊竊取數月的開發投資。包含您領域專業知識的微調模型，將成為產業間諜活動的目標。
• 營運持續性取決於模型完整性。 組織日益依賴 LLM 來執行客戶服務、程式碼生成與業務流程自動化。資料投毒或模型操控可能降低效能、引入錯誤，或導致系統出現不可預測的行為，而沒有明顯的入侵指標。

這些企業風險塑造了構成完整 LLM 安全架構的特定元件。

LLM 安全的核心元件

您的 LLM 安全架構需要六個涵蓋整個 AI 生命週期的核心控制領域。

• 輸入驗證與過濾 可在提示注入嘗試到達您的模型之前加以阻止。這可處理 OWASP 的首要 LLM 弱點，因此需要跨多個偵測層的縱深防禦控制。
• 輸出驗證與資料外洩防護 會掃描每個模型回應中的敏感資訊揭露，包括 PII 外洩、專有資料擷取，以及系統提示揭露。對手會透過模型回應擷取機密訓練資料，造成可比擬資料庫外洩的資料滲出風險。
• 供應鏈安全 透過驗證模型來源並監控 AI 相依性，保護第三方模型元件、外掛程式與訓練資料來源。根據 NSA 指引，第三方元件會形成需要審查的攻擊面。
• 訓練資料保護 透過存取控制與行為監控，防止從源頭破壞模型的資料汙染攻擊。MITRE ATLAS 研究指出，資料汙染特別危險，因為惡意模式會直接嵌入模型權重中。
• 向量資料庫安全 透過在嵌入層級套用存取控制、加密向量，以及監控相似性搜尋中的異常行為，在 Retrieval Augmented Generation (RAG) 系統中強制執行租戶隔離。OWASP 2025 更新將 Vector and Embedding Weaknesses (LLM08) 列為關鍵弱點，在此弱點中，某個組織的嵌入可能會因回應另一個組織 LLM 執行個體的查詢而被意外擷取。
• API 安全與速率限制 可防止功能性模型複製攻擊，在這類攻擊中，對手會查詢您 LLM 的 API 以產生合成訓練資料。您會實作強式驗證、速率限制與查詢模式分析，以識別系統性的擷取企圖。

這些元件可保護 AI 生命週期，從開發一路到正式環境。提示、輸入與輸出安全值得更深入檢視，因為它們代表您的主要執行階段防禦層。

保護提示、輸入與輸出

LLM 的執行階段安全聚焦於三個控制點：定義模型行為的系統提示、驅動互動的使用者輸入，以及傳遞給終端使用者或下游系統的輸出。

• 系統提示保護 可防止攻擊者擷取或覆寫您 LLM 的核心指令。您的系統提示包含商業邏輯、存取邊界與行為限制，而對手會透過提示注入鎖定這些內容。請實作可抵抗擷取企圖的提示強化技術，在架構可行時使用獨立的指令通道，並監控會揭露系統提示內容的輸出。
• 輸入驗證 必須同時處理語法與語意威脅。傳統輸入清理可攔截程式碼注入與格式違規，但 LLM 輸入需要語意分析，以識別隱藏在自然語言中的指令覆寫企圖。部署分層過濾，結合已知攻擊特徵的模式比對、異常查詢模式的異常偵測，以及經訓練可識別對抗性提示的分類器模型。 OWASP Top 10 for LLMs 建議將所有使用者輸入視為可能具有惡意，並實作縱深防禦控制。
• 輸出掃描 會在回應送達使用者之前攔截敏感資訊揭露。您的輸出驗證層必須偵測 PII 外洩、專有資料曝露、系統提示揭露，以及有害內容產生。實作即時掃描，以封鎖包含機密資訊的回應、監控訓練資料擷取模式，並在不降低使用者體驗的情況下強制執行內容政策。
• 內容視窗安全 可處理多輪對話帶來的風險。LLM 會在互動之間維持內容脈絡，讓攻擊者有機會透過對話引導逐步操控模型行為。實作內容長度限制、工作階段隔離，以及 行為監控，以偵測對話期間偏離預期回應模式的情況。

這些執行階段控制代表您對抗 LLM 遭利用時最主動的防禦層。將它們與更廣泛的架構元件結合，可建立 縱深防禦，這是傳統安全工具無法比擬的。這些控制可帶來可衡量的安全改善，足以證明實作投資的合理性。

LLM 安全的主要優勢

當您同時實作輸入過濾、輸出驗證與供應鏈安全時，便能獲得可衡量的優勢，足以證明投資專門 AI 防禦的合理性。

您可防止對業務至關重要的資料外洩，方法是阻止敏感資訊透過模型輸出外洩。對手會透過對抗性查詢擷取 PII、商業機密或專有商業資訊，而輸出驗證控制可阻止這些揭露風險。

• 您可保護模型開發中的智慧財產投資，方法是防止基於查詢的擷取攻擊，並阻止因基礎架構遭入侵而導致的直接存取竊取。模型竊取會造成競爭劣勢，並引發次級攻擊，因為遭竊模型可能會被離線分析以發現弱點。
• 您可維持模型完整性與可靠性，方法是防止資料汙染與後門植入。資料汙染攻擊會透過遭破壞的訓練資料嵌入隱藏觸發條件，而實作控制可防範資料滲出，並在整個 AI 生命週期中維持模型可信度。
• 您可降低安全團隊工作負載 方法是實作可攔截傳統工具完全無法發現之 LLM 特定威脅的控制。您的安全架構不是在模型擷取成功後才調查資料外洩，而是透過輸入過濾與供應鏈安全主動防止攻擊。在 2024 MITRE ATT&CK Evaluations中，SentinelOne 在達成 100% 偵測準確率的同時，產生的警示數比所有受評估供應商的中位數少 88%，將調查時間從數小時縮短至數秒。
• 您可部署 LLM 治理框架，透過集中式政策強制執行與行為監控，讓安全團隊掌握所有 AI 部署的可視性。您可識別 Shadow AI 的使用情況並將其納入治理，同時開發團隊可獲得能加速部署而非阻礙創新的安全框架。

儘管有這些優勢，組織在實作 LLM 安全控制時仍面臨重大障礙。

LLM 安全的挑戰與限制

企業安全團隊在保護 LLM 部署時面臨根本性障礙。傳統安全工具與流程無法充分應對這些挑戰。

• 傳統安全工具缺乏架構相容性 與 AI 安全性 要求。您現有的 SIEM、SOAR 與 DLP 平台並非為了處理機率式威脅評分、AI 模型生命週期監控或對抗性攻擊偵測而設計。組織難以整合分散工具堆疊中的 AI 能力，因而無法實現 AI/ML 系統所需的一致且高品質的資料擷取。
• 新的攻擊面出現速度快於防禦控制 的成熟速度。  OWASP 2025 更新 新增了向量與嵌入弱點作為獨立的弱點類別，因為多租戶環境中的 Retrieval Augmented Generation (RAG) 系統帶來了尚未解決的安全挑戰。惡意行為者可能操控或劫持未受保護的 agentic AI 系統來執行有害任務。

這些挑戰通常會以可預測的實作錯誤形式出現，使組織暴露於可避免的入侵風險之中。

常見的 LLM 安全錯誤

部署 LLM 的組織會重複犯下可預測的錯誤，使其暴露於可避免的入侵與法規遵循違規風險。最常見的錯誤包括：

• 將 LLM 視為標準應用程式卻未能保護供應鏈。周邊防火牆與傳統輸入驗證可提供基礎防護，但您必須以 LLM 專屬控制措施加以強化，包括提示注入防護、AI 元件的供應鏈安全，以及執行階段行為監控。組織在未驗證加密簽章或進行安全評估的情況下下載基礎模型。根據 OWASP LLM03:2025，預先訓練的模型、訓練資料與外掛程式都可能為攻擊奠定基礎。
• 忽略輸出驗證，這會讓敏感資訊透過模型回應外洩。團隊會實作輸入過濾來阻止提示注入，卻未能掃描輸出以偵測 PII 外洩或專有資料擷取。
• 在缺乏治理框架的情況下部署，造成問責缺口與法規遵循失敗。組織缺乏 AI 可接受使用政策、針對 AI 特定攻擊的事件回應程序，或 法規遵循 監控。
• 過度信任自主回應，這會導致分析師失去 情境感知，並造成他們無法覆寫失敗自動化的情境。
• 忽略向量資料庫安全性 在 RAG 實作中，這會造成跨租戶資料外洩。

避免這些錯誤需要採用來自權威安全框架、經驗證的實作模式。

LLM 安全最佳實務

在整個 LLM 生命週期中實作這些安全控制，以防範 OWASP、NIST 與政府指引中記錄的弱點。

• 將輸入驗證與提示過濾部署為您的基礎控制。 在所有使用者輸入上實作內容過濾、對已知攻擊特徵進行模式比對，以及 行為式威脅偵測，以識別指令覆寫嘗試。根據 OWASP LLM01:2025，提示注入是 LLM 應用程式排名第 1 的安全風險，並且需要跨多個層級的縱深防禦控制，包括輸出驗證與持續弱點評估。
• 建立完整的輸出驗證，掃描每個模型回應中的敏感資訊外洩。 部署 Data Loss Prevention (DLP) 控制，在交付給使用者之前阻止 PII 外洩、專有資料擷取與系統提示揭露。
• 為 AI 元件實作供應鏈安全，方法是為所有相依項目維護 Software Bill of Materials (SBOM)、在部署前驗證模型與資料集上的加密簽章，並監控您的 MLOps 管線是否有異常。根據 NSA 指引，第三方元件會形成需要審查的攻擊面。
• 在 RAG 系統中強制執行向量資料庫安全性，透過嚴格的租戶隔離來達成。在嵌入層級套用存取控制以防止跨租戶查詢模式、對靜態與傳輸中的向量進行加密，並監控相似性搜尋是否有異常行為。OWASP LLM08 弱點分類警告，多租戶環境存在某個組織的嵌入內容被另一個組織的 LLM 執行個體查詢擷取的風險。
• 實作 Zero Trust 架構 於您的 AI 管線中。套用 policy as code 以進行自主安全強制執行、使用可在不犧牲模型準確性的情況下保護 PII 的權杖化、實作將訓練環境與正式環境隔離的微分段，並強制持續驗證以消除管線任何階段中的隱含信任。
• 使用 NIST AI RMF 結構建立 AI 治理。 對所有 LLM 部署及其資料流進行對應，衡量對抗性 攻擊面、實作防禦控制，並透過問責框架進行治理，以確保符合合乎倫理的 AI 原則。

除了實作控制措施之外，您還需要持續掌握 LLM 的使用方式，以及其可能遭到濫用的情況。

監控與偵測 LLM 濫用

有效的 LLM 安全性需要持續監控，以偵測傳統安全工具無法識別的濫用模式。您的監控策略必須同時涵蓋外部攻擊與內部誤用。

• 為正常的 LLM 使用建立行為基準。 追蹤正常作業期間的查詢模式、回應特徵與資源消耗。偏離這些基準即表示可能存在攻擊或誤用。查詢量突然增加、不尋常的提示結構，或系統性探索模型邊界，都表示可能有偵察或擷取嘗試。
• 監控提示注入指標。 留意包含類似指令語言的查詢、嘗試參照或修改系統提示、要求變更角色，或試圖建立新行為情境的輸入。模式比對可捕捉已知攻擊特徵，而異常偵測則可識別新型注入技術。
• 追蹤資料外洩模式。 模型擷取攻擊會系統性地查詢您的 LLM，以重建其能力。監控來自單一來源的大量查詢、旨在誘發訓練資料的輸入，或顯示成員推論攻擊跡象的回應模式。實作速率限制與查詢分析，以識別擷取活動。
• 偵測未經授權的使用與 Shadow AI。 員工可能將未核准的 LLM 服務連接到企業資料，或以違反資料處理政策的方式使用已核准的 LLM。監控 API 流量、追蹤驗證模式，並實作探索工具，以識別您環境中的 LLM 整合。
• 進行全面記錄以支援鑑識分析。保留查詢輸入、模型輸出、使用者身分、時間戳記與情境資訊。當事件發生時，您需要完整的稽核軌跡來支援調查並證明合規性。確保記錄本身不會造成資料暴露風險，方法是妥善保護記錄儲存。

當 LLM 在雲端與以 API 為基礎的部署模型中運作時，這些監控能力會變得更加關鍵。

雲端與 API 型部署中的 LLM 安全性

雲端託管的 LLM 與以 API 為基礎的存取模型，帶來了不同於地端部署的獨特安全考量。您的安全架構必須處理共同責任邊界、API 暴露風險，以及多租戶隔離。

• 了解 LLM 服務的共同責任模型。 使用來自 OpenAI、Anthropic 或 Google 等供應商的第三方 LLM API 時，安全責任會在供應商與使用者之間劃分。供應商負責保護模型基礎架構，但您仍需負責輸入驗證、輸出處理、存取控制與資料保護。誤解這些邊界會造成安全缺口。
• 保護 API 整合以防範常見弱點。 LLM API 面臨與傳統 API 相同的威脅，外加 AI 特有攻擊。實作強式驗證、強制執行最小權限存取、在傳輸前驗證所有輸入，並在使用前掃描所有輸出。透過密鑰管理保護 API 金鑰，而非將其嵌入程式碼中。根據 CISA 指引，您應將已清理的資料向外傳送至獨立且受保護的 AI 系統，而不是將不透明模型直接嵌入安全關鍵迴路中。
• 處理雲端 LLM 服務中的多租戶隔離。 共用基礎架構可能造成跨租戶資料外洩，尤其是在 RAG 實作中，向量資料庫可能未強制執行嚴格隔離。驗證您的供應商租戶分離控制措施、在應用程式層實作額外隔離，並監控任何租戶間資料滲漏跡象。
• 保護傳輸中與靜態資料。 使用 TLS 加密與 LLM API 的所有通訊。了解資料在傳輸後儲存於何處、供應商是否保留提示或輸出，以及如何處理訓練資料。許多組織要求資料駐留保證，或選擇退出使用其資料進行模型訓練。
• 為可用性實作備援與容錯移轉。 雲端 LLM 服務會發生中斷。設計您的架構時，應納入平順降級、替代供應商或備援能力，以便在服務中斷期間維持營運，同時不影響安全控制。

要在企業規模下實作這些雲端與 API 安全實務，需要專為 AI 工作負載打造的基礎架構。 SentinelOne 提供可將這些控制措施落實營運的自主平台，而 Prompt Security，作為 SentinelOne 旗下公司，提供專為 LLM 部署設計、與模型無關的防護。

SentinelOne 如何協助保護 LLM

Prompt Security作為 SentinelOne 旗下公司，提供大型語言模型在應用程式與互動層的執行階段安全防護。它可防禦 LLM 特有威脅，例如提示注入與越獄、denial-of-wallet 濫用、資料外洩，以及未經授權的代理程式或工具執行。透過即時檢查每一個提示、回應與工具呼叫，Prompt Security 讓資安團隊即時掌握 LLM 的使用方式、共享了哪些資料，以及模型在正式環境中的行為。該平台與模型無關，可保護傳送至主要 LLM 供應商（包括 OpenAI、Anthropic 和 Google）以及自行託管模型的流量，同時強制執行以政策為基礎的控制措施，以防止有害、不合規或偏離品牌的輸出。

Singularity Cloud Security 包含 AI-Security Posture Management (AI-SPM)，可對 AI 服務設定檢查，並探索您基礎架構中的 AI 管線與模型。當對手鎖定您的雲端訓練環境與 Kubernetes 推論叢集時， Singularity Cloud Workload Security 透過行為式 AI 引擎提供執行階段防護，以評估工作負載中的惡意意圖與行為。您可在無需核心相依性的情況下，取得容器化環境的可視性。

Singularity Identity 以主動式、即時防禦保護您的身分基礎架構，涵蓋 Active Directory 與 Entra ID。當攻擊者入侵憑證以存取 AI 開發環境時，您可以阻止 橫向移動 並透過整體式身分防護回應進行中的攻擊。

Purple AI 可在您的安全控制產生警示時加速調查。Purple AI 不必讓您手動關聯 SIEM 中的事件，而是使用自然語言查詢來搜尋記錄、提供警示的情境摘要，並建議調查的後續步驟。早期採用者回報威脅狩獵與調查速度最多可提升 80%。

Storyline 技術會自動監控、追蹤並將事件資料情境化，以即時重建攻擊。它無需手動分析即可關聯相關事件，並依時間順序擷取每一次程序建立、網路連線與檔案存取。您可取得完整的鑑識情境，並自動對應至 MITRE ATT&CK TTP。

您可以在不增加資安團隊工作負擔的情況下實施這些控制措施。SentinelOne 的自主回應引擎可在數秒內阻止威脅，同時提供您滿足合規要求所需的可視性與治理能力。

了解 Prompt Security 如何即時阻止提示注入、資料投毒與未經授權的代理式動作，以及 SentinelOne 如何將該防護延伸至雲端、身分識別與執行階段環境。申請示範。

The Industry’s Leading AI SIEM

Target threats in real time and streamline day-to-day operations with the world’s most advanced AI SIEM from SentinelOne.

Get a Demo

重點整理

LLM 安全需要傳統安全工具無法提供的專門防禦。提示注入、資料投毒和模型竊取會利用大型語言模型處理自然語言的根本方式，使基於特徵碼的偵測和邊界防禦失效。部署 AI 系統的組織必須實施縱深防禦控制，涵蓋輸入驗證、輸出掃描、供應鏈驗證、訓練資料保護，以及向量資料庫隔離。OWASP Top 10 for LLMs、NIST AI RMF 和 NSA 指引提供了可用於系統化建置這些能力的框架。

保護 AI 基礎架構需要與保護金融系統相同等級的安全嚴謹性。您需要能識別模型推論中異常模式的行為式 AI、可阻止針對 MLOps 環境之憑證型攻擊的身分保護，以及能在對手擷取訓練資料或破壞模型權重之前遏止威脅的自主回應。SentinelOne 的 Singularity Platform 結合 Prompt Security 針對 LLM 的專屬防護，透過統一架構提供這些能力，在不增加分析師工作負載的情況下阻止 AI 威脅。