資料去重：削減網路安全儲存膨脹

什麼是資料去重？

資料去重透過僅儲存每個資料區段的一個唯一實例，並以指標取代重複副本，來識別並消除冗餘資料區塊。當您的防火牆將相同的連線嘗試記錄 10,000 次時，去重會僅儲存該筆日誌項目一次，並維持對它的參照，大幅降低實體儲存消耗。

這項技術使用以雜湊為基礎的指紋辨識。您的去重系統會將傳入的資料串流分割為區塊，對每個區塊套用如 SHA-256 的密碼學雜湊函數，然後將這些雜湊與索引進行比對。當系統找到相符的雜湊時，便會儲存指標，而不是寫入重複資料。當雜湊不相符時，系統會將新的唯一區塊寫入儲存體。

當 ransomware在凌晨 2 點加密您的環境時，您的鑑識調查仰賴完整的歷史日誌。但安全資料儲存成本持續成長。組織投入大量資源儲存重複的日誌，同時仍難以從雜訊中找出安全訊號。您的 SIEM 會擷取數千筆相同的防火牆拒絕日誌，而您的儲存陣列會反覆寫入相同的項目。在數十種每月產生數 TB 資料的安全工具之間，儲存成本持續增加，而鑑識訊號則淹沒在重複資料之中。

資料去重與網路安全的關聯

安全環境帶來獨特的去重挑戰。傳統 IT 儲存可在靜態備份上達成高去重比率，但安全營運會產生高速且多樣化的遙測串流，冗餘程度較低。 

此外， 鑑識調查 需要逐位元重建資料，並具備可驗證的監管鏈，使得積極去重具有風險。現代 安全架構 優先採用壓縮與智慧篩選，而非傳統去重，並將去重保留給冷鑑識封存。當去重確實適合您的環境時，了解可用的架構方法有助於您選擇正確的實作方式。

資料去重的類型

您的去重架構取決於系統在何處、何時以及如何識別重複資料。對於重視鑑識完整性與快速存取的安全環境而言，每種方法都有明確的取捨。

來源端與目標端去重

來源端去重會在傳輸前於來源處處理資料。您的端點代理程式會在本機識別重複項目，僅透過網路傳送唯一區塊。這可降低頻寬使用，但會將運算負擔分散到可能數以千計的端點上。

目標端去重會在資料到達中央儲存體後再進行處理。安全團隊通常偏好這種方法，因為他們可在進行去重決策前，完整掌握傳入資料的可視性。其取捨是在初始傳輸期間會有較高的頻寬消耗。

檔案層級、區塊層級與位元組層級去重

檔案層級去重使用雜湊指紋比對整個檔案，當存在相同檔案時僅儲存單一副本。這種方法對於共用相同系統映像的虛擬桌面部署運作有效率，但無法找出檔案內部的冗餘。

區塊層級去重會將檔案分割為區塊，通常為 4KB 到 128KB，並為每個區塊獨立產生雜湊。安全日誌封存可從這種方法受益，因為相似項目即使時間戳記不同，仍會共用常見區塊。大多數企業系統都在區塊層級運作，以在粒度與負擔之間取得最佳平衡。

位元組層級去重可在最細粒度識別冗餘，但對高流量安全資料串流而言，會帶來難以承受的運算負擔。

全域與本機去重

全域去重會在整個儲存基礎架構中維護單一索引，無論來源為何都能找出重複項目。這可將儲存效率最大化，但需要穩健的連線能力，且會引入單點故障。

本機去重將重複識別限制在個別儲存節點內。安全環境通常會實作本機去重，以維持業務單位或法規遵循邊界之間的資料隔離，並接受較低的整體比率以換取營運簡化。

除了這些架構選擇之外，您的系統實際執行去重程序的方式也會影響效能與資料完整性。

去重處理方法

您的去重系統會將資料分割為區塊，產生密碼學雜湊，與索引進行比對，然後在維護中繼資料對應的同時，寫入新區塊或建立指向既有區塊的指標。 

還原資料時，系統會從區塊對應表中定位所需區塊，從儲存體擷取它們，並重建原始順序。此重建程序會引入延遲，可能影響對時間敏感的鑑識調查。

即時與後處理去重

即時去重會在寫入作業期間即時找出重複項目，立即提供儲存節省，但會消耗 CPU 週期，可能在安全事件期間影響日誌擷取。 

後處理去重會將重複識別延後到資料寫入儲存體之後，通常在排定的維護時段執行。這種方法可將事件回應作業期間對寫入效能的影響降到最低，但需要暫時性的儲存容量，且會延後空間節省效果。

固定區塊與可變長度分塊

固定區塊去重會受到邊界位移影響。當資料在任何位置插入或刪除時，所有後續區塊都會移動其邊界，導致先前已去重的區塊無法被識別。 

可變長度分塊透過使用如 Rabin-Karp fingerprinting 等演算法，根據資料內容模式識別區塊邊界，以解決此限制。對於持續更新並逐步變更的安全日誌而言，可變長度分塊可提供更優異的重複識別能力。

雜湊演算法與密碼學指紋辨識

您的去重系統仰賴密碼學雜湊函數，為每個資料區塊產生唯一指紋。接著會將該雜湊與去重索引進行比對，無需進行運算成本高昂的逐位元組比較，即可有效識別重複項目。 

企業級去重系統通常採用 SHA-256 以取得密碼學強度，或採用 SHA-1 以加快處理速度。了解這些技術元件有助於您評估去重如何融入您的安全資料管線架構。

資料去重的主要優點

儘管涉及複雜性，去重在適當情境下仍能帶來可衡量的優勢。了解這些優點有助於您判斷去重在更廣泛資料管理策略中的定位。

儲存容量最佳化

您最直接的好處是原始容量節省。當資料變更率為 1% 或更低時，完整備份策略可達成 10:1 到 35:1 的去重比率。對於營運安全遙測而言，壓縮與安全資料管線最佳化的表現優於傳統去重。 

對於存在位元層級重複的鑑識封存與冷儲存，去重可能是合適的，但以壓縮為先的策略與智慧篩選可在不增加去重營運複雜性的情況下，帶來更佳的 ROI。

網路頻寬降低

當您在地理分散的SOC 或將鑑識資料傳送給外部調查團隊時，資料去重可透過消除重複的資料區塊來降低網路傳輸量。 

對於鑑識資料，您必須實施嚴格的協定：用於監管鏈的不可變稽核軌跡、基於時間的調查保留，以及位元層級的重建保證，以維持證據的可採性。

這些優勢伴隨著重大的權衡，安全團隊在實作前必須仔細評估。

資料去重的挑戰與限制

部署資料去重時，您會面臨多項挑戰：效能下降、加密衝突、合規違規、資料完整性風險，以及復原複雜性。

效能下降與資源負擔

隨著資料量增加，去重索引會隨唯一資料區塊按比例成長，需要大量記憶體資源來維持效能。當安全團隊在主動入侵期間需要快速存取歷史日誌以進行 cyber-kill chain 分析時，內嵌式去重帶來的額外處理負擔可能會引入延遲，進而拖慢調查。

加密與去重衝突

當相同的資料區塊使用不同的金鑰或初始化向量加密多次時，產生的密文對去重演算法而言會呈現為完全不同，導致去重幾乎失效。

您會面臨三種架構方法，而且都存在重大缺點：

• 先加密再去重：可提供安全性，但會讓加密資料看起來隨機且唯一，因而消除去重節省效益
• 先去重再加密：可達成高比率，但會產生安全性弱點窗口，因為明文資料會在encryption
• 聚合加密：透過確定性加密同時實現兩者，但具有已知的密碼學弱點

對大多數安全環境而言，這些衝突使傳統去重不切實際。

合規與受監管資料考量

GDPR、HIPAA 與 NIST SP 800-53 制定了您必須處理的特定合規挑戰。 資料駐留要求規定某些資料必須保留在特定地理邊界內，但去重可能會將資料區段分散到多個儲存陣列或地理位置。 

法規要求規定特定保留期限，之後必須進行經認證的刪除，但在移除對該資料區塊的所有參照之前，去重資料無法被完全刪除。

資料完整性風險與單點故障

當多個邏輯資料集參照相同的實體區塊時，該區塊的毀損或遺失會對所有相依資料集產生連鎖影響，形成單點故障。雜湊碰撞弱點雖然極其罕見，但理論上仍非零。 

由於硬體故障、軟體錯誤或惡意竄改造成的中繼資料毀損，即使實體區塊仍完好無損，也可能使大量資料無法復原。在安全環境中，中繼資料遺失可能導致事件回應資料與鑑識證據在作業期間完全無法存取。

備份與復原複雜性

網路安全環境中的資料去重需要仔細考量鑑識完整性要求。安全調查需要逐位元完全精確地還原資料，以維持證據完整性。實作去重時，您必須部署以雜湊為基礎的參照架構，搭配不可變的稽核軌跡以及完整重建保證，以保存監管鏈。若未正確實作，去重可能會引入重建步驟，進而可能損害鑑識證據的可採性。

鑑於這些挑戰，許多安全團隊會評估壓縮作為儲存最佳化的替代方法。

資料去重與壓縮比較

安全團隊經常混淆這些技術，但它們在根本上運作方式不同。選擇正確的方法會直接影響鑑識能力、查詢效能與作業複雜性。

壓縮的運作方式

壓縮會透過在個別檔案內更有效率地編碼資料來縮小檔案大小。像 LZ4 或 Zstandard 這類演算法會識別單一資料集內的模式，以較短的表示方式取代重複序列，對結構化安全日誌通常可達成 5-10 倍縮減。

壓縮資料保持自我包含。每個檔案都包含解壓縮所需的一切，無需外部索引，從而消除去重所引入的重建複雜性。

安全作業的關鍵差異

去重會跨整個資料集運作，需要全域索引來對應每個唯一區塊並追蹤所有參照。還原需要從可能數千個實體位置重新組裝區塊。

壓縮會在已定義的邊界內運作，通常是個別檔案或分割區。不存在外部相依性。當分析師在事件期間查詢壓縮日誌時，系統會直接解壓縮相關區段，而無需查找中繼資料。

何時使用各種方法

壓縮可作為營運安全資料的主要儲存最佳化方式。您的 SIEM 查詢、威脅狩獵與自主回應能力，都能受益於壓縮可預測的效能與簡單的鑑識特性。

請將重複資料刪除保留用於超出主動調查時窗的鑑識封存、高度相同系統映像的虛擬機器備份，以及存取速度重要性低於長期經濟效益的冷儲存層。對大多數安全營運而言，以壓縮為優先的策略可在不產生加密衝突或重建延遲的情況下，帶來更好的結果。

無論您選擇壓縮、重複資料刪除或混合式方法，實作錯誤都可能削弱您的儲存最佳化成效。

常見的重複資料刪除錯誤

採用重複資料刪除的組織，往往會遇到可預期的陷阱。避免這些錯誤，可能就是成功實作與付出高昂補救成本之間的差別。

缺乏智慧型管線最佳化

當您管理高流量的安全環境時，應優先在儲存前進行智慧型資料篩選與壓縮，而不是依賴儲存後的重複資料刪除程序。安全資料管線平台會在資料寫入儲存前透過智慧型篩選達成大幅減量，而壓縮則可提供 5-10 倍儲存縮減，且不會帶來傳統重複資料刪除相關的營運複雜性。請在資料擷取前實作以資料分類為基礎的最佳化策略，並標準化日誌格式。僅將積極的重複資料刪除保留給封存資料，並在熱區與溫區保留完整保真度的日誌，以支援主動調查。

設計期間忽略加密需求

如果您先實作重複資料刪除，之後才發現法規 加密需求，您將面臨高成本的重新設計。加密演算法會從相同明文產生唯一密文，這種特性與重複資料刪除背道而馳。請在初始設計期間評估加密需求，檢視 NIST SP 800-111、HIPAA Safeguards Rule、GDPR Article 32，以及 PCI-DSS Requirement 3.4。

災難復原規劃不足

組織通常會廣泛測試備份作業，卻忽略完整的 災難復原情境。重複資料刪除後的資料需要中繼資料才能重建，而中繼資料遺失可能使完好的資料區塊也無法復原。

請專門為重複資料刪除架構設計災難復原：保留安全關鍵資料的非重複資料刪除副本、測試包含中繼資料毀損在內的完整情境、跨地理位置實作中繼資料複寫，並建立將重建負擔納入考量的 RTO 與 RPO。2021 年，Kaseya 遭受供應鏈 勒索軟體攻擊，影響超過 1,500 家企業，造成 7,000 萬美元的復原成本。

忽略資料分類與選擇性重複資料刪除

組織經常在未考量不同資料類型具有極大差異的重複資料刪除潛力下，一律套用重複資料刪除。請依適用性對安全資料進行分類：

• 高重複性資料： 虛擬機器備份、結構化日誌
• 中度重複性資料： 網路封包擷取、系統快照
• 低重複性資料：加密封存、壓縮鑑識映像

請實作排除低效益資料類型的選擇性政策。2023 年，MGM Resorts 遭受勒索軟體攻擊，造成 1 億美元損失，起因是攻擊者利用 社交工程繞過安全防護。不充分的資料分類使復原工作更加複雜。

從這些錯誤中汲取教訓後，安全團隊可依循經驗證的方法，策略性地實作重複資料刪除。

重複資料刪除最佳實務

以下做法可協助您有效實作重複資料刪除，同時維持安全營運所需的鑑識完整性與快速存取能力。

SIEM 前置管線重複資料刪除

這項架構轉變將重複資料刪除置於資料生命週期中根本不同的位置：在資料到達 SIEM 之前，而非在其中進行。安全資料管線方法可讓您在傳輸途中篩選並刪除重複日誌，在保留訊號完整性的同時，大幅減少擷取資料量。 

這種智慧型路由可讓高價值安全事件流向 SIEM 以進行即時警示，而低風險稽核日誌則移至分層式安全資料湖，以進行成本最佳化封存。

基於雜湊的參照重複資料刪除

您的網路安全環境是在嚴格的鑑識證據要求下運作。您的安全資料儲存最佳化策略應優先採用壓縮與安全資料管線架構作為主要方法，並僅在鑑識封存情境中選擇性使用重複資料刪除。

當對安全資料封存實作重複資料刪除時，請採用：

• 以參照為基礎的架構，使用加密雜湊僅儲存一次唯一資料區塊，同時維持用於重建的指標
• 不可變更的稽核軌跡，為所有重複資料刪除決策加上時間戳記並記錄，以符合鑑識可採性
• 選擇性原則強制執行，在進行中的調查期間絕不對資料進行重複資料刪除
• 具備加密驗證的重建測試

以時間為基礎的重複資料刪除原則

根據調查時程實作分級的重複資料刪除原則。您的熱區（0-90 天）在主動調查期間不應套用任何重複資料刪除。您的溫區（90-365 天）可實作保守的雜湊式重複資料刪除，並保留重建能力。您的冷區（超過 365 天）可套用選擇性重複資料刪除，並提供完整的雜湊資訊清單與監管鏈文件。

在結構上使用 Medallion Architecture：Bronze Layer 用於原始擷取，Silver Layer 用於經清理且採用雜湊式重複資料刪除的資料，Gold Layer 用於可供分析的彙總資料集。

雲端原生重複資料刪除基礎架構

當在實作重複資料刪除的同時搭配 SIEM 功能時，請使用 雲端原生 元件，具備彈性擴展、API 驅動的協調，以及在 SIEM 擷取前於上游執行重複資料刪除的安全資料管線架構，以大幅降低營運成本。

實作這些最佳實務需要以資料最佳化為核心能力所設計的安全平台。

使用 SentinelOne 最佳化安全資料儲存

在評估同時具備資料最佳化與威脅識別能力的安全平台時，請優先考慮實作壓縮優先策略的平台。壓縮可在沒有重複資料刪除複雜性的情況下達成 5-10 倍的儲存縮減，而安全資料管線則可在提交儲存前透過智慧篩選大幅降低資料量。

具備智慧分層的 Security Data Lake

SentinelOne Singularity™ AI SIEM 可協助您重建安全營運並邁向雲端原生 AI SIEM。它為您提供無限擴充能力與無限資料保留，透過 Hyperautomation 加速工作流程，並以更多產品功能實現顯著的成本節省。您可以串流資料以進行即時偵測，並結合全企業範圍的威脅狩獵與業界領先的威脅情報。

您的熱層應維持完整保真度的安全遙測資料，僅進行最少量的重複資料刪除，以確保行為式 AI 分析能立即存取完整的歷史脈絡。您的冷層可對超過 365 天的封存資料實作選擇性的雜湊式重複資料刪除。 Singularity Cloud Native Security 提供完整的鑑識遙測資料，並支援包括 SOC 2、NIST 與 ISO 27001 在內的合規框架。

壓縮優先最佳化策略

當您對營運安全資料實作欄式壓縮時，可在沒有重複資料刪除所帶來的中繼資料複雜性或重建負擔的情況下，達成 5-10 倍的儲存縮減，同時維持自主威脅回應所需的快速查詢效能。這種壓縮優先策略可消除加密衝突並保留鑑識完整性。

使用 Purple AI 進行智慧資料保存

Purple AI 會套用行為式 AI 分析，以判定哪些安全資料即使表面上看似重複仍需保留。當 Purple AI 識別出看似重複但實際上代表不同安全事件的驗證記錄時，選擇性保存原則可維持完整的攻擊脈絡。Purple AI 透過智慧資料關聯，將威脅狩獵與調查速度提升最多達 80%。

鑑識封存與攻擊重建

對於鑑識封存，請採用以雜湊為基礎的參照架構，為所有重複資料刪除決策建立不可變更的記錄。Storyline 技術會自動關聯相關事件並提供可採取行動的洞察，以重建完整的攻擊時間軸。對於營運安全資料而言，壓縮更能滿足鑑識需求，同時避免中繼資料管理的複雜性。

申請 SentinelOne 示範，了解壓縮優先的資料湖架構如何在維持鑑識完整性的同時，以機器速度的查詢效能降低儲存成本。

The Industry’s Leading AI SIEM

Target threats in real time and streamline day-to-day operations with the world’s most advanced AI SIEM from SentinelOne.

Get a Demo

重點整理

重複資料刪除為企業備份環境提供經驗證的儲存最佳化，在理想條件下通常可達成 10:1 到 20:1 的比率。然而，由於鑑識完整性要求與重建複雜性，對於營運安全資料而言，壓縮與安全資料管線最佳化的表現優於傳統重複資料刪除。 

將重複資料刪除保留給存在位元層級重複的鑑識封存，同時對即時安全營運採用壓縮優先策略。