16 大資料湖安全最佳實務

一個 資料湖 是集中式儲存庫，可將大量原始資料以其原始格式儲存，不論是結構化、非結構化，甚至半結構化資料皆可。它可以擷取並儲存來自多個來源的資料。您可以從這些資料中取得洞察，供後續使用，以改善業務工作流程、應用程式與情報。

組織需要致力於降低資料外洩風險並確保敏感資料安全。本文將介紹保護資料湖的關鍵步驟。您將了解如何處理存取、加密、法規遵循問題，以及安全的使用者權限。您也將了解並實作頂尖的資料湖安全最佳實務。現在，就讓我們開始吧。

資料湖安全的必要性

您如何知道自己收集的是正確的日誌，以及您擁有哪些資料？那麼，您在組織中如何使用資料，以及資料如何流動呢？您在系統內外產生了哪些內容？您是否確定資料的使用案例？

如果您對資料格式沒有把握，或似乎總是無法掌握資訊，資料湖就會非常有用。資料湖安全可保護您的資料湖並維持環境安全。

資料湖安全 對資料湖至關重要，因為資料湖儲存了大量個人資訊、財務紀錄和業務資料。若沒有適當的防護措施，它們就會成為駭客的主要目標。

資料湖整合來自各種來源的資訊，使其更為複雜，也更難以保護。一個小小的弱點就可能暴露整個資料生態系，導致巨大的財務與聲譽損害。

組織若暴露其資料湖，可能導致身分盜用或詐欺，尤其是在其中包含客戶資訊時。在醫療保健領域，資料外洩可能暴露病患紀錄，違反如 HIPAA 等法律。資料湖安全可告訴您目前設定中的問題所在，並協助您確認其是否如預期正常運作。

資料湖的安全挑戰

保護資料湖會受到多種陷阱影響，這些陷阱源自其儲存資料的規模、複雜性與豐富類型。其中一些挑戰包括大量資料、非結構化資料、存取管理與法規遵循。以下是最常見的資料湖安全挑戰：

1. 管理大量資料 - 資料湖包含來自不同來源的大量資訊，要妥善追蹤並確保所有內容安全相當棘手。某一處發生外洩可能影響整個系統。
2. 非結構化資料管理 - 資料湖通常儲存缺乏預先定義格式的非結構化資料（例如文件、影片、影像）。這對分類帶來挑戰，使得難以一致地套用存取控制、加密與監控等安全政策。因此，資料外洩或未經授權存取的可能性會增加。
3. 身分與存取管理 - 在資料湖中，許多團隊或部門可能會存取敏感資料。若沒有嚴格的存取控制與使用者權限管理，未經授權的存取將是高度風險。
4. 法規遵循 - 對於某些特定產業，例如醫療保健與金融，存在相當嚴格的法規，包括 GDPR 和 HIPAA。監督資料湖是否符合這些標準，往往涉及大量人工作業流程與稽核。
5. 平台與基礎架構風險 - 您可能會遇到因雲端服務設定錯誤、系統未修補，以及薄弱的網路控制所帶來的弱點風險，這些都可能暴露您的整個資料儲存庫。以雲端為基礎的資料湖通常存在基礎架構強化不足的問題，未必要的服務與連接埠仍保持啟用；它們可能建立並擴大新的攻擊面。若您跨多個雲端環境儲存資料，管理一致的安全政策將變得複雜。

資料湖安全最佳實務

實作最佳實務對於降低風險並保護資料湖至關重要。讓我們來探討每個組織都應實作的關鍵安全策略，以強化其資料湖的安全性。

#1. 網路分段與防火牆

在資料湖中實作分段，可讓您將敏感資訊分隔到不同區段。這可藉由縮小攻擊面來降低大規模外洩的可能性。若攻擊者取得某一區段的存取權，他們將無法輕易存取資料湖的其他區域，從而限制潛在損害。

防火牆 的作用如同守門員。它們會監控傳入與傳出的流量，確保只有經授權的使用者與資料可以進入或離開資料湖。若設定得當，它們可在造成損害之前封鎖可疑活動。

#2. 靜態與傳輸中加密

靜態加密可保護儲存在資料湖中的資料。沒有金鑰就無法檢視資料，因此未經授權存取的機會不存在。同樣地，當發生資料外洩時，加密檔案對攻擊者仍然毫無用處，因為他們需要金鑰才能解密檔案。

傳輸中加密可在資料於系統之間移動時保護資料，例如將資料從資料湖移轉到其他生態系。各種加密通訊協定可在傳輸過程中維持資料安全。它們可防止任何人攔截或竄改資料。

#3. 多重要素驗證與身分治理

除了加密之外，多重要素驗證 還增加了另一層安全性。它不僅要求密碼，還需要額外的驗證方式，例如傳送到使用者手機的一次性代碼。如此一來，即使有人取得密碼，沒有第二個驗證因素也無法存取系統，從而確保更強的防護。

資料湖身分治理涉及建立由政策、流程與控制組成的框架。這些用於管理敏感資訊的存取、使用與共享權限。其中包括角色型存取控制（RBAC）、資料目錄、資料沿襲追蹤、稽核與資料分類。資料湖治理可協助您提升資料品質與信任度，並增進資料的準確性與可靠性。

#4. 強式密碼政策 與憑證衛生

強式密碼政策扮演關鍵角色，要求使用者建立長且複雜的密碼，並定期更新。這種做法可主動降低使用弱密碼或已遭入侵密碼的風險。

單向雜湊即使在雜湊值遭到入侵時，仍可保護認證資料，尤其是在結合多重要素驗證（MFA）時更是如此。您應設定至少 16 個字元長的密碼，並使用由多個單字組成的通關片語。混合使用大寫與小寫字母、數字及符號。不要讓您的密碼容易被猜到，並避免在其中使用個人資訊。每個帳戶的每組密碼都應該是唯一且不可重複，以防止憑證填充攻擊。您也可以使用密碼管理器來儲存並自動填入不同帳戶的這些密碼，甚至 Federal Trade Commission 也建議這麼做。

良好的憑證衛生對於強化資料湖安全將包括定期稽核、落實最小權限存取原則，以及妥善進行機密管理。這也包括教育使用者採用資料湖的最佳憑證衛生實務。他們將學會如何辨識網路釣魚嘗試，並避免在線上將其憑證分享給陌生人或未知人士。

#5. 存取控制

存取控制將包括存取控制清單（ACL），以管理使用者權限。它將只允許經授權的使用者檢視、修改及與特定資料互動。良好的資料湖安全也包括根據使用者各自的工作與職責指派權限。這些權限也可以在範圍層級進行組織與套用。您也可以整合指派給單一使用者的所有角色，並對資料湖中的檔案與目錄取得細緻控制。

#6. 持續監控與 AI 驅動的異常偵測

持續監控意味著即時監控資料湖中正在發生的事情。這有助於在可疑行為發生時立即加以發現。例如，若未經授權的人員嘗試存取敏感資料，這類行為可當場被標示出來。持續監控也有助於偵測資料使用量的突然激增，這可能是外洩的訊號。

AI 驅動的異常偵測著重於識別資料湖中不符合預期行為的資料模式。它會監控儲存、批次插入，並提升資料完整性。

#7. 稽核記錄與安全分析

稽核記錄將協助您確保資料湖符合法規要求，並將來自各種來源的安全資料集中化。您應設定資料湖平台，將每次查詢執行、存取事件，以及資料變更記錄到集中式日誌儲存中。

設定自動化日誌剖析，以擷取必要的安全事件，例如登入失敗、權限提升，以及異常資料行為模式。讓安全分析儀表板監控使用者行為基準，並自動標示異常，例如非工作時段存取或過量下載資料。

#8. 資料分類、目錄編製與沿襲

透過實作掃描工具來進行自動化資料分類，以識別整個資料湖中的敏感資料類型，例如 PII、財務紀錄與醫療保健資訊。建立可自動探索並記錄資料資產的資料目錄，其中包括中繼資料、業務描述與品質指標。

您可以透過將資料從來源系統經由轉換到最終使用點的資料流視覺化，進行全面的資料血緣追蹤。使用分類標籤標記敏感資料，並根據資料敏感度等級套用適當的安全性原則。在結構描述變更發生之前，啟用自動化血緣更新，以確保您的下游影響分析保持準確。

#9. 資料隔離與邏輯區域結構化

對於資料隔離，您可以使用具有分層存取控制的暫時性網路連線。  您可以使用符合 RTO/RPO 目標的氣隙技術來強化隔離。資料隔離有四個層級 - read uncommitted、read committed、repeatable read 和 serializable。您可以透過 AVID 交易實作隔離，並混合使用樂觀與悲觀交易模型。

您可以進行邏輯區域結構化，以確保資料品質在每個階段都能提升。Medallion Architecture 是資料湖中邏輯區域結構化的常見範例。它使用 3 個區域：bronze、silver 和 gold。

您可以透過定義清楚的資料流來使用這些區域。強制執行單向移動，並使用自動化管線在這些區域之間移動資料。您也可以套用角色型存取控制 (RBAC)、使用資料目錄，並以正確的檔案格式儲存資料。

#10. 備份、完整性測試與災難復原

使用以一次寫入多次讀取 (WORM) 模型為基礎的不可變備份。透過使用不可變備份，防止您的備份遭到加密、竄改和刪除。為儲存體開啟物件版本控制，並使用氣隙備份以獲得最佳效果。此外，請分離您的帳戶與權限。

您也應該備份結構描述並備份資料目錄，以恢復資料可發現性。在整個分階段測試流程中，納入所有利害關係人、IT 團隊與安全成員。進行桌上演練、模擬演習，並執行完整的容錯移轉測試。在災難期間自動切換至備份，並透過使用自動化資料復原解決方案啟用跨區域複寫。

您也需要定義可接受的最長停機時間與資料遺失量，以決定資料湖中高優先順序與低優先順序資料的備份頻率。

#11. 事件回應規劃

建立跨職能事件回應團隊。定義角色、職責，並建立詳細且針對特定情境的作戰手冊。定期進行 game-day 模擬，並建立安全的頻外通訊管道。投資於資料記錄與監控，並使用像 SentinelOne 這樣可執行異常偵測並產生威脅情報的工具。

您也應該設定即時警示，並使用 AI-SIEM 彙整來自資料湖所有元件的日誌。對於遏制、根除與復原，您應套用安全性修補程式、撤銷不需要的存取權限，並從乾淨的備份還原。對您的資料儲存體進行鑑識映像，並執行無責事後分析。也請更新您的風險登錄。

#12. 法規框架 (GDPR, HIPAA, SOX)

您應使合規計畫符合 GDPR 的資料保護設計要求，包括已記錄的合法處理依據、資料主體權利程序，以及 72 小時內的資料外洩通報。您可以透過強制執行以角色為基礎的存取控制、維護稽核軌跡，以及對病患健康資訊定期進行風險評估，以符合 HIPAA。若您遵循 SOX，請透過經測試的內部控制、主管簽署認證，以及針對七年資料保存的自動化變更監控，維持準確的財務紀錄。

#13. 安全標準 (ISO 27040, NIST 800-88, FIPS)

套用 ISO/IEC 27040:2024 的儲存控制措施—加密、金鑰管理、記錄與清理—於 SAN、NAS 與雲端系統。若您需要安全的媒體清理，請根據資料敏感度與重複使用計畫，使用 NIST SP 800-88 的 Clear、Purge 與 Destroy 方法。您可以採用 FIPS 140-2 第 1–4 級的已驗證密碼模組，並隨著風險增加加入防竄改證據與基於身分的驗證。

#14. 治理自動化與原則強制執行

部署自動化原則引擎，以即時掃描中繼資料並強制執行規則，將原則集中儲存並保留完整稽核日誌。您應針對原則偏差設定基於例外的警示，並跨所有來源自動化資料分類。若您將治理與 SIEM 整合，將可實現快速違規偵測、自動化遏制與事件工作流程。

#15. 善用 Delta Lake 與 ACID 交易

ACID 交易對資料湖而言是新的，並可建立資料可靠性。您可以使用 Delta Lake，這是一個開放原始碼選項，用於為與資料湖搭配使用的資料倉儲建立一致性。ACID 特性是資料庫交易特性，您可以在傳統關聯式資料庫管理系統中找到。

Delta Lake 可擴展中繼資料處理、批次與串流整合，且也與 Apache Spark API 高度相容。

#16. 最佳化查詢效能與安全資料存取

您可以透過為經常存取的資料行建立索引，以及分割大型資料表來減少掃描時間，進而改善查詢效能。若您在應用程式層或資料庫層套用快取，重複查詢將能更快傳回結果，同時降低運算工作負載。您應透過僅授予每位使用者或服務所需的特定權限給角色，來強制執行最小權限存取。

當您啟用列層級安全性時，將根據使用者內容將資料擷取限制於已授權的資料列。實作參數化查詢以防止注入攻擊，並確保查詢使用已儲存的執行計畫執行。若您監控查詢執行指標，便可識別緩慢作業並調整資源配置方式。

使用 SentinelOne 強化資料湖安全性

Singularity™ Data Lake 可協助您從資料中獲得更多價值，進而提升您的安全態勢。您將可在單一位置獲得來自整個組織的可採取行動洞察。它將協助您把資料轉化為最強大的安全資產。

您可以透過其 AI 驅動的威脅狩獵功能即時偵測威脅，並領先攻擊者一步。隨著組織成長，它將提供更高的可視性，並協助您將所有資料正規化為 OCSF。

其他資料湖通常功能有限且價格高昂。但 Singularity™ Data Lake 是一套全面的解決方案，具備可預測、透明且可負擔的定價，確保您從投資中獲得最大價值。

保護您的資料湖：對未來至關重要的投資

您的資料湖可能成為攻擊者、勒索軟體以及財務與聲譽風險的主要目標。保護您的資料湖是一項至關重要的投資，因為這有助於保護您的客戶，並讓您的敏感資料免於各種資料湖安全風險。強大的資料湖安全性關鍵在於實施正確的措施。您可以將資料湖轉變為創新、洞察與業務成長的途徑。聯絡 SentinelOne 立即了解詳情並取得協助。