什麼是資料湖？架構與優勢

每家企業都會做出關鍵決策。若掌握錯誤的事實，您的組織可能會迅速崩潰。良好的資料是每項關鍵決策的基礎。如果您缺乏這些資料，之後可能會引發問題。資料湖用於儲存從多樣且多個來源流入、且都與您的組織相關的資料。

在本指南中，我們將探討什麼是資料湖。我們會更深入說明資料湖的意義、應用、架構、功能與整合。您將了解資料湖為何對企業具有價值，也會了解資料湖與資料倉儲之間的差異。

資料湖定義

什麼是資料湖？資料湖是具權威性且完整的資料儲存庫，用於商業智慧、強化資料分析與機器學習。它們作為集中位置，以原始格式容納大量原始、非結構化資料。它們不像資料倉儲那樣遵循階層或結構來儲存資料。它們沒有綱要，且您可以在資料精煉流程的各個階段將資料儲存在其中。

資料湖的特性

1.  儲存原始資料

相較之下，資料湖會以原始形式儲存原始資料，因為其中包含資料的所有特徵。這讓資料更容易使用，因為使用者可以用各種方式與形式加以處理。

2.  支援不同類型的資料

資料湖可用於儲存結構化資料，例如資料庫表格；半結構化資料，例如 XML 檔案；以及非結構化資料，例如影像與音訊檔案。

3.  允許輕鬆修改綱要

因此，資料湖提供讀取時綱要架構，這表示資料綱要不是在建立資料湖時定義，而是在分析資料時才定義。

4.  促進資料探索與發掘

使用者可以更深入地分析與搜尋資訊，並從原始資料中發現其他資料分析方法無法提供的新資訊。

5.  支援進階分析與 AI

資料湖是機器學習、深度學習與進階分析的核心，因此對於想要採用 AI 解決方案的組織而言至關重要。

資料湖如何運作？

資料湖可以整合並儲存來自內部部署與雲端位置的資料。您可以將資料湖用於儲存與運算。您的資料可以是任何格式，並且可在不需要特定結構綱要的情況下流入資料湖。可將資料湖想像成河流或溪流，資訊可在您需要時流入其中，並安全儲存而不會外洩。

這些資料是從您的業務環境、員工，以及與您的組織互動的外部代理收集而來。您可以稍後使用資料湖解決方案加以整理、清理，並擷取有價值的洞察。

資料湖 vs. 資料倉儲

以下是資料湖與資料倉儲之間的核心差異：

資料湖的關鍵要素

1. 儲存層

儲存層用於以原生形式儲存原始資料，且它是此架構中的最後一層。例如，這可以是雲端儲存，例如 Amazon S3 或 Azure Data Lake Storage。

2. 資料擷取層

此層負責從不同來源取得資料，並以最佳且準確的方式將這些資料載入資料湖。

3. 資料處理層

資料處理層對於處理與準備擷取的資料至關重要。這可以包括批次處理、即時處理與機器學習處理。

4. 資料管理層

此層是用於資料治理、品質、安全性與中繼資料的一組工具與技術。Data Catalog 的一些範例包括 Apache Atlas 與 AWS Glue。

5. 資料存取層

資料存取層也負責提供介面與工具，使使用者能夠處理資料，其中包括 SQL 查詢引擎、資料探索平台，以及機器學習框架。

資料湖架構

資料湖架構的結構可分為數個層級，協助儲存、處理及分析資料。這些層級包括：

1. 原始資料區

原始資料區包含最簡單形式的資訊，或尚未經過變更的資訊。這是所有擷取資料被接收並在此區域中處理的第一個節點。

2. 清理資料區

在清理資料區中，資料會經過處理，使其適合使用並符合所需標準。此區域用於對來自前一區域的資料進一步區分與細化。

3. 策展資料區

策展資料區是用於存放已預先處理且格式適合分析之資料的儲存位置。此區域以可輕鬆用於商業智慧及其他類似用途的格式提供資料。

4. 分析區

這是組織中進行複雜分析處理、機器學習及其他相關活動的區域。此區域使用原始、清理後及已選取的資料來提供洞察。

資料湖的優點

1. 提升資料敏捷性

它們有助於即時使用與分析巨量資料，因此可加快決策速度。

2. 強化分析能力

資料湖可支援廣泛且具創意的分析，因為它們能將多種類型的資料儲存在同一位置。

3. 提高可擴充性

資料湖可以水平擴展：這表示對採用此方法的組織而言，新增更多資料量並不是問題。

4. 減少資料孤島

資料湖將來自不同來源的資料集中於同一位置，因此不會出現資料碎片化，且資料可輕鬆整合。

5. 更佳的資料治理

資料湖有助於資料治理，因為儲存在中央位置的所有資料都可在品質、安全性與合規性等方面輕鬆控管。

資料湖的挑戰

1. 資料品質

維持資料品質可能具有挑戰性，因為來自不同來源且形式各異的資料都會被擷取至資料湖中。

2. 資料治理

有效資料治理的任務可能相當複雜，尤其是在處理大量不同資料時。

3. 安全性

資料安全也是資料湖中的關鍵特性，可防止未經授權的存取與資料外洩。

4. 效能

隨著資料湖演進以處理更多資料，管理與最佳化資料湖效能可能具有挑戰性。

資料湖範例

讓我們看看 2025 年一些熱門的資料湖範例，讓您了解這些資料湖如何運作或如何被使用：

Uber 的資料湖

Uber 透過其以 Apache Hadoop 為基礎的資料湖處理超過 100 PB 的資料。該平台即時處理行程資料、司機位置、定價演算法，以及詐欺偵測系統。您可以看到尖峰時段開始實施加成定價的時機——其資料湖會同時處理數百萬筆叫車請求、交通模式，以及司機可用性資料。Uber 的工程師專門建置了 Apache Hudi，以支援增量資料處理，讓他們能夠在不重新計算整個資料集的情況下更新資料表。

Netflix 的資料湖

Netflix 將觀看行為、內容中繼資料和使用者互動儲存在 AWS S3 中，作為其主要資料湖。它作為內容個人化引擎。該系統每天透過 Apache Kafka 叢集處理數兆筆事件，以驅動推薦演算法。當您看到個人化的電影建議時，那就是他們的資料湖正在根據您的觀看歷史、暫停模式和完成率，對照相似的使用者設定檔進行分析。Netflix 最近還推出了專門用於處理影片、音訊和影像資產的 Media Data Lake，以便在實際內容上訓練機器學習模型。

Capital One 的資料湖

Capital One 圍繞 Snowflake 建立其資料湖架構，具備強大的可觀測性與成本監控能力。他們的 Slingshot 平台可針對所有已儲存資料集中的資料使用情況、成本與效能提供細緻洞察。您可以透過符合監管合規要求的完整稽核軌跡，追蹤每一筆資料交易與修改。Capital One 的資料湖可管理敏感資料，同時維持對存取模式與資料沿襲的完整可視性。

了解資料湖使用案例

資料湖可解決多個產業中的實際商業問題。以下是組織應用資料湖的具體情境：

• 金融服務中的即時詐欺偵測： 銀行會將交易歷史、客戶行為模式及外部威脅情報來源一併儲存。您可以執行機器學習模型，在毫秒內分析消費模式並標記可疑活動。
• 製造設備的預測性維護: 將機械的感測器資料、維護記錄及環境條件收集到同一個儲存庫中。若將歷史故障模式與即時感測器讀數結合，您就能在設備故障發生前進行預測。
• 媒體平台的個人化內容推薦: 將使用者觀看歷史、內容中繼資料、社群媒體互動及人口統計資料一併儲存。您可以建立推薦引擎，根據複雜的行為分析來推薦電影、文章或產品。
• 零售營運的供應鏈最佳化: 結合庫存資料、天氣預報、供應商績效指標及客戶需求模式。您可以根據多個資料來源預測缺貨情況、最佳化配送路線，並調整採購決策。
• 臨床研究與藥物開發: 以結構化格式彙整病患紀錄、基因體資料、臨床試驗結果及醫學文獻。若您需要識別治療模式或藥物交互作用，便可同時跨多種資料類型進行查詢。
• 智慧城市交通管理系統: 將交通感測器資料、大眾運輸時刻表、天氣狀況和活動行事曆整合儲存。您可以最佳化交通號誌時序、預測壅塞模式，並在尖峰時段重新規劃大眾運輸路線。
• 改善電信業的客戶體驗： 整合帳單資料、網路使用模式、客戶服務互動和裝置資訊。您可以識別追加銷售機會、預測客戶流失，並更快解決網路問題。
• 保險核保的風險評估： 結合理賠歷史、財產評估、衛星影像和天氣資料，以進行全面的風險評估。您可以更準確地為保單定價，並在提供承保前識別高風險財產。

SentinelOne 如何與 Data Lake 整合？

SentinelOne 的 Singularity™ Data Lake 可協助您從資料中獲得更多價值。您可以在單一位置接收來自整個組織的可採取行動洞察。您可以將資料轉化為最強大的安全資產。

它可協助您：

• 透過 AI 驅動的威脅狩獵即時偵測威脅
• 整合任何與所有來源的資料，以獲得更高的可視性
• 隨著組織成長，將所有資料標準化為 OCSF，輕鬆擴展

其他資料湖通常功能有限且價格高昂。Singularity™ Data Lake 是一套全面的解決方案，具備可預測、透明且可負擔的定價，確保您從投資中獲得最大價值。

如果您希望為雲端資料儲存提供威脅偵測，您也可以使用 Singularity™ Cloud Data Security。它可透過 AI 驅動的偵測引擎，在毫秒內偵測惡意軟體和零時差漏洞利用。此外，您可以直接掃描雲端資料儲存中的物件，並確保沒有敏感資料離開您的環境。它也為 GLBA、PCI-DSS、HIPAA 等法規框架以及其他許多框架提供全面涵蓋與支援。SentinelOne 的資料湖整合也包含在其 AI-SIEM solution 中，該方案用於日誌分析、即時資料串流和資料擷取。如果您想擷取並分析安全事件資料，務必查看 Singularity™ Data Lake for Log Analytics。它可即時偵測並解決事件。它也是強大的資料視覺化工具，因為您只需點擊幾下，將查詢儲存為儀表板，即可建立自訂儀表板。

結論

到現在，您應該已經相當了解資料湖是什麼以及它們如何運作。如果您的問題是：「我需要資料湖嗎？」那麼答案是肯定的。您的業務將會擴展，而您將需要處理來自多個不同來源的資料。時間就是金錢，資訊亦然。您的下一個重大里程碑，可能就隱藏在您從資料儲存中發掘的價值之中。而您不會想錯過這一點。

如果您在設定或配置資料湖時需要協助，可以聯絡 SentinelOne 團隊尋求協助。我們很樂意提供幫助。