就在三年前，由于新冠疫情（COVID-19）爆發的措手不及，全球企業不得不增加對數字計劃的資金，以在未知且不穩定的商業環境中維持生計。多項調查顯示，Covid-19 比預期提前數月或數年促進了客戶體驗、供應鏈、產品和服務以及企業本身的數字化。

如此快速的轉型導致公司生成的數據超出了現有能力所能處理的范圍。在轉向數據管理服務時，企業面臨著選擇的悖論，不得不在乍看之下非常相似的方法和技術之間做出選擇，例如數據倉庫、數據湖、數據編織和其他流行的數據管理解決方案。

為了幫助您為公司做出明智的決定，在本文中，我們闡明了兩個經常對立的概念——數據湖和數據編織。

一、先聊聊，數據湖

01 什么是數據湖？

數據湖是以原始格式存儲從各種源系統（事務數據庫、傳感器設備、SaaS 應用程序、文件共享系統等）收集的信息副本的存儲庫，以供機器學習（ML）解決方案、備份和歸檔、大數據分析等處理。

02 數據湖是如何工作的？?

首先，從各種來源獲取的信息進入著陸區，暫時保持原樣。當企業建立了持續攝取、提取、轉換和加載（ETL）和變更數據捕獲（CDC）能力時，多類型信息可以在創建后立即進入數據湖。一旦數據進入湖中，就會為每個集合分配一個唯一的指標或索引，以及一個元數據標簽，以加快查詢速度并幫助用戶快速查找請求的數據。之后，數據可能會經過清理、重復數據刪除、重新格式化、豐富等操作，然后移動到可信區域進行永久存儲。當信息準備好供下游用戶使用時，它可能會直接進入報表和儀表板，或者進行另一輪 ETL 并存儲在數據倉庫中以供進一步處理。??數據湖也可能有單獨的環境，稱為沙箱分析系統，數據科學家可以在其中探索數據。??為了保證信息的質量、安全性、可用性和及時性，公司通常會建立數據治理框架，因為它有助于控制每個階段的數據管道。

03 為什么選擇數據湖？

這些與模式無關的存儲庫正在取得進展，并且由于多種原因不太可能失去其位置，包括： 數據湖有助于快速整合幾乎無限量的各種信息，因為您不必在存儲數據之前以某種方式對數據進行建模和處理。與構建數據倉庫相比，數據湖也是更實惠的解決方案，它允許您收集所有可能的數據以防萬一，即使您不知道將其應用在哪里。 數據湖與數據倉庫配合得很好，因為它執行繁瑣的數據轉換并節省數據倉庫資源以進行分析。 數據湖很容易與 Hadoop 和類似技術集成，這正是數據科學家稱贊數據湖的原因。因此，他們可以在湖中部署 ML 模型并在那里運行高級算法。 數據湖可以用作始終在線的數據存檔和備份。默認情況下具有高可用性和容錯性，它們非常適合存儲由于某種原因而舊的或未使用的數據。

04 數據湖限制?

有時，由于以下原因，數據湖計劃未能成功：受到數據湖幾乎無限的數據整合能力的鼓舞，公司最終只是堆積了所有可用的數據，希望在未來用它做一些有意義的事情。如果沒有用于創建、豐富和管理元數據的可靠框架，您的數據湖很可能會成為數據墓地，讓您沒有機會了解您擁有的數據以及如何理解這些數據。

傳統上，數據湖很難保護和支持以實現所需的法規遵從性。您需要付出大量努力來保護和執行數據治理，以最大程度地降低信息泄露風險以及因不遵守數據保護法規而受到的罰款和處罰。

二、再談談?數據編織

01 什么是數據編織？

Data fabric——中文翻譯為數據編織或數據結構，很多人都喜歡稱它為數據編織，因為形象！數據編織是一種設計方法，它意味著將數據生態系統的復雜組件組合到一個統一的平臺中，以提供完整且有凝聚力的數據管理。與數據湖不同，數據編織不需要將數據移動到集中位置，而是依靠強大的數據治理策略來實現數據管理統一。

數據編織是一種更先進的解決方案，希望改進現有數據流程的公司依賴它。通常，他們已經利用了某種數據存儲、ETL 解決方案，可能是數據目錄或數據保護軟件。信息從來都不是靜態的，因此它的類型和數量會發生變化。雖然您可能希望將一些信息移動到云中，但您也可能覺得是時候將您的 SaaS 應用程序集成到分析工作流中，并以安全的方式為業務用戶提供更多自由。但是，您如何在不影響信息質量和安全的情況下管理所有這些數據？這就是數據編織概念的用武之地。

02 數據編織如何工作？

為了促進跨不同系統訪問信息、管理其生命周期并將其公開給最終用戶，Data Fabric 架構支持：

1、數據整合

任何信息，無論其類型、數量和位置如何，用戶都可以整合和訪問，因為數據編織允許利用數據虛擬化層來整合數據，而無需移動數據并創建大量副本。除此之外，為了保證數據的完整性，數據編織還可以使用 ETL、CDC、流處理等。

2、智能數據目錄

數據目錄是企業擁有的所有數據的詳細 清單。隨著數據編織統一大量信息，數據目錄維護元數據以幫助數據消費者（包括分析師、數據庫工程師、科學家、業務用戶等）查找和理解數據、跟蹤其沿襲、評估和管理數據等等.

3、動態元數據管理

數據編織通常采用人工智能功能，幫助自動檢測、分析、收集和激活元數據。

4、數據治理

數據治理 確保數據消費者只能在相應策略（訪問策略、屏蔽策略、數據質量策略等）的幫助下訪問他們需要的高質量信息，這些策略由于元數據激活功能而自動執行。

03 采用數據編織的原因?

如您所見，Data Fabric 不是您實現的東西而不是數據湖，而是當您執行以下操作時發生的演變：

認識到在不創建數據孤島的情況下將您的信息物理整合到一個商店中是不可能的。

希望在分布式數據環境中統一數據管理、治理、分析等，以簡化信息攝取和質量管理，同時使數據訪問民主化。

尋求在不進行結構性重建的情況下最大限度地提高現有技術環境的性能的方法，以及確保它能夠承受不斷增加的信息量、新的分析需求等。

想要創建一個自助式的數據市場。?

04 為什么要了解 Data Fabric 解決方案?

1、沒有成熟的技術方案

盡管預計其全球市場份額將增長，但數據編織仍然是一個新興的設計理念，目前還沒有成熟的技術解決方案。 雖然您可以將單獨的解決方案組合在一起以實現全面的 Data Fabric 功能，但 Gartner 將 Data Fabric 置于虛高期望的峰值階段，這意味著其主流采用預計不會早于五年。 2、IT和業務用戶合作不足

在技術專長方面，Data Fabric 項目需要精通 ETL 工具、微服務架構、云服務、SQL 和 NoSQL、Hadoop 等、Python、Java 等的 IT 專家。但是，Data Fabric 項目不應該做一個純粹的 IT 項目，否則你會浪費你的錢。最終用戶也必須參與其中，尤其是在數據編織需求定義和解決方案推出階段。

結論

很明顯，在數據編織與數據湖的辯論中沒有贏家，因為兩者都有其起起落落，更重要的是，服務于不同的目的，因此可以用作補充解決方案。如果您當前使用數據湖和數據倉庫管理數據的方法無法提供所需的結果，請考慮使用數據編織。盡管您當前的數據存儲庫仍將是您數據環境中的重要組成部分，但數據編織方法的結合將為業務運營帶來更多的敏捷性，并幫助您跟上當前的數字化轉型趨勢。