日前，Gartner發布的2022年重要戰略技術趨勢，Data Fabric（數據編織）赫然在列。自2019年起，Gartner連續3年將數據編織（Data Fabric）列為年度數據和分析技術領域的十大趨勢之一。

根據全球行業分析師報告，全球數據編織市場從2020年的11億美元，到2026年將增長超過3倍，達到37億美元。以上表明了這一領域的強勁需求。在Data Fabric出來之前，數據結構的設計主要部署成靜態基礎設施，而在未來將需要采用更動態的數據網格方法全面重新設計。

Data Fabric不是一個產品而是一種設計理念，是利用AI、機器學習和數據科學的功能，訪問數據或支持數據動態整合，以發現可用數據之間獨特的、與業務相關的關系。換句話說，現在的數據連接的架構設計還主要是“人找數據”，而Data Fabric設計核心是“數據找人”，在合適的時間、將合適的數據推送給需要的人。

今天小億就來從以下幾個方面說說數據編織，讓大家對數據編織有一個全面的認知。

—? 01? —什么是數據編織？

Gartner認為數據編織是一種跨平臺的數據整合方式，它不僅可以集合所有業務用戶的信息，還具有靈活且彈性的特點，使得人們可以隨時隨地使用任何數據。

作為一種新興的數據管理和處理方法，數據編織能夠基于網絡架構而不是點對點的連接來處理數據。這實現了從數據源層面到分析、分析結果生成、協調和應用的一體化數據層（結構）。該方法在底層數據組件上設置抽象層，使業務用戶可以獲得信息和分析結果，而無需進行重復或強制性的數據科學工作。

數據編織的真正價值在于它能夠通過內置的分析技術進行學習，并主動提出有關數據應該在何處使用和進行更改的建議，使數據管理工作量減少70%，從而可以有效解決數據孤島激增而人才供給不足的問題。

因此，我們可以認為，數據編織是一種通過連接的方式動態收集、管理與使用數據的綜合架構，其結合了關鍵數據管理技術，例如數據目錄、數據治理、數據集成、數據管道和數據編排。

—? 02? —數據編織與數據集成、數據湖、數據中臺有何不同？

1.與數據集成比

數據集成是融合異構存儲集合的數據并構造統一數據視圖的過程，包括了數據合并、數據轉換、數據清洗等，其專注于復制、移動數據，如ETL加工、數據同步等。

而數據編織是一種架構思想，跟數據集成本來是無法直接比較的，但由于數據虛擬化是實現數據編織架構中的關鍵技術之一，因此可以比較下數據虛擬化和數據集成的區別，數據虛擬化可以在不移動數據的情況下從源頭訪問數據，通過更快、更準確的查詢幫助縮短實現業務價值的時間，具體包括跨平臺敏捷集成、統一語義、低代碼創建數據API（支持SQL、REST、OData和GraphQL等技術）、智能緩存加速等功能，數據虛擬化跟數據集成還是有本質區別的，假如沒有虛擬化能力，數據是很難編織起來的，當然，數據編織遠遠超越了數據虛擬化的范疇。

2.與數據湖比

很多企業機構通過建立數據湖匯總企業機構內外部的所有數據，但這種收集數據的形式僅限于數據的存儲，容易產生“暗數據”，并且不利于實時處理跨越不同存儲介質的數據。而數據編織的設計模式是幫助企業機構從傳統的收集數據形式漸漸轉換成連接數據，即數據不移動位置，而以連接形式繼續使用數據‘

3.與數據中臺比

數據中臺是一個管理與使用數據的方法論與綜合體系，不僅包含最基礎且核心的數據管理和使用的相關技術組件，還包括與之相適應的企業組織機構、管理制度和業務流程、運營機制和考核辦法等，只要企業機構中上述各方面相互匹配，數據中臺方可順利運轉。而數據編織則更強調機器學習、人工智能、知識圖譜等新技術的應用，重點在于新技術的應用邏輯與應用場景，即相較數據中臺而言，數據編織的技術色彩更濃一些。

—? 03? —數據編織為何迅速發展，并被需要？

傳統IT時代，無論是早年的“數據倉庫”還是近幾年的“數據湖”和“大數據”時代，其實數據利用都是集中式的架構，把數據收集到一起，讓企業的數據分析師、商業智能BI分析師對數據進行分析。但在云計算時代，用戶業務部署在多云的環境下，要想將分布在不同云上的數據集中在一起成本很高，也很費勁，于是采用去中心化、分布式的數據網絡架構就成為了必然選擇。

Data Fabric可以同時給業務和技術團隊帶來明確的價值：從業務層面來看，由于企業能更容易地獲得高質量的數據，從而能更快和更精確地獲得企業數據洞察；從技術層面來說，由于數據復制的次數和數量較少，從而減少了數據集成的工作，方便維護數據質量和標準，也減少了硬件架構和存儲的開銷。由于減少了數據復制和大大優化了數據流程，加快并簡化了數據處理過程，從而通過實施自動化的整體數據策略，減少了數據訪問管理的工作。

總的來說，數據編織是一種跨平臺的數據整合方式，它不僅可以集成所有業務用戶的信息，還具有靈活且彈性的特點，使得人們可以隨時隨地使用任何數據，Gartner稱，數據編織預計可縮短30%的集成設計時間、30%的部署時間和70%的維護時間。

—? 04? —數據編織的典型5層結構

Gartner將數據編織定義為一種設計概念，它充當數據和連接過程的集成層（結構）。數據編織利用對現有、可發現的元數據資產的持續分析，以支持跨所有環境（包括混合云和多云平臺）設計、部署和利用集成和可重用數據。

數據編織利用人和機器的能力來訪問數據或在適當的情況下支持其整合。它不斷地識別和連接來自不同應用程序的數據，以發現可用數據之間獨特的、與業務相關的關系，并通過分析獲得數據洞察力；通過快速訪問和基于圖譜的元數據理解提供比傳統數據管理更多的價值。Gartner給出的數據編織的典型結構，至下而上分為5個層次，如下圖所示：

1.數據源層

數據編織可以連接各種數據源。這些資源可能存在于企業內部，例如企業的ERP系統、CRM系統或人力資源系統 。還可以連接到非結構化數據源，例如，支持 PDF 和屏幕截圖等文件提交系統，支持物聯網傳感器的接入。數據編織還可以從公共可用數據（如社交媒體）等外部系統中提取數據。

2.數據目錄層

與傳統人工編目不同，數據編織強調采用新技術，例如：語義知識圖、主動元數據管理和嵌入式機器學習 (ML)，自動識別元數據，持續分析關鍵指標和統計數據的可用元數據，然后構建圖譜模型，形成基于元數據的獨特和業務相關關系，以易于理解的圖譜方式描述元數據。?

3.知識圖譜層

數據編織必須構建和管理知識圖譜。知識圖譜的語義層使用 AI/ML 算法簡化數據集成設計，使其更加直觀和易于解釋，使數字化領導者的分析變得容易。 基于知識圖譜的數據應用，將合適的數據在合適的時機自動化推送給數據集成專家和數據工程師，讓他們能夠輕松訪問數據并進行數據共享和使用。

4.數據集成層

數據編織提供自動編織、動態集成的能力，兼容各種數據集成方式，包括但不限于 ETL、流式傳輸、復制、消息傳遞和數據虛擬化或數據微服務等。同時，支持通過 API 支持與內部和外部利益相關者共享數據。

5.數據消費層

數據編織面向所有類型的數據用戶，提供數據和服務，包括：數據科學家、數據分析師、數據集成專家、數據工程師等，既能夠面向專業的IT 用戶的復雜集成需求處理，也可以支持業務人員的自助式數據準備和分析。

—? 05? —要達到數據編織的目的，需要具備什么能力

1.數據編織可以連接各種數據源

數據源的類型可以是數據庫、數據倉庫、數據湖、BI、應用系統或者文檔等等，這些資源可能存在于企業內部，例如企業的ERP系統、CRM系統或人力資源系統 。還可以連接到非結構化數據源，例如，支持 PDF 和屏幕截圖等文件提交系統，支持物聯網傳感器的接入，數據編織還可以從公共可用數據（如社交媒體）等外部系統中提取數據。

2.數據編織需要有靈活的數據目錄

首先數據編織最好能自動的識別和獲取元數據，比如數據庫中的schema。

其次，能夠基于ML/AI能力對數據的語義進行分析，打上數據的標簽，從而加深對數據的業務理解，比如針對文檔進行語主題分析給出分類，又比如針對關鍵字段的數據進行分析給出枚舉的說明，再比如通過字段的上下文智能判斷敏感級別。

最后，基于元數據構建知識圖譜，即將碎片化的元數據有機地組織起來（比如建立關系和對象）， 讓數據目錄更加容易被人和機器理解和處理，并為搜索、挖掘、分析等提供便利，為后續AI的實現提供知識庫的基礎。

3.基于知識圖譜實現設計和分析智能

知識圖譜有兩大作用。

第一，可以快速地進行數據集成設計，比如實現源端連接配置、源端表和字段等信息的快速檢索和自動填充，使其更加直觀和易于解釋。
第二、可以進行數據的智能推薦，比如基于數據的歷史使用情況進行推薦，也就是把正確的數據，在正確的時間里，給到正確的人。
知識圖譜在商業推薦領域應用的已經比較廣泛，把它移植到數據連接領域就成了新鮮玩意，我們以前的數據集成設計主要是“人找數據”，而數據編織設計的核心是“數據找人”，以前對這句話不太能理解，現在終于明白它在講什么。

4.實現數據的動態集成和自動編排

有了前面的基礎，數據的動態集成就成了可能，動態數據集成技術包括本體技術和網格技術。

網格技術原理比較簡單，就是能夠支撐各種數據源之間的數據交換、共享和協同計算，能夠進行跨數據源的數據集成，比如用一個SQL直接跨數據源進行數據融合計算，現在有人在提NOETL，估計就是指這個吧。

5.面向消費者提供自助能力

數據編織面向所有類型的數據用戶，提供數據和服務，包括：數據科學家、數據分析師、數據集成專家、數據工程師等，既能夠面向專業的IT 用戶的復雜集成需求處理，也可以支持業務人員的自助式數據準備和分析。

—? 06? —小結

隨著數據利用率的提高，“數據孤島”必須逐漸被打破，為互聯企業讓路。數據編織的實現是這一過程中的一個重大飛躍——事實上，這是自20世紀70年代關系數據庫發明以來最具革命性的突破之一。這是因為數據編織不僅僅是一項技術或產品。它指的是架構設計、結構化流程和思維模式轉變，其中數據和業務操作緊密交織在一起。

數據編織本質上是一個統一的架構，它能夠提供一個管理框架，使用戶能夠輕松訪問和共享不同數據。ETL/數據倉庫、主數據管理、數據虛擬化、數據目錄、治理和安全等大量不同的工具都可能用于提升企業的數據編織能力。

雖然數據編織代表著未來的技術趨勢，但現階段由于國內數據編織還處在早期階段，還需要在云服務、數據整合、數據治理等環節打好基礎，比如元數據管理，數據編織的核心是基于元數據的驅動，只有將元數據進行統一化，才會在萬變的數據汪洋中找到源頭，歸于統一，其次還有面向業務的語義分析，智能技術賦能等等。

這里由億信華辰自主研發的智能數據治理平臺-睿治就能幫助您，睿治由十大模塊構成，包括數據采集——數據集成管理與數據交換管理，數據存儲——實時計算存儲，數據管理——元數據管理、數據標準管理、數據質量管理，數據服務——數據資產管理、數據全生命周期管理以及數據安全管理。

其中，元數據、主數據和數據資產管理是其優勢所在。億信華辰是第一家具備數據資產模塊的廠商，以數據資產的視角進行統一管理，基于資產的服務方和消費方創新，打通了整體流程。主數據資產管理則是基于最新的架構研發，不管是交互層面還是流程層面都具有較好的易用性。