Data Fabric——中文譯為：數(shù)據(jù)編織，是指統(tǒng)一的數(shù)據(jù)管理架構和提供一致功能以方便連接數(shù)據(jù)端點并啟用端到端數(shù)據(jù)管理的一組功能。

讓我們看一下數(shù)據(jù)編織的架構和價值。

數(shù)據(jù)資產(chǎn)在孤島中生成，并隱藏在基礎設施環(huán)境的混合組合中。數(shù)據(jù)準備周期很長，用戶需要一套廣泛的數(shù)據(jù)管理功能來克服復雜的多供應商、多云和不斷發(fā)展的數(shù)據(jù)環(huán)境所面臨的限制。

Gartner 將數(shù)據(jù)編織定義為一種設計概念，它充當數(shù)據(jù)和連接過程的集成層（結構）。Data Fabric?利用對現(xiàn)有、可發(fā)現(xiàn)和推斷的元數(shù)據(jù)資產(chǎn)的持續(xù)分析，以支持跨所有環(huán)境（包括混合云和多云平臺）設計、部署和利用集成和可重用數(shù)據(jù)。

Data Fabric 利用人和機器的能力來訪問數(shù)據(jù)或在適當?shù)那闆r下支持其整合。它不斷地識別和連接來自不同應用程序的數(shù)據(jù)，以發(fā)現(xiàn)可用數(shù)據(jù)點之間獨特的、與業(yè)務相關的關系。洞察力支持重新設計的決策，通過快速訪問和理解提供比傳統(tǒng)數(shù)據(jù)管理實踐更多的價值。

Data Fabric 架構專為應對復雜混合數(shù)據(jù)環(huán)境所面臨的挑戰(zhàn)而設計。

從本質上講，Data Fabric 可以被描述為一個融合平臺，支持各種數(shù)據(jù)管理需求，以跨所有不同的數(shù)據(jù)源和基礎架構類型提供正確的 IT 服務級別。它作為一個整合框架運行，用于跨多個隔離且不兼容的數(shù)據(jù)中心部署管理、移動和保護數(shù)據(jù)。

因此，組織可以投資于符合其業(yè)務需求的基礎架構解決方案，而無需擔心數(shù)據(jù)服務級別、訪問和安全性。

我們生活在一個前所未有的變革時代——業(yè)務和創(chuàng)新步伐的變化。在這種范式中，數(shù)據(jù)為每個企業(yè)的成功和繁榮提供競爭優(yōu)勢，組織需要快速交付數(shù)據(jù)以滿足業(yè)務和客戶的需求。事實上，根據(jù)Forrester 最近的一項研究，洞察驅動型企業(yè)的年增長率平均超過 30%。

認識到這一點，越來越多的組織正試圖以各種方式從他們的數(shù)據(jù)中獲得額外的價值，包括創(chuàng)造新的收入流和通過提高運營效率來降低成本。然而，隨著云和物聯(lián)網(wǎng)的普及，以及越來越便宜的存儲和處理，數(shù)據(jù)不再局限于本地數(shù)據(jù)中心。數(shù)據(jù)更多，數(shù)據(jù)類型更多，而且分布在更多位置，這使得管理變得更加困難。

在這種環(huán)境下取得成功并成為數(shù)據(jù)驅動型組織并非易事。成為數(shù)字領導者的道路上有許多障礙。隨著組織使用越來越多的應用程序，他們的數(shù)據(jù)變得越來越孤立且無法訪問，超出其初始范圍。雖然遺留基礎設施和系統(tǒng)只會加劇問題，但在嘗試遷移到云時，數(shù)據(jù)可能會變得孤立。在駐留在不同公共云（例如 AWS 和 Azure）上的數(shù)據(jù)之間或在公共云和本地數(shù)據(jù)中心之間共享數(shù)據(jù)，或者將其全部存儲在云數(shù)據(jù)倉庫中可能特別困難。

如今，一家典型的公司在多個本地位置以及多個公共和/或私有云中擁有數(shù)據(jù)。數(shù)據(jù)既有結構化的也有非結構化的，并以多種格式進行維護——文件系統(tǒng)、關系數(shù)據(jù)庫、SaaS 應用程序等。而且，處理數(shù)據(jù)涉及多種技術，從批處理ETL或 ELT 處理到更改數(shù)據(jù)捕獲到真實時間流。由于近四分之三的組織 (74%) 使用 6 個或更多數(shù)據(jù)集成工具，因此組織很難靈活快速地攝取、集成、分析和共享其數(shù)據(jù)以及合并新的數(shù)據(jù)源。

隨著數(shù)據(jù)量和數(shù)據(jù)來源的不斷增加，問題只會變得更糟。結果，數(shù)據(jù)專業(yè)人員最終將 75% 的時間花在數(shù)據(jù)分析以外的任務上。這不僅極大地抑制了組織及時充分利用其數(shù)據(jù)的能力，而且還嚴重浪費了數(shù)據(jù)專業(yè)人員的時間，而且效率低下。

除了阻止組織快速訪問數(shù)據(jù)的障礙之外，還有無數(shù)問題使數(shù)據(jù)本身難以可信。事實上，幾乎一半的企業(yè)數(shù)據(jù)都存在完整性問題。如果基礎數(shù)據(jù)存在缺陷，完成任何依賴數(shù)據(jù)的工作的成本要高出 10 倍。

03 Data Fabric功能和原則

雖然DataOps等傳統(tǒng)數(shù)據(jù)管理概念側重于大型分布式數(shù)據(jù)資產(chǎn)的操作化，但 Data Fabric 側重于統(tǒng)一多樣化和分布式數(shù)據(jù)資產(chǎn)的功能。

簡單來說，大多數(shù)組織都采用 DataOps 等框架來設計、實現(xiàn)和維護分布式數(shù)據(jù)架構。它有助于理解在高度分布式基礎架構環(huán)境中生成和維護的數(shù)據(jù)。通過引入Data Fabric等統(tǒng)一的數(shù)據(jù)管理平臺架構，結合端到端的數(shù)據(jù)管理流程，具體為：

數(shù)據(jù)整合 數(shù)據(jù)發(fā)現(xiàn) 數(shù)據(jù)治理 數(shù)據(jù)管理 數(shù)據(jù)編排

所有任務都在單一平臺架構中進行管理，旨在簡化對分布式數(shù)據(jù)資產(chǎn)的訪問、管理和控制。Data Fabric 可以包含一系列跨以下邏輯域的數(shù)據(jù)管理功能：

知識、洞察力和語義 使用戶能夠發(fā)現(xiàn)和訪問相關數(shù)據(jù)的語義描述層 以市場的形式訪問大量數(shù)據(jù)資產(chǎn) 對不斷增長的數(shù)據(jù)資產(chǎn)進行持續(xù)分析 使用先進的人工智能系統(tǒng)連接不同應用程序數(shù)據(jù)之間的業(yè)務關系 端到端數(shù)據(jù)管理可見性，以衡量與數(shù)據(jù)相關的各種屬性和風險 統(tǒng)一治理與合規(guī)

符合可應用于所有數(shù)據(jù)資產(chǎn)的全球組織策略的元數(shù)據(jù)本地管理

自動化使應用策略、審計合規(guī)性和識別系統(tǒng)中的潛在漏洞變得更加容易

自動化和人工智能功能增強了數(shù)據(jù)跟蹤和路線查詢

整體數(shù)據(jù)治理和安全流程在所有環(huán)境中集中且一致

智能數(shù)據(jù)集成

設計、部署和利用跨分布式數(shù)據(jù)和基礎設施環(huán)境進行集成

為孤立的數(shù)據(jù)環(huán)境自動創(chuàng)建流和管道

最佳工作負載分配和模式漂移校正

在預定義策略中自助獲取新數(shù)據(jù)資產(chǎn)

未來證明基礎設施；與平臺和應用程序無關

數(shù)據(jù)編排和生命周期

使用先進的人工智能系統(tǒng)、數(shù)據(jù)湖和其他平臺和技術對不同數(shù)據(jù)源進行自助編排，確保全面了解所有數(shù)據(jù)環(huán)境中的數(shù)據(jù)管道。

統(tǒng)一的數(shù)據(jù)生命周期，用于配置和管理數(shù)據(jù)的各個方面，包括數(shù)據(jù)驅動應用程序的開發(fā)、運營、測試和生產(chǎn)發(fā)布。

Data Fabric 架構在涉及跨地理分布式基礎架構系統(tǒng)分布的動態(tài)數(shù)據(jù)工作負載的 IT 環(huán)境中特別有用。以下是 Data Fabric 架構如何在基于云的現(xiàn)代企業(yè) IT 環(huán)境中創(chuàng)造價值的方式：

運營真正的混合云 當組織投資于云存儲和基礎架構解決方案時，他們的選擇基于成本、安全性、可用性、可擴展性和服務要求。這些要求隨著時間的推移而演變，迫使他們要么： 切換供應商 追求不同的云模型作為可行的替代方案

另一方面，云供應商傾向于將客戶鎖定在他們的服務中，這使得數(shù)據(jù)遷移對他們的客戶來說是一項成本高昂且具有挑戰(zhàn)性的工作。

Data Fabric 使組織能夠克服在維護多樣化的數(shù)據(jù)存儲和基礎設施部署組合方面的技術挑戰(zhàn)?？蛻艨梢愿鶕?jù)不斷變化的技術和業(yè)務需求，自由地從一系列混合 IT 基礎架構資源中運行關鍵任務數(shù)據(jù)驅動的 IT 服務、應用程序、存儲和訪問。

無縫云計算轉換

Data Fabric 旨在減輕因在云供應商和計算資源之間切換以處理存儲在不同位置的數(shù)據(jù)而造成的中斷。因此，Data Fabric 顯著縮短了獲得洞察的時間。借助更快的洞察力，組織可以：

識別數(shù)據(jù)中的模式

了解趨勢

主動做出決定

通過提高所有數(shù)據(jù)渠道的計算性能做出更好的決策，確保企業(yè)在充分利用數(shù)據(jù)投資的同時超越市場競爭。高性能和優(yōu)化的數(shù)據(jù)投資 組織投入大量資源和努力為其應用程序和服務提供最佳性能。對于任務關鍵型應用程序尤其如此，這些應用程序可能需要隨著用戶群的增長來處理不斷增長的數(shù)據(jù)量或適應不可預測的高峰使用需求。為了滿足這些需求，組織還必須投資于承諾所需性能水平的云存儲解決方案。同樣，應用程序或服務可能會演變成未來的遺留解決方案，使用需求可能會相應減少。無論哪種方式，應用程序都應該能夠提供可預測的性能，無論數(shù)據(jù)是否可用：

高度可用的存儲位置

低成本經(jīng)濟的存儲基礎設施

借助 Data Fabric，組織可以實現(xiàn)此功能并根據(jù)不斷變化的應用程序使用需求優(yōu)化其數(shù)據(jù)投資。

面向未來和發(fā)展的靈活性

Data Fabric 允許組織根據(jù)不斷變化的技術需求靈活地調整其基礎架構。Data Fabric 可以輕松地將各種基礎設施端點連接到整合和統(tǒng)一的數(shù)據(jù)管理框架。組織不必擔心數(shù)據(jù)的明確位置。

如果一家初創(chuàng)公司投資于低成本的云存儲解決方案，直到公司獲得吸引力并在后期需要高度可用的存儲容量，它可以利用 Data Fabric 提供的靈活性來選擇最適合數(shù)據(jù)和業(yè)務性質的基礎設施環(huán)境組織的持續(xù)要求。數(shù)據(jù)管理功能將適用于所有基礎設施部署，組織可以相應地在未來證明其數(shù)據(jù)投資。

Data Fabric 服務于廣泛的業(yè)務、技術和組織協(xié)調驅動因素。

1、業(yè)務驅動力

通過可靠、快速地將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)湖和倉庫，更快地獲得洞察和決策。

任何業(yè)務實體的實時360 度視圖- 例如客戶、索賠、訂單、設備或零售店 - 以實現(xiàn)微細分、減少客戶流失、警告運營風險或提供個性化的客戶服務。

通過逐步和快速地對其進行現(xiàn)代化改造，降低了運營、擴展、維護和更改遺留系統(tǒng)的總擁有成本。

2、數(shù)據(jù)管理驅動

數(shù)據(jù)準備自動化使數(shù)據(jù)科學家、數(shù)據(jù)工程師和其他 IT 資源免于執(zhí)行繁瑣的重復數(shù)據(jù)轉換、清理和豐富任務。

以任何數(shù)據(jù)交付方法訪問企業(yè)數(shù)據(jù)，包括批量數(shù)據(jù)移動 (ETL)、數(shù)據(jù)虛擬化、數(shù)據(jù)流、變更數(shù)據(jù)捕獲和 API。

數(shù)據(jù)結構平臺集成并增強了公司當前使用的數(shù)據(jù)管理工具，并允許其他人退休，以提高成本效益。 3、組織驅動力

數(shù)據(jù)工程師和數(shù)據(jù)消費者之間共享的通用語言改善了數(shù)據(jù)和業(yè)務團隊之間的協(xié)作。

自助數(shù)據(jù)訪問功能讓數(shù)據(jù)消費者可以在需要時獲取他們需要的數(shù)據(jù)，從而提高業(yè)務敏捷性和速度。

Forrester 新技術：預計 2020 年總體經(jīng)濟影響研究揭示了構建統(tǒng)一 Data Fabric 架構的能力的以下商業(yè)價值：

投資回報率提高 459%

平均 580 萬美元的商業(yè)收益

60X 加速數(shù)據(jù)傳輸時間

客戶親和力分析速度提高 20 倍

雖然這些數(shù)字特定于IBM Cloud Pak for Data的案例示例，但Data Fabric 功能與所有運行多云環(huán)境的組織相關。Data Fabric 通過解決在多云和混合 IT 環(huán)境中運營數(shù)據(jù)服務的技術挑戰(zhàn)，為組織提供一系列業(yè)務價值主張。