組織是否需要元數據管理平臺？現有的元數據管理平臺是否無法滿足企業日益增長的需求？如何開展元數據管理？讓我們研究一下元數據管理的基本概念。有了這個基礎，我們就能了解企業當前面臨的挑戰以及如何應對。

一、什么是元數據

自1990年以來，我們知道元數據的基本形式意味著“關于數據的數據”。關于企業中的關鍵數據資產的見解，捕獲它們的屬性以及以譜系表示的它們的關聯。元數據模型不存儲實際的行或數據值，例如客戶姓名；但是，元數據側重于數據結構及其保存這些數據值的信息，例如表名及其列。

元數據模型旨在捕獲數據資產并啟用視圖將其顯示為元數據目錄（通常稱為數據目錄）。在數據目錄的幫助下，組織可以與最終用戶共享有關這些數據資產的元數據信息。此外，它還可以防止未經授權的用戶查看敏感或機密屬性值。這種做法可以在組織中傳播對企業數據的深入理解和意識，并遵守數據安全、治理和隱私準則，從而實現“數據素養”。

可用于實施元數據解決方案的元數據管理工具主要管理企業數據環境的以下方面：

元數據模型：定義一個模型來捕獲關鍵數據資產及其屬性，以識別所有權和關聯。有關關鍵屬性（例如PII個人身份信息或數據對象中的其他敏感數據）的其他用戶定義文檔/詳細信息，以確保正確使用此類數據。元數據模型中的實體可能引用組織中的其他數據模型，比如概念、邏輯或物理模型。這種血緣關系，即它們的起源和消費目標，有助于將模型有機地擴展為企業元數據模型。

元數據過程：元數據模型中定義的數據資產的生命周期、其狀態（例如活動或已存檔）以及歷史信息，例如創建、更新或刪除這些數據資產的用戶和時間。有關從企業安全終止這些數據資產的歸檔和數據清除流程的信息。與關鍵、敏感或機密數據資產的鏈接，以分析影響、風險或級聯終止策略。捕獲有關元數據資產的此類信息的元數據管理工具對于組織了解如何尊重地使用和處理數據資產非常重要。

業務術語表：定義策略、術語以及對每個屬性在企業環境中的含義的一般理解以及同義詞庫信息。業務術語表是有用的知識庫，可在組織中創建通用語義，以便每個數據用戶都能理解并使用業務術語表中定義的通用術語進行協作。

分類法：然后可以使用元數據模型中定義的數據資產的分類法或分類法以層次結構來表示業務術語。它們是簡單的表示，例如類或組。分類法有助于理解業務術語及其分類的軟關聯。

本體：每個術語或分類法都可以使用本體進一步鏈接到關系模型中。每個層次關系可以具有規則或附加分類信息。本體是知識圖譜的最佳表示。

安全與合規性：合規性信息，例如GDPR或個人信息保護法以及映射附加到這些合規性要求的關鍵數據元素。這有助于數據用戶快速做出反應以管理風險暴露并避免不合規。

二、常見的元數據類型

業務元數據：捕獲業務功能（例如用于管理數據生命周期的已定義流程）、組織方面（例如角色、協議、所有者）以及語義方面（例如業務規則或定義）。

操作元數據：捕獲關鍵數據質量方面，如指標、分數、維度和KPI，以及任何數據監控規則、警報和通知信息，以報告數據資產的運行狀況和質量。

技術元數據：捕獲有關數據資產所源自的系統或應用程序、其連接詳細信息、支持的協議、技術所有權、聯系點、運行時間或停機時間表以及平臺信息的信息。

用戶定義的元數據：捕獲有關數據資產的附加信息，這些信息可用于確定使用情況和所有權。

社交元數據：捕獲評論、標簽、評級、喜歡、注釋和標簽以用于協作目的。

三、元數據管理的優點

單一事實來源：規模和數據量快速增長的組織需要元數據管理平臺來幫助管理一個位置的所有企業數據資產，作為單一事實來源，以便它隨著組織的需求而不斷增長。

集中治理：完善的數據資產以及數據資產生命周期、關鍵數據元素標記和沿襲信息等關鍵功能的啟用，可以幫助負責任的數據治理團隊自信地做出數據決策。

可信數據：增值知識庫和有關數據資產的更新文檔可幫助最終用戶花更少的時間查找正確的信息，而將更多的時間用于分析和利用數據驅動價值。

安全性和合規性：需要執行定期合規性審計的組織可以通過在流程中帶來可重用性和優化以及端到端可見性和跟蹤的功能來滿足此類要求。

四、當今元數據管理流程的缺點

隨著組織開始在分析方面取得進步，元數據管理流程現在變得被動且不足。他們只需通過并購獲取新資源，就具備了擴展數據科學和機器學習模型的能力。

此外，隨著NoSQL、矢量或圖形數據庫等替代技術的快速出現，隨著數據資產開始在本地和云中增長，元數據變得更加動態和多樣化。簡而言之，它正在遍布整個生態系統，而不是傳統的關系數據庫和數據模型。它現在不僅僅存在于傳統數據庫中，還存在于更多技術中，例如應用程序、數據集成工具、MDM工具、云服務、基礎設施等。

元數據元素及其沿襲的陳舊性質無法捕獲整體企業視圖元數據，不足以實現數據驅動的業務成果。

大多數傳統的元數據管理工具都采用孤立的方法來編目數據，這種方法的共享功能有限，將元數據上下文限制為本地或域元數據而不是企業元數據。

因此，元數據管理流程需要超越無法在整個企業生態系統中廣泛共享的陳舊文檔系統。

五、從被動元數據管理轉變為主動元數據管理

主動元數據通過在整個企業環境中收集元數據來提升元數據的上下文。這是通過收集的不僅僅是技術元數據來完成的，還包括來自提供商和消費者的元數據的操作、業務和社會方面。此外，它還從提供數據可訪問性并執行數據轉換的層獲取這些信息。

通過擴展被動元數據模型的企業范圍元數據視圖，主動元數據的概念可以幫助消除數據孤島。當團隊在其孤立的邊界內工作或了解其他數據資產時，就會出現數據孤島。這是組織中數據問題的主要原因。

隨著新資產的發現或獲取，主動元數據的功能有助于元數據模型的持續增長。這有助于改進數據分析，以了解以前未探索的數據。此外，它還可以根據執行結果獲取規范性建議，并且可以報告持續的健康評分分析、KPI或實現的結果。

主動元數據正處于數據支持技術發展的轉型階段。

對主動元數據的需求是確保增強的數據管理能力，以始終自動化和優化數據。

六、開展主動元數據的挑戰

根據整個組織對其元數據管理的成熟度，挑戰可能會有所不同。然而，假設組織擁有符合上述被動概念的元數據管理平臺，則此類組織可能會遇到以下挑戰。

分散的元數據：元數據分散在組織中的各個地方。由于對這些邊界之外的特定領域知識的了解有限，因此很難理解元數據信息在本地或域邊界內的存儲方式。

互操作性：缺乏通用的元數據標準，這使得元數據共享和互操作性成為市場上多種元數據管理解決方案的主要挑戰。由于組織中的孤島，也會出現此類互操作性問題。

可訪問性：數據庫、數據集成、數據質量和數據治理工具等數據管理平臺不斷增強其訪問和管理數據的能力。大多數數據管理解決方案中嵌入的元數據功能無法為業務用戶提供自助服務門戶來訪問元數據以從任何平臺分析所有類型的元數據類別。

克服挑戰的主要目標

以下是開始構建現有元數據管理平臺成熟度以實現主動元數據概念的基本要素。

統一模型：關鍵是從元數據模型的企業范圍視圖的定義開始。能夠擴展現有被動元數據模型的組織可以有機地成長為跨所有工具、技術和實踐的企業模型。請注意，此處參考的是概念模型，而不是邏輯或物理模型。重點更多地是確定以下內容：

跨平臺數據屬性對于組織至關重要，因此需要在可供組織中的所有最終用戶使用的中央元數據位置對它們進行建模。不太重要的數據屬性可以保留在當前狀態架構中，并在需要時通過本地元數據存儲庫進行共享或訪問。元數據共享是主動元數據支持的關鍵和推薦方法。各種架構模式可以進一步提供實現這些功能的深入見解；然而，這些架構模式是未來文章中討論的范圍。

一旦企業元數據模型開始形成，重點就可以是關聯譜系。譜系有兩種類型——水平世系和垂直世系。源系統或數據提供者和目標系統或數據消費者代表水平譜系，而一個數據資產與另一個數據資產的關聯定義垂直譜系。這兩種類型的譜系都可以通過圖優化數據庫或知識圖來很好地表示。

其他關鍵重點領域是定義管理數據生命周期及其依賴關系的流程，以持續管理沿襲。有多種方法可以自動執行此操作，以便數據資產的更改由系統驅動，并通過工作流程來批準這些更改作為連續元數據收集步驟的一部分。

最后，為了完成此練習，定義與數據相關的模式、結構或模型的所有權以理解和建模這些結構的端到端治理流程非常重要。每個數據團隊都對其數據域承擔聯合責任，通過路線圖推動域內的變化。它有助于清晰和職責分離，并消除導致將每個數據域視為“數據產品”以構建高級數據實踐或“數據網格”架構的數據孤島。

元數據集成：

這也是確保元數據模型的互操作性的關鍵，元數據模型可以作為元數據信息的可信來源在企業范圍內使用。眾所周知的集成模式適用于集成元數據信息。元數據可以通過消息傳遞或流式傳輸的推送機制提供。還可以通過調用元數據層托管的RESTAPI按需拉取它。該層托管必須可供目標系統使用的關鍵信息；業務或用戶定義的元數據、標記為共享的技術元數據、業務詞匯表或業務術語以及社交方面（例如元數據源評級或基于可用標簽搜索元數據）形式的信息。

自助服務元數據：

以上兩點對于元數據管理平臺的設計和實現具有重要意義；然而，重點是讓最終用戶可以使用該平臺來消費元數據，這是元數據使用和采用的關鍵。

很大一部分元數據管理工具或現有元數據管理實現無法啟用自助元數據功能。如果元數據平臺不易于使用，組織就會在采用方面遇到困難，因此此類投資的投資回報率無法合理化。

為了確保元數據管理層在企業中得到最大程度的采用，需要考慮一些因素。啟用這些功能是關鍵，但何時或如何啟用它們的決定可能取決于組織實踐的成熟度。以下是其他功能注意事項。

具有主動元數據功能的元數據層是企業范圍元數據的統一視圖。數據分析師、數據管理員和整個企業的各種數據從業者將日復一日地利用這個工具。使其成為一個自助服務門戶，可以更輕松地實現以下目標：

查找、搜索數據目錄、業務術語表、術語、

通過標簽、評級和協作評論等社交方面與數據進行交互，

做出與數據安全性和合規性相關的重大決策識別數據風險、影響和緩解決策。

另一個關鍵方面是數據的自助服務配置。元數據層通過治理流程啟用。這是識別新需求并根據需要提供新數據視圖和目錄以解決新業務需求并將其發布以供企業使用的重要來源。

采用自助服務功能不僅可以將所有數據參與者聚集在一起在統一平臺上進行協作，而且可以實現共同的理解和語義，這將為“DataOps”等高級數據實踐提供機會，并確保數據民主化的概念。

七、開展主動元數據管理的建議

隨著組織繼續投資數據管理平臺，確保以下功能成為平臺路線圖的持續關注點至關重要：

元數據共享：相鄰的數據管理工具必須能夠與元數據管理工具共享內部元數據信息，以進行更廣泛的端到端元數據分析和編排。建議選擇允許元數據共享且可以輕松與元數據平臺集成的數據管理工具。

運行時元數據：組織投資于用戶體驗分析，以獲取捕獲用戶和數據交互以及整體數據使用模式的能力。需要這樣的模式來持續分析哪些數據資產是首選及其原因。這是數據挖掘中眾所周知的“數據親和力”概念，可以通過自動化和用戶體驗分析來實現，從而進一步挖掘元數據的價值。

可觀察性：元數據管理工具的關鍵功能是提供本機支持或與數據可觀察性工具輕松集成，以創建有關數據操作方面的規范性建議和見解。

元數據導入/導出：除了元數據共享之外，還可能需要在整個企業中導出和導入元數據。元數據管理工具應該能夠收集、處理和優化此類元數據，而無需執行大量轉換。這些通用功能有助于互操作性并實現標準元數據方法。

元數據分析和治理：元數據及其對象的更改是不可避免的。這些變化可以在元數據工具中確定，或者通過相鄰的數據管理工具隱式請求。無論哪種方式，都應該有一個自動觸發器，通過元數據治理/工作流模型來編寫、審查和批準這些更改。分析此類變化及其影響和風險將是理解和減輕下游影響的自然下一步。根據建議建立數據團隊，共同負責定義其“數據產品”路線圖，元數據的治理將得以實現。

八 、小結

元數據管理是幾乎所有數據支持技術和元數據分析、增強和自動化設計實踐中的一項重要功能，甚至數據管理平臺的部署也將繼續成為數據驅動型業務的一個關鍵方面。

Gartner的分析表明，這是一個增長較快的軟件市場，過去2年增長率和采用率最高，達21.6%，達到近20億美元。

具有被動元數據管理功能的元數據管理工具將繼續推動數據支持組織的實施，這些組織要么從元數據之旅開始，要么處于較低的元數據成熟度曲線。

然而，對主動元數據流程和技術的需求將繼續發展。所討論的主動元數據管理功能將是在已建立的元數據管理工具中實施的自然下一步。

主動元數據管理概念將繼續存在，并將在未來幾年通過“DataFabric”架構實施的采用而加速發展。