在做數(shù)據(jù)治理戰(zhàn)略實施的時候，我們最常聽到一句話是“元數(shù)據(jù)管理是企業(yè)數(shù)據(jù)治理的基礎(chǔ)”，如何進行元數(shù)據(jù)管理是不同企業(yè)在進行全面數(shù)字化轉(zhuǎn)型需要考慮的一個重要事情。本文主要探討一般的企業(yè)如何開展元數(shù)據(jù)管理工作。?

WHAT ---何為元數(shù)據(jù)? ?

元數(shù)據(jù)最簡單的定義是“描述數(shù)據(jù)的數(shù)據(jù)”，是為了描述數(shù)據(jù)的相關(guān)信息而存在的數(shù)據(jù)，例如記錄數(shù)據(jù)的存儲位置、模型定義、生命周期、血緣關(guān)系等信息。

但剛接觸這個定義，還是不好理解元數(shù)據(jù)和數(shù)據(jù)的關(guān)系。舉兩個例子：

如果將圖書館里面的某一本書當作數(shù)據(jù)，那么所有用來形容這本書的數(shù)據(jù)比如書名、書的作者、書的所屬類別等都是這本書的元數(shù)據(jù)。

也可以說元數(shù)據(jù)就像“戶口本”，戶口本中除了有姓名、出生日期、住址、民族等信息外，還有家庭的血緣關(guān)系，父子關(guān)系、兄弟關(guān)系等。這些信息就構(gòu)成了對這個人的詳細描述，那這些信息就是描述這個人的元數(shù)據(jù)。通過戶口本中的元數(shù)據(jù)，我們不僅能夠了解一個人的基本信息，還能夠了解其家庭關(guān)系。

在數(shù)據(jù)倉庫體系中，元數(shù)據(jù)代表了一種統(tǒng)計數(shù)據(jù)從元數(shù)據(jù)、數(shù)據(jù)倉庫到數(shù)據(jù)應(yīng)用的全鏈路信息，記錄了統(tǒng)計數(shù)據(jù)從產(chǎn)生到展示的全部過程。對于企業(yè)而言，元數(shù)據(jù)是跟企業(yè)所使用的物理數(shù)據(jù)、業(yè)務(wù)流程、數(shù)據(jù)結(jié)構(gòu)等有關(guān)的信息，描述了數(shù)據(jù)（如數(shù)據(jù)庫、數(shù)據(jù)模型）、概念（如業(yè)務(wù)流程、應(yīng)用系統(tǒng)、技術(shù)架構(gòu)）以及它們之間的關(guān)系。

WHY ---? ?為什么做元數(shù)據(jù)管理? ?

元數(shù)據(jù)管理是大數(shù)據(jù)平臺建設(shè)的重要組成部分，是企業(yè)實現(xiàn)數(shù)據(jù)資產(chǎn)，資產(chǎn)服務(wù)化的重要基礎(chǔ)，在數(shù)據(jù)管理大環(huán)境下和數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型等有著千絲萬縷的關(guān)系，也是是業(yè)務(wù)和技術(shù)互通的橋梁。因此元數(shù)據(jù)建設(shè)的好壞會對企業(yè)整體數(shù)據(jù)以及管理帶來重要的影響。

從功能角度，元數(shù)據(jù)管理有兩個方面的用處：

1、一圖在手，天下我有

通過元數(shù)據(jù)以企業(yè)全局視角對企業(yè)各業(yè)務(wù)域的數(shù)據(jù)資產(chǎn)進行盤點，實現(xiàn)企業(yè)數(shù)據(jù)資源的統(tǒng)一梳理和盤查，有助于發(fā)現(xiàn)分布在不同系統(tǒng)、位置的數(shù)據(jù)，讓隱匿的數(shù)據(jù)顯性化。數(shù)據(jù)地圖包括了數(shù)據(jù)資源的基本信息，存儲位置信息、數(shù)據(jù)結(jié)構(gòu)信息、各數(shù)據(jù)之間關(guān)系信息、數(shù)據(jù)和人之間的關(guān)系信息、數(shù)據(jù)使用情況信息等，使數(shù)據(jù)資源信息詳細、統(tǒng)一、透明，降低“找數(shù)據(jù)”的溝通成本，為數(shù)據(jù)的使用和大數(shù)據(jù)挖掘提供支撐。

2、追根溯源，發(fā)現(xiàn)數(shù)據(jù)問題本質(zhì)

企業(yè)在做數(shù)據(jù)分析的時候，數(shù)據(jù)分析結(jié)果不正確，原因可能是數(shù)據(jù)分析過程出現(xiàn)數(shù)據(jù)問題，也可能是數(shù)據(jù)源本身就有問題，還可能是數(shù)據(jù)在加工處理過程中出現(xiàn)了數(shù)據(jù)問題……通過元數(shù)據(jù)血緣分析，能夠快速定位數(shù)據(jù)來源和加工處理過程，能夠幫助數(shù)據(jù)分析人員快速定位數(shù)據(jù)問題。另外，通過元數(shù)據(jù)血緣關(guān)系分析，可以理解不同數(shù)據(jù)指標間的關(guān)系，分析產(chǎn)生指標的數(shù)據(jù)源頭波動情況帶來的影響。

從使用對象的角度，元數(shù)據(jù)管理對不同人有不同的作用：

1、對技術(shù)人員而言，元數(shù)據(jù)管理平臺將分散、存儲結(jié)構(gòu)差異大的資源信息進行描述、定位、檢索、評估、分析五大操作，以描述和分類的形式實現(xiàn)對信息的格式化，從而為機器處理創(chuàng)造了可能，大大降低了數(shù)據(jù)治理的人工成本。正因如此，元數(shù)據(jù)管理已經(jīng)成為很多大型數(shù)據(jù)治理項目的基礎(chǔ)。

2、對業(yè)務(wù)人員而言，元數(shù)據(jù)管理平臺通過對業(yè)務(wù)指標、業(yè)務(wù)含義、業(yè)務(wù)規(guī)則、取數(shù)口徑、影響范圍等信息進行各方位管控，協(xié)助他們快速了解業(yè)務(wù)相關(guān)內(nèi)容，進行數(shù)據(jù)資產(chǎn)的管理。

HOW ---如何搭建元數(shù)據(jù)管理平臺? ?

元數(shù)據(jù)管理系統(tǒng)的業(yè)務(wù)需求

元數(shù)據(jù)對各階段數(shù)據(jù)順利流動具有重要意義，因此建立一個集中管理元數(shù)據(jù)的系統(tǒng)對于企業(yè)數(shù)據(jù)管理與使用十分必要。針對大數(shù)據(jù)平臺在數(shù)據(jù)管理方面存在的問題，元數(shù)據(jù)管理系統(tǒng)存在如下業(yè)務(wù)需求：

統(tǒng)一定義業(yè)務(wù)術(shù)語和業(yè)務(wù)指標及其相關(guān)關(guān)系，解決數(shù)據(jù)歧義問題；

視圖化展示數(shù)據(jù)資產(chǎn)、數(shù)據(jù)管理團隊及其責任關(guān)系；

管理和維護數(shù)據(jù)源變化、數(shù)據(jù)流程變更、數(shù)據(jù)生命周期，實現(xiàn)數(shù)據(jù)清理和優(yōu)化；

監(jiān)控數(shù)據(jù)使用，統(tǒng)計數(shù)據(jù)影響，展示數(shù)據(jù)血緣，控制數(shù)據(jù)質(zhì)量；

開放元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)能力，提供元數(shù)據(jù)服務(wù)支撐。

元數(shù)據(jù)管理系統(tǒng)的功能設(shè)計

基于業(yè)務(wù)需求，對元數(shù)據(jù)管理系統(tǒng)的功能模塊分為：

元數(shù)據(jù)獲取模塊：各階段元數(shù)據(jù)的統(tǒng)一收集、存儲和輸出。包括自動獲取和手工獲取兩部分。

元數(shù)據(jù)存儲模塊：包括存儲元數(shù)據(jù)以及元模型。

元數(shù)據(jù)功能模塊：包括元數(shù)據(jù)基礎(chǔ)操作（查詢、新增、修改和刪除等管理操作）、元數(shù)據(jù)分析（包括業(yè)務(wù)指標一致性分析、數(shù)據(jù)血統(tǒng)分析、數(shù)據(jù)影響分析等）、元數(shù)據(jù)權(quán)限管理以及元數(shù)據(jù)服務(wù)封裝等。

元數(shù)據(jù)應(yīng)用模塊：包括元數(shù)據(jù)基礎(chǔ)能力開放、報表指標優(yōu)化清理應(yīng)用、指標運算關(guān)系分析應(yīng)用等。

元數(shù)據(jù)管理系統(tǒng)實踐探索

億信華辰元數(shù)據(jù)管理平臺EsPowerMeta是基于B/S架構(gòu)的軟件平臺，架構(gòu)分為5層，數(shù)據(jù)源層、采集層、數(shù)據(jù)層、功能層和訪問層。下圖為億信華辰元數(shù)據(jù)管理產(chǎn)品的整體架構(gòu)圖。

△億信華辰元數(shù)據(jù)管理平臺架構(gòu)圖

數(shù)據(jù)源層：是指元數(shù)據(jù)管理平臺所支持的元數(shù)據(jù)來源的方式。提供直連多種不同類型的數(shù)據(jù)源，包括：數(shù)據(jù)庫類型、ETL類型、文件類型、業(yè)務(wù)系統(tǒng)類型等。

采集層：針對不同數(shù)據(jù)源提供豐富的適配器，實現(xiàn)端到端的自動化采集。同時支持適配器擴展，實現(xiàn)最大限度的自動化采集。

數(shù)據(jù)層：是基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲，用于實現(xiàn)元數(shù)據(jù)和元模型的數(shù)據(jù)的物理存儲。元模型存儲了元數(shù)據(jù)的屬性要求和存儲格式要求。元數(shù)據(jù)存儲了從各個系統(tǒng)中采集而來的元數(shù)據(jù)信息。

功能層：提供了元數(shù)據(jù)管理產(chǎn)品的基本功能，包括元模型增刪改查及版本發(fā)布功能、元數(shù)據(jù)增刪改查及版本管理、元數(shù)據(jù)變更管理、元數(shù)據(jù)分析應(yīng)用、元數(shù)據(jù)檢核以及產(chǎn)品的系統(tǒng)管理功能。

訪問層：用于給用戶提供訪問控制服務(wù)。元數(shù)據(jù)產(chǎn)品面向的主要用戶群有三類：技術(shù)設(shè)計人員、業(yè)務(wù)分析人員、以及系統(tǒng)的運維人員。通過門戶訪問和后臺訪問，可以實現(xiàn)多種角色的訪問控制。同時訪問層還提供了多種形式的接口服務(wù)，可以很方便的與其它IT系統(tǒng)進行集成。

主要功能有：

1、全面的采集適配器

平臺內(nèi)置豐富的適配器，全面保障各類源頭的元數(shù)據(jù)自動化采集，一鍵采集對接，同時可支持適配器快速擴展。億信華辰元數(shù)據(jù)管理平臺不僅適配各種數(shù)據(jù)庫、各類ETL、各類數(shù)據(jù)倉庫和報表產(chǎn)品，還適配各類結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)源。

2、規(guī)范的元模型管理

億信華辰元數(shù)據(jù)管理平臺元模型以Meta Object Facility(MOF)規(guī)范為基礎(chǔ)，支持XMI格式的元模型導入和導出，同時內(nèi)置大量技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)的元模型，用戶可直接使用。

△元模型查看界面

3、豐富的元數(shù)據(jù)分析應(yīng)用

億信華辰元數(shù)據(jù)管理平臺提供了豐富的分析應(yīng)用，包括：血緣分析、影響分析、全鏈分析、關(guān)聯(lián)度分析、屬性差異分析、元數(shù)據(jù)對比分析、重復元數(shù)據(jù)分析、元數(shù)據(jù)對比分析、重復元數(shù)據(jù)分析、同時支持將分析結(jié)果進行導出和收藏保存。

△全鏈分析

4、實時的元數(shù)據(jù)變更監(jiān)控

億信華辰元數(shù)據(jù)管理平臺可實時對元數(shù)據(jù)變更進行監(jiān)控，并提供變更訂閱功能，將用戶關(guān)心的元數(shù)據(jù)的變更情況定期發(fā)送到用戶郵箱。

△變更查詢界面

5、出色的元數(shù)據(jù)檢核機制

億信華辰元數(shù)據(jù)管理平臺提供元數(shù)據(jù)質(zhì)量檢核功能，包括一致性檢核、屬性填充率檢核和組合關(guān)系檢核，是保障元數(shù)據(jù)質(zhì)量的重要手段之一。

△自動檢核任務(wù)

6、其它功能

包括諸如元數(shù)據(jù)版本管理、元數(shù)據(jù)檢索、元數(shù)據(jù)的監(jiān)控、元數(shù)據(jù)門戶等功能，并提供豐富的服務(wù)接口支持與外部系統(tǒng)進行交互。

結(jié)語：元數(shù)據(jù)管理可借助工具使管理工作變的相對快速和簡單一些，選好工具，是成功的一半。在搭建企業(yè)級元數(shù)據(jù)管理平臺時，通常會針對需求并基于基礎(chǔ)產(chǎn)品定制開發(fā)。因此業(yè)務(wù)驅(qū)動對元數(shù)據(jù)管理系統(tǒng)的實施十分重要，在具體建設(shè)時，可根據(jù)需求逐步迭代開發(fā)。