為什么企業對自身內部的數據資產總是混沌不清?其實是缺少一種有效的工具來進行數據資產的梳理和盤點。而
元數據管理工具就是一種有效的盤點工具或手段。
元數據是數據資產盤點的重中之重
元數據是企業中用來描述數據的數據。它可理解為比一般意義的數據范疇更加廣泛的數據,不再僅僅表示數據的類型、名稱、值等信息,它可以進一步提供數據的上下文描述信息,比如數據的所屬域、取值范圍、數據間的關系、業務規則,甚至是數據的來源。
元數據相當于企業數據的DNA,在傳統意義上,元數據有兩方面的用處:
幫助數據平臺了解自己本身的情況:例如我有哪些數據、我存儲的數據有多大、如何找到我所需要的數據、我的數據何時產出等信息,當我們拿到這些信息后,就可以做對應的運維報警等工作;
幫助數據平臺制定數據統計的標準:例如數據口徑如何統一、計算指標如何統一、數據之間的關系如何、數據的上下游關聯數據是什么等信息,打通了上下游數據之間的關聯關系,就可以為
數據質量及維護可視化奠定基礎。
可以說,元數據有重要的應用價值,對于數據管理,提供諸如計算、存儲、成本、質量、安全、模型等方面有重大的利用價值。企業元數據管理的本質是有效利用企業數據資產,讓數據發揮出盡可能大的價值。
元數據如何管理才能發揮作用
元數據管理要符合企業數據現狀,要能支撐企業數據人員分析數據的需要,元數據是企業數據資產的最原始詞典,我們需要從這本詞典中獲取到準確的數據信息,準確、便捷、深度、廣度是元數據管理努力的方向。
要實現企業元數據管理需從兩個方面考慮,一是盤點企業數據情況,搞清楚要管理哪些元數據以及這些元數據在什么地方,以何種形態存儲,他們之間有著怎樣的聯系。二是建模,這里的建模是建立元數據的模型及元模型,要抽象出企業的元模型,建立個元模型之間的邏輯關系。總的來說,盤點企業數據資產和建立企業元模型是元數據管理的兩個基本步驟。下面我們展開的講一下這兩點:
1、企業數據資產盤點。首先要把元數據建設的定位定義清楚,短期解決什么問題,長期達到什么目的,基于短期目標要重點細化。
舉個例子要實現企業物理模型的全面管理,實現數據結構變更一體化管理這個短期目標,那么就需要盤點企業有多少應用系統,每個應用系統有多少個數據庫,數據庫的種類有什么,哪些是業務數據表,哪些是垃圾數據表,每個數據字段的含義是否完整,每個系統哪個業務部門使用,哪些管理員進行運維,企業的數據變更是否有流程驅動等。將以上信息分為兩大類,一類是數據模型本身的元數據信息,一類是支撐數據模型管理的元數據信息,這兩類信息都是需要盤點的內容。
2、元數據建模。元數據建模是對企業要管理的元數據進行結構化、模型化。元模型的構建要一般要參考公共倉庫元模型CWM,但也不能照搬CWM,否則構建的元模型太過臃腫,不夠靈活。在構建元模型過程中不但要關心模型的結構更要關心模型間的關系,每個模型在元數據的世界里是一個獨立的個體,個體和個體之間的關系賦予了模型間錯綜復雜的關系圈,這些關系的創建往后衍生會支撐數據圖譜或知識圖譜的構建。
再拿數據資產盤點的例子來講,我們要建立數據庫元模型、表元模型、字段元模型、管理員元模型,其中庫-表-字段是通過組合關系來構建的,而表-表、字段-字段是通過依賴關系來構建的。通過這樣的關系構建就能將企業中的所有有交互的數據形成一個錯綜復雜龐大的數據關系網絡,
數據分析人員就可以基于這張網絡進行各種信息的挖掘。
如何選擇適合企業的元數據管理工具
通過大量元數據項目的實踐,我們總結出了在理想情況下,元數據管理工具需要具備的元
數據采集、元
數據存儲、元數據查找、血緣分析/關系分析、基于角色的訪問控制和分層、元數據變更控制、元數據對比分析、數據生命周期管理、與其他系統的集成等十種能力。
億信華辰擁有自主研發的元數據管理產品EsPowerMeta,是億信華
數據治理產品體系的重要組成,該產品既可獨立部署使用,也可與其他數據治理工具(如數據質量管理、
數據標準管理、數據模型管理等)協同應用,完全可以滿足構建
企業級元數據管理平臺的需求。
對技術人員而言,億信華辰
元數據管理平臺通過對分散、存儲結構差異大的資源信息進行描述、定位、檢索、評估、分析,實現信息的描述和分類的結構化,從而為機器處理創造了可能,大大降低數據治理人工成本。
對業務人員而言,億信華辰元數據管理平臺通過對業務指標、業務術語、業務規則、業務含義等業務信息進行描述、定位、檢索、評估、分析,協助業務人員了解業務含義、行業術語和規則、業務指標、數據口徑和影響范圍等。
下面是億信華辰元數據管理產品部分特性:
1、技術上強拓展
(1)全面適配
平臺內置豐富的適配器,全面保障各類源頭的元數據自動化采集,一鍵采集對接,同時可支持適配器快速擴展。億信華辰元數據管理平臺不僅適配各種數據庫、各類ETL、各類
數據倉庫和報表產品,還適配各類結構化或半結構化數據源。

(2)自動采集
對元數據信息的維護除界面手動操作方式外,億信元數據管理平臺利用內置采集適配器,讓用戶通過配置數據源參數及定時采集任務,進行自動化采集,實現直連數據源的端到端元數據采集。采集模板定制允許用戶根據自己的采集需求,靈活選擇需要采集的元數據及其屬性,并自動生成 EXCEL 采集適配器可識別的 EXCEL 模板文件。用戶可使用模板文件將數據批量錄入。

(3)豐富接口
億信華辰元數據管理平臺,提供豐富的接口以支持與外部系統進行交互:
①支持嵌入其它平臺
②支持通過接口進行元數據信息查詢
③支持通過接口獲取元數據變更信息
④提供接口支持對適配器進行擴展
能方便地嵌入到企業各個場景中,給其他系統提供自動化能力,讓元數據管理集成到企業信息化的方方面面。
2、業務上強結合
(1)自定義拓展元模型,滿足不同管理需要
元數據的應用都基于元模型。億信元數據管理平臺中的元模型支持CWM(公共倉庫元模型)規范的同時,提供了一套便捷的自定義管理接口功能,可完全自定義擴展,能夠滿足元數據管理快速實施的需要,可適應用戶在不同時期的不同管理需要。

(2)完善的元數據管理,跟蹤業務運作
億信華辰元數據管理平臺提供了完善的元模型和元數據維護功能,采用多種方式簡化元數據維護的復雜性。系統支持元數據的自動獲取和時間調度管理,支持手工創建和變更元數據,并配合版本管理,能完整存儲元數據整個生命周期動態和變化,方便用戶跟蹤業務運作的歷史數據。

(3)豐富的元數據分析應用,賦能業務
億信華辰元數據管理平臺提供了豐富的分析應用,包括:血緣分析、影響分析、全鏈分析、關聯度分析、屬性差異分析、元數據對比分析、重復元數據分析、元數據對比分析、重復元數據分析、同時支持將分析結果進行導出和收藏保存。

(4)數據地圖鳥瞰全局
一般情況下,元數據管理的業務繁多、形式各異,在集中管理后,如何提供便捷的使用方式,是發揮信息資產價值的關鍵。數據地圖從宏觀層面組織信息,力求以用戶視角對信息資產進行歸并、整理,全局展現資產的宏觀信息,有效挖掘信息的潛在價值。

如今,元數據已經成為了很多大型數據治理項目的核心。億信華辰元數據管理軟件成功應用多個行業客戶,嵌入企業的數據開發活動,使企業數據資產看得見、讀得懂、可管理;并與數據服務、
數據應用管理協同,幫助企業進一步促進數據資產用得了、打得通,將在項目實踐中持續演進,為客戶數據資產的高效管理和價值充分釋放提供核心基礎支撐。
(部分內容來源網絡,如有侵權請聯系刪除)