企業(yè)以元數(shù)據(jù)為抓手進行
數(shù)據(jù)治理,幫助企業(yè)更好地對數(shù)據(jù)資產(chǎn)進行管理,理清數(shù)據(jù)之間的關系,實現(xiàn)精準高效的分析和決策。
元數(shù)據(jù)管理是企業(yè)數(shù)據(jù)治理的基礎。 那么作為企業(yè)的核心資產(chǎn)數(shù)據(jù),如何進行管理是不同企業(yè)在進行全面
數(shù)字化轉(zhuǎn)型需要考慮的一個重要事情。關于元數(shù)據(jù)概念的文章網(wǎng)上有不少,本文主要探討一般的企業(yè)在做數(shù)據(jù)治理項目時如何開展元數(shù)據(jù)管理工作。
一、什么是元數(shù)據(jù)
元數(shù)據(jù)不是你聊天的內(nèi)容也不是你的資料,更不是你在網(wǎng)上發(fā)布了什么消息,元數(shù)據(jù)是更底層的數(shù)據(jù)。最直接理解(元數(shù)據(jù))的方式是活動數(shù)據(jù):你在設備上從事活動、手機自動運行的記錄。舉例來說,手機元數(shù)據(jù)可能包括:來電日期與時間、通話時長、來電號碼,通話位置……通過分析你不同設備的元數(shù)據(jù),監(jiān)視者能得知你昨晚入睡與今早起床的時間、每天逛了哪些地方、在哪里待了多久,以及你接觸過的對象有誰,誰又與你聯(lián)系過。元數(shù)據(jù),忠實而冷酷的記錄者。
一間擺滿書的屋子能被稱為圖書館嗎?
要在圖書館中找到某本書,不能只是在圖書館中走來走去,單靠運氣去找。
盡管元數(shù)據(jù)一詞只有幾十年的歷史,然而幾千年的圖書館管理員們一直在工作中使用著元數(shù)據(jù),只不過我們先所謂的“元數(shù)據(jù)”是歷史上被稱為“圖書目錄信息”。圖書目錄中的信息解決了一個十分關鍵的問題,就是如何幫助用戶在圖書館快速地、準確地找到想要的圖書。
圖書目錄中依然延續(xù)至今的信息片段:書名、作者、主題、簡介等。但如今其含有更多的信息,如出版社、出版時間、定價、條形碼和上架建議等等。
有一個關于元數(shù)據(jù)的例子,元數(shù)據(jù)就像“戶口本”,戶口本中除了有姓名、出生日期、住址、民族等信息外,還有家庭的血緣關系,父子關系、兄弟關系等。這些信息就構成了對這個人的詳細描述,那這些信息就是描述這個人的元數(shù)據(jù)。
所以元數(shù)據(jù)是什么?
元數(shù)據(jù):描述數(shù)據(jù)的數(shù)據(jù)
元數(shù)據(jù)分類:業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)、管理元數(shù)據(jù)
業(yè)務元數(shù)據(jù):面向業(yè)務分析人員。業(yè)務元數(shù)據(jù)是描述數(shù)據(jù)的業(yè)務含義、業(yè)務規(guī)則等。通過明確業(yè)務元數(shù)據(jù)讓人們更容易理解和使用業(yè)務元數(shù)據(jù),元數(shù)據(jù)消除了數(shù)據(jù)二義性,讓人們對數(shù)據(jù)有一致的認證,避免“各說自話”,進而為
數(shù)據(jù)分析和應用提供支撐。常見的業(yè)務元數(shù)據(jù)包括:業(yè)務定義、業(yè)務術語、業(yè)務規(guī)則、業(yè)務指標等
技術元數(shù)據(jù):技術元數(shù)據(jù)是對數(shù)據(jù)的結構化,方便計算機或數(shù)據(jù)庫之間對數(shù)據(jù)進行識別、存儲、傳輸和交換。技術元數(shù)據(jù)可以服務于開發(fā)人員,讓開發(fā)人員對數(shù)據(jù)的存儲、結構更明確,從而為應用的開發(fā)和系統(tǒng)的集成奠定基礎。技術元數(shù)據(jù)也可服務于業(yè)務人員,通過元數(shù)據(jù)理清數(shù)據(jù)關系,讓業(yè)務人員能夠更快速的找到想要的數(shù)據(jù),進而對數(shù)據(jù)的來源去向進行分析,支持數(shù)據(jù)血緣追溯和影響分析。常見的技術元數(shù)據(jù)包括:存儲位置、數(shù)據(jù)模型、數(shù)據(jù)庫表、字段長度、字段類型、ETL腳本、SQL腳本、接口程序、數(shù)據(jù)關系等
管理元數(shù)據(jù):面向IT系統(tǒng)運維技術人員。管理元數(shù)據(jù)描述了數(shù)據(jù)的管理屬性,包括管理部門、管理責任人等,通過明確管理屬性,有利于數(shù)據(jù)管理責任到部門和個人,是數(shù)據(jù)安全管理的基礎。常見的管理元數(shù)據(jù)包括:數(shù)據(jù)所有者、
數(shù)據(jù)質(zhì)量定責、數(shù)據(jù)安全等級等。
二、元數(shù)據(jù)管理是管理些啥
元數(shù)據(jù)也是數(shù)據(jù),同樣適用數(shù)據(jù)生命周期管理。
元數(shù)據(jù)管理平臺從應用層面,可以分為:元
數(shù)據(jù)采集存儲,元數(shù)據(jù)管理服務、元數(shù)據(jù)分析服務以及元數(shù)據(jù)訪問服務。

元數(shù)據(jù)采集服務:在數(shù)據(jù)治理項目中,通常涉及到的元數(shù)據(jù)還包括:數(shù)據(jù)源的元數(shù)據(jù),數(shù)據(jù)加工處理過程的元數(shù)據(jù),
數(shù)據(jù)倉庫或數(shù)據(jù)主題庫的元數(shù)據(jù),
數(shù)據(jù)應用層的元數(shù)據(jù),數(shù)據(jù)接口服務的元數(shù)據(jù)等等。元數(shù)據(jù)采集服務提供各類適配器滿足以上各類元數(shù)據(jù)的采集,并將元數(shù)據(jù)整合處理后統(tǒng)一存儲于中央元數(shù)據(jù)倉庫,實現(xiàn)元數(shù)據(jù)的統(tǒng)一管理。這個過程中,數(shù)據(jù)采集適配器十分重要,元數(shù)據(jù)采集要能夠適配各種DB、各類ETL、各類DW和Report產(chǎn)品,同時還需要適配各類結構化或半結構化數(shù)據(jù)源。目前市場上的主流
元數(shù)據(jù)產(chǎn)品還沒有哪一家能做到“萬能適配”,都需要在實際應用過程中做或多或少的定制化開發(fā)。
元模型驅(qū)動的設計與開發(fā):通過元數(shù)據(jù)管理平臺實現(xiàn)對應用的邏輯模型、物理模型等各類元模型管理,支撐應用的設計和開發(fā)。
元數(shù)據(jù)不是停留在紙面,作為一個查詢的字典,它更大地發(fā)揮作用是在管控。通過元數(shù)據(jù)實現(xiàn)了全方位的日監(jiān)控,做到總部級別能夠看到各分子公司每天的業(yè)務系統(tǒng)元數(shù)據(jù)的運轉(zhuǎn)。只要發(fā)現(xiàn)異常,總部這邊會形成T+1的監(jiān)控機制,當天就會發(fā)出通報,通報相關的子公司或者相關的業(yè)務單位元數(shù)據(jù)發(fā)生了變更有異常,要趕緊處理,通過這一個管控手段保障了集團信息化系統(tǒng)建設的一致性和版本的管控性。以前沒有抓手,但是通過元數(shù)據(jù)管控我們實實在在地抓住了核心和根本
三、元數(shù)據(jù)管理的價值是什么
從功能角度
1、一圖在手,天下我有
通過元數(shù)據(jù)以企業(yè)全局視角對企業(yè)各業(yè)務域的數(shù)據(jù)資產(chǎn)進行盤點,實現(xiàn)企業(yè)數(shù)據(jù)資源的統(tǒng)一梳理和盤查,有助于發(fā)現(xiàn)分布在不同系統(tǒng)、位置的數(shù)據(jù),讓隱匿的數(shù)據(jù)顯性化。數(shù)據(jù)地圖包括了數(shù)據(jù)資源的基本信息,存儲位置信息、數(shù)據(jù)結構信息、各數(shù)據(jù)之間關系信息,數(shù)據(jù)和人之間的關系信息,數(shù)據(jù)使用情況信息等,使數(shù)據(jù)資源信息詳細、統(tǒng)一、透明,降低“找數(shù)據(jù)”的溝通成本,為數(shù)據(jù)的使用和大數(shù)據(jù)挖掘提供支撐。
2、追根溯源,發(fā)現(xiàn)數(shù)據(jù)問題本質(zhì)
企業(yè)在做數(shù)據(jù)分析的時候,數(shù)據(jù)分析結果不正確,原因可能是數(shù)據(jù)分析過程出現(xiàn)數(shù)據(jù)問題,也可能是數(shù)據(jù)源本身就有問題,還可能是數(shù)據(jù)在加工處理過程中出現(xiàn)了數(shù)據(jù)問題……。通過元數(shù)據(jù)血緣分析,能夠快速定位數(shù)據(jù)來源和加工處理過程,能夠幫助數(shù)據(jù)分析人員快速定位數(shù)據(jù)問題。另外,通過元數(shù)據(jù)血緣關系分析,可以理解不同數(shù)據(jù)指標間的關系,分析產(chǎn)生指標的數(shù)據(jù)源頭波動情況帶來的影響。
從使用對象的角度
1、對技術人員而言,元數(shù)據(jù)管理平臺將分散、存儲結構差異大的資源信息進行描述、定位、檢索、評估、分析五大操作,以描述和分類的形式實現(xiàn)對信息的格式化,從而為機器處理創(chuàng)造了可能,大大降低了數(shù)據(jù)治理的人工成本。正因如此,元數(shù)據(jù)管理已經(jīng)成為很多大型數(shù)據(jù)治理項目的基礎。
2、對業(yè)務人員而言,元數(shù)據(jù)管理平臺通過對業(yè)務指標、業(yè)務含義、業(yè)務規(guī)則、取數(shù)口徑、影響范圍等信息進行各方位管控,協(xié)助他們快速了解業(yè)務相關內(nèi)容,進行數(shù)據(jù)資產(chǎn)的管理。
四、元數(shù)據(jù)管理的高效玩法
元數(shù)據(jù)管理可借助管理工具使管理工作變的相對快速和簡單一些,如元數(shù)據(jù)的采集、元
數(shù)據(jù)存儲、數(shù)據(jù)血統(tǒng)、數(shù)據(jù)地圖、元數(shù)據(jù)整合等都可以通過元數(shù)據(jù)工具來實現(xiàn)。億信華辰元數(shù)據(jù)管理平臺致力于處理技術元數(shù)據(jù)、業(yè)務元數(shù)據(jù)、管理元數(shù)據(jù),幫助各行各業(yè)用戶獲得更多的數(shù)據(jù)洞察力,進而挖掘出隱藏在資源中的價值。

全面支持各類采集適配器:平臺內(nèi)置豐富的適配器,全面保障各類源頭的元數(shù)據(jù)自動化采集,一鍵采集對接,同時可支持適配器快速擴展
可擴展元模型,滿足不同管理需求:元數(shù)據(jù)的應用都基于元模型。億信華辰元數(shù)據(jù)管理平臺(EsPowerMeta)中的元模型支持CWM(公共倉庫元模型)規(guī)范的同時,提供了一套便捷的自定義管理接口功能,可完全自定義擴展,能夠滿足元數(shù)據(jù)管理快速實施的需要,可適應用戶在不同時期的不同管理需要。
智能獲取元數(shù)據(jù),管理維護便捷:億信華辰元數(shù)據(jù)管理平臺(EsPowerMeta)提供了完善的元模型和元數(shù)據(jù)維護功能,采用多種方式簡化元數(shù)據(jù)維護的復雜性。系統(tǒng)支持元數(shù)據(jù)的自動獲取和時間調(diào)度管理,支持手工創(chuàng)建和變更元數(shù)據(jù),并配合版本管理,能完整存儲元數(shù)據(jù)整個生命周期動態(tài)和變化,方便用戶跟蹤業(yè)務運作的歷史數(shù)據(jù)。
全文搜索引擎,準確定位目標元數(shù)據(jù):億信華辰元數(shù)據(jù)管理平臺內(nèi)置全文搜索引擎,讓各層次用戶可快速定位自己所關心的元數(shù)據(jù)。EsPowerMeta支持基于名稱、基本屬性、元數(shù)據(jù)間關系查找的同時,還支持全文搜索。通過多種組合條件的模糊查詢,即可在整個元數(shù)據(jù)環(huán)境中隨時檢索所需元數(shù)據(jù)。
落地全行業(yè),全中文硬核系產(chǎn)品:目前國內(nèi)支持全中文內(nèi)核元數(shù)據(jù)管理的為數(shù)不多的產(chǎn)品之一,具有自主知識產(chǎn)權,已成功實施于多家銀行和政府機構,同時適用于業(yè)務用戶、技術用戶和運維管理用戶。
圖形化分析,快速理清元數(shù)據(jù)關系:億信華辰元數(shù)據(jù)管理平臺提供圖形化的元數(shù)據(jù)基礎分析以及高級應用分析。血緣分析是指從某一實體出發(fā),往回追溯其處理過程,直到數(shù)據(jù)源接口,可快速追溯數(shù)據(jù)來源和加工過程,影響分析可掌握元數(shù)據(jù)之間的相互影響。
(部分內(nèi)容來源網(wǎng)絡,如有侵權請聯(lián)系刪除)