一、什么是元數(shù)據(jù)管理
元數(shù)據(jù)是用來描述如何、何時和由誰來負(fù)責(zé)數(shù)據(jù)的接收、創(chuàng)建、訪問、修改和格式的數(shù)據(jù)。元數(shù)據(jù)管理(Metadata Managenent)-指為保障元數(shù)據(jù)的容易獲取、一致性、時新性、準(zhǔn)確性、及時性、完整性等所需的人員、流程及技術(shù)等製素.
二、元數(shù)據(jù)管理的價值
數(shù)據(jù)的真正價值在于數(shù)據(jù)驅(qū)動決策,通過數(shù)據(jù)指導(dǎo)運(yùn)營。通過數(shù)據(jù)驅(qū)動的方法判斷趨勢,幫住我們發(fā)現(xiàn)問題,繼而推動創(chuàng)新或產(chǎn)生新的解決方案。隨著企業(yè)數(shù)據(jù)爆發(fā)式增長,數(shù)據(jù)體量越來越難以估量,我們很難說清楚我們到底擁有哪些數(shù)據(jù),這些數(shù)據(jù)從哪里來,到哪里去,發(fā)生了什么變化,應(yīng)該如何使用它們。因此
數(shù)據(jù)治理中的元數(shù)據(jù)管理成為企業(yè)級不可或缺的重要組成部分。元數(shù)據(jù)治理可以提供數(shù)據(jù)源管理、分析數(shù)據(jù)血緣關(guān)系、分析數(shù)據(jù)影響等,實現(xiàn)對復(fù)雜的數(shù)據(jù)環(huán)境監(jiān)控管理,為企業(yè)提供安全可信的數(shù)據(jù),為數(shù)據(jù)倉庫的運(yùn)行與維護(hù)提供有效支撐。
簡單來說,數(shù)據(jù)是公司中非常有價值的資產(chǎn),這些數(shù)據(jù)包含各種數(shù)據(jù)源,各種業(yè)務(wù),各種處理層次,對于這些資產(chǎn)需要有序、高效、統(tǒng)一的管理,這就需要一個元數(shù)據(jù)管理系統(tǒng),
元數(shù)據(jù)管理是數(shù)據(jù)治理中非常重要的一個核心,元數(shù)據(jù)的一致性、可追溯性是實現(xiàn)數(shù)據(jù)治理非常重要的一個環(huán)節(jié)。
三、如何實施元數(shù)據(jù)管理
1、元數(shù)據(jù)范圍
首先確定元數(shù)據(jù)來源范圍,在實際的工作中,不是所有數(shù)據(jù)都是要做元數(shù)據(jù)管理,通常我們會選擇業(yè)務(wù)數(shù)據(jù)做元數(shù)據(jù)管理,非業(yè)務(wù)數(shù)據(jù)(例如:備份數(shù)據(jù)、系統(tǒng)日志等)是不會納入管理范圍內(nèi),主要還是因為元數(shù)據(jù)管理是提供業(yè)務(wù)和開發(fā)人員快速掌握業(yè)務(wù)數(shù)據(jù)。
2、元數(shù)據(jù)接入
元數(shù)據(jù)從哪接入,一般都是從源系統(tǒng)接入,假如公司已經(jīng)存在數(shù)倉或者實時性要求不高,為了節(jié)約開發(fā)工作量,對于已有的元數(shù)據(jù)會從數(shù)倉接入,還未接入的會從源系統(tǒng)進(jìn)行接入。
3、元數(shù)據(jù)標(biāo)準(zhǔn)
在梳理的過程中可能會出現(xiàn)有些數(shù)據(jù)庫或者有些數(shù)據(jù)定義不規(guī)范的情況,導(dǎo)致元數(shù)據(jù)管理無法進(jìn)行下去。那接下來需要建立元數(shù)據(jù)的管理規(guī)范,去反推前端的源數(shù)據(jù)進(jìn)行整改,主要是保證元數(shù)據(jù)的完整性和一致性。
針對不同的類型的公司要求,元數(shù)據(jù)會開放給不同的人群,所以要對元數(shù)據(jù)進(jìn)行權(quán)限管理,規(guī)范里面就需定義權(quán)限的管理流程:元數(shù)據(jù)的權(quán)限分層、元數(shù)據(jù)權(quán)限申請流程、元數(shù)據(jù)的發(fā)布流程、元數(shù)據(jù)的審核流程。
4、元數(shù)據(jù)維護(hù)
元數(shù)據(jù)維護(hù)主要是對已經(jīng)發(fā)布的元數(shù)據(jù)進(jìn)行維護(hù)管理,已經(jīng)發(fā)布上線的元數(shù)據(jù),如需調(diào)整、優(yōu)化則必須重新走元數(shù)據(jù)發(fā)布流程,不準(zhǔn)許對元數(shù)據(jù)進(jìn)行直接修改。為了安全,元數(shù)據(jù)所有操作行為都要記錄到元數(shù)據(jù)操作日志里面。
5、元數(shù)據(jù)查找、分析、報告
有單獨(dú)的頁面支持元數(shù)據(jù)的模糊或精準(zhǔn)快速查找,通過輸入關(guān)鍵信息查找對應(yīng)的元數(shù)據(jù)。我所在的公司將元數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)的一類,因此我們需要產(chǎn)出元數(shù)據(jù)資產(chǎn)報告,從報告中能夠快速的了解元數(shù)據(jù)訪問熱度、數(shù)據(jù)價值、數(shù)據(jù)成本、數(shù)據(jù)分布等相關(guān)信息。
四、元數(shù)據(jù)管理工具介紹
億信華辰睿治
數(shù)據(jù)治理平臺的元數(shù)據(jù)管理模塊提供了豐富的元數(shù)據(jù)分析功能,包括血緣分析、影響分析、全鏈分析、關(guān)聯(lián)度分析、屬性值差異分析等,分析出元數(shù)據(jù)的來龍去脈,快速識別元數(shù)據(jù)的價值,掌握元數(shù)據(jù)變更可能造成的影響,以便更有效的評估變化帶來的風(fēng)險,從而幫助用戶高效準(zhǔn)確的對數(shù)據(jù)資產(chǎn)進(jìn)行清理、維護(hù)與使用。包括以下功能:
1、元數(shù)據(jù)采集服務(wù):能夠適應(yīng)異構(gòu)環(huán)境,支持從傳統(tǒng)關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺中采集從數(shù)據(jù)產(chǎn)生系統(tǒng)到數(shù)據(jù)加工處理系統(tǒng)到數(shù)據(jù)應(yīng)用報表系統(tǒng)的全量元數(shù)據(jù),包括過程中的數(shù)據(jù)實體(系統(tǒng)、庫、表、字段的描述)以及數(shù)據(jù)實體加工處理過程中的邏輯。
2、元數(shù)據(jù)訪問服務(wù):元數(shù)據(jù)訪問服務(wù)是元數(shù)據(jù)管理軟件提供的元數(shù)據(jù)訪問的接口服務(wù),一般支持REST或Webservice等接口協(xié)議。通過元數(shù)據(jù)訪問服務(wù)支持企業(yè)元數(shù)據(jù)的共享,是企業(yè)數(shù)據(jù)治理的基礎(chǔ)。
3、元數(shù)據(jù)管理服務(wù):實現(xiàn)元數(shù)據(jù)的模型定義并存儲,在功能層包裝成各類元數(shù)據(jù)功能,最終對外提供應(yīng)用及展現(xiàn);提供元數(shù)據(jù)分類和建模、血緣關(guān)系和影響分析,方便數(shù)據(jù)的跟蹤和回溯。
4、元數(shù)據(jù)分析服務(wù):元數(shù)據(jù)的應(yīng)用一般包括數(shù)據(jù)地圖,數(shù)據(jù)的血緣、影響分析,全鏈分析等。
總體而言,利用億信華辰睿治數(shù)據(jù)治理工具構(gòu)建元數(shù)據(jù)管理平臺,實現(xiàn)集中化管理、自動化管理、版本管理,可為后續(xù)數(shù)據(jù)治理工作打下基礎(chǔ),基于統(tǒng)一的企業(yè)級元數(shù)據(jù)管理,為數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)認(rèn)責(zé)、數(shù)據(jù)全生命周期的數(shù)據(jù)管控提供支持。企業(yè)信息化管理者以元數(shù)據(jù)為抓手進(jìn)行數(shù)據(jù)治理,有助于更加有效的發(fā)掘和利用信息資產(chǎn)的價值,實現(xiàn)精準(zhǔn)高效的分析和決策。