元數(shù)據(jù)管理是企業(yè)數(shù)據(jù)治理的基礎(chǔ)。企業(yè)以元數(shù)據(jù)為抓手進(jìn)行http://m.122re.com/
http://m.122re.com/,幫助企業(yè)更好地對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行管理,理清數(shù)據(jù)之間的關(guān)系,實(shí)現(xiàn)精準(zhǔn)高效的分析和決策。今天就帶大家深度解析下元數(shù)據(jù)管理。
一、元數(shù)據(jù)的定義
元數(shù)據(jù)是指來自企業(yè)內(nèi)外的所有物理數(shù)據(jù)和知識(shí),包括物理數(shù)據(jù)的格式,技術(shù)和業(yè)務(wù)過程,數(shù)據(jù)的規(guī)則和約束以及企業(yè)所使用數(shù)據(jù)的結(jié)構(gòu)。元數(shù)據(jù)其實(shí)就是知識(shí),包括系統(tǒng),業(yè)務(wù)和市場(chǎng)的知識(shí)。
二、元數(shù)據(jù)管理的價(jià)值
元數(shù)據(jù)管理是一個(gè)持續(xù)又漫長(zhǎng)的過程的,任何系統(tǒng)的搭建都需要業(yè)務(wù)來衡量其存在的價(jià)值,其核心邏輯在于:統(tǒng)一標(biāo)準(zhǔn)化管理元數(shù)據(jù)信息,規(guī)范業(yè)務(wù)層的定義,并通過技術(shù)層面快速定位數(shù)據(jù),自動(dòng)化抽取數(shù)據(jù),靈活支撐業(yè)務(wù)應(yīng)用。
數(shù)據(jù)成本分析:基于元數(shù)據(jù)中鏈路,分析各個(gè)節(jié)點(diǎn)數(shù)據(jù)的生產(chǎn)維護(hù)管理等成本,為數(shù)據(jù)服務(wù)中商業(yè)定價(jià)提供參考,可能直接影響服務(wù)是否可提供的決策。
圍繞核心業(yè)務(wù):通常在項(xiàng)目初期的時(shí)候,只圍繞一些核心業(yè)務(wù)主體,使其在使用的時(shí)候靈活高效,后續(xù)在持續(xù)擴(kuò)展其他能力。
流程自動(dòng)化:不管是元數(shù)據(jù)結(jié)構(gòu)映射,還是配置后數(shù)據(jù)的抽取,要保證指令生成后可以自動(dòng)完成該一系列動(dòng)作,并完成流程監(jiān)控分析。
資產(chǎn)化分析:通常會(huì)把元數(shù)據(jù)視為數(shù)據(jù)資產(chǎn)體系,因此圍繞元數(shù)據(jù)去統(tǒng)計(jì)數(shù)據(jù)的使用情況,產(chǎn)生的價(jià)值,以及熱點(diǎn)數(shù)據(jù)識(shí)別和分布,業(yè)務(wù)主體關(guān)聯(lián)度等,并輸出相應(yīng)分析結(jié)果。
配置可視化:在數(shù)據(jù)服務(wù)平臺(tái)中,最忌諱的一點(diǎn)就是靠手動(dòng)去維護(hù)各種作業(yè),不管在什么場(chǎng)景下,都要考慮可配置化管理,保證動(dòng)作可追溯。
三、元數(shù)據(jù)管理建設(shè)方案
1、元數(shù)據(jù)范圍
首先確定元數(shù)據(jù)來源范圍,在實(shí)際的工作中,不是所有數(shù)據(jù)都是要做元數(shù)據(jù)管理,通常我們會(huì)選擇業(yè)務(wù)數(shù)據(jù)做元數(shù)據(jù)管理,非業(yè)務(wù)數(shù)據(jù)是不會(huì)納入管理范圍內(nèi),主要還是因?yàn)樵獢?shù)據(jù)管理是提供業(yè)務(wù)和開發(fā)人員快速掌握業(yè)務(wù)數(shù)據(jù)。
2、元數(shù)據(jù)接入
元數(shù)據(jù)一般都是從源系統(tǒng)接入,假如公司已經(jīng)存在數(shù)倉或者實(shí)時(shí)性要求不高,為了節(jié)約開發(fā)工作量,對(duì)于已有的元數(shù)據(jù)會(huì)從數(shù)倉接入,還未接入的會(huì)從源系統(tǒng)進(jìn)行接入?,F(xiàn)在大部分的元數(shù)據(jù)抽取都是采用配置自動(dòng)化的方式進(jìn)行。
3、元數(shù)據(jù)標(biāo)準(zhǔn)
在梳理的過程中可能會(huì)出現(xiàn)有些數(shù)據(jù)庫或者有些數(shù)據(jù)定義不規(guī)范的情況,導(dǎo)致元數(shù)據(jù)管理無法進(jìn)行下去。那接下來需要建立元數(shù)據(jù)的管理規(guī)范,去反推前端的源數(shù)據(jù)進(jìn)行整改,主要是保證元數(shù)據(jù)的完整性和一致性。
4、元數(shù)據(jù)維護(hù)
元數(shù)據(jù)維護(hù)主要是對(duì)已經(jīng)發(fā)布的元數(shù)據(jù)進(jìn)行維護(hù)管理,已經(jīng)發(fā)布上線的元數(shù)據(jù),如需調(diào)整、優(yōu)化則必須重新走元數(shù)據(jù)發(fā)布流程,不準(zhǔn)許對(duì)元數(shù)據(jù)進(jìn)行直接修改。為了安全,元數(shù)據(jù)所有操作行為都要記錄到元數(shù)據(jù)操作日志里面。
5、元數(shù)據(jù)查找、分析、報(bào)告
有單獨(dú)的頁面支持元數(shù)據(jù)的模糊或精準(zhǔn)快速查找,通過輸入關(guān)鍵信息查找對(duì)應(yīng)的元數(shù)據(jù)。我所在的公司將元數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)的一類,因此我們需要產(chǎn)出元數(shù)據(jù)資產(chǎn)報(bào)告,從報(bào)告中能夠快速的了解元數(shù)據(jù)訪問熱度、數(shù)據(jù)價(jià)值、數(shù)據(jù)成本、數(shù)據(jù)分布等相關(guān)信息。