元數據管理是企業
數據治理的基礎。企業以元數據為抓手進行數據治理,幫助企業更好地對數據資產進行管理,理清數據之間的關系,實現精準高效的分析和決策。今天就帶大家深度解析下元數據管理。
一、什么是元數據
元數據,簡單定義就是描述數據的數據。元數據是對我們整個系統里面包含的各種結構的描述和說明,比如結構說明、屬性說明、或者相關數據,它有點類似現實世界中我們使用的某個產品的說明書,它會對我們所使用的產品進行一個詳細的介紹和功能說明。通過元數據,我們可以了解到我們整個系統的內部組成,從而對我們系統所擁有的各種結構進行一個量化的描述。比如我們系統有多少張表,這些表分別是什么含義,甚至細化到我們每個表字段,比如字段含義是什么,字段類型和長度是怎么樣的,一些指標字段的含義又是什么。存儲的位置和方式又是怎樣的。在企業中,只要有數據存在的地方,就有其對應元數據。只有完整、準確的元數據存在,才能更好地理解數據,充分挖掘數據的價值。
元數據管理是對
數據采集、存儲、加工和展現等數據全生命周期的描述信息,幫助用戶理解數據關系和相關屬性。元數據管理工具可以了解數據資產分布及產生過程。實現元數據的模型定義并存儲,在功能層包裝成各類元數據功能,最終對外提供應用及展現;提供元數據分類和建模、血緣關系和影響分析,方便數據的跟蹤和回溯。
二、元數據管理價值
元數據管理到底有什么用?圖書館的目錄卡片只是一個很簡單的元數據管理,在企業中,元數據管理會更為全面,難度更高,同時也將帶來更多的收益:
元數據管理平臺為用戶提供高質量、準確、易于管理的數據,它貫穿數據中心構建、運行和維護的整個生命周期。同時,在數據中心構建的整個過程中,數據源分析、ETL過程、數據庫結構、數據模型、業務應用主題的組織和前端展示等環節,均需要通過相應的元數據的進行支撐。
通過元數據管理,形成整個系統信息數據資的準確視圖,通過元數據的統一視圖,縮短數據清理周期、提高
數據質量以便能系統性地管理數據中心項目中來自各業務系統的海量數據,梳理業務元數據之間的關系,建立信息
數據標準完善對這些數據的解釋、定義,形成企業范圍內一致、統一的數據定義,并可以對這些數據來源、運作情況、變遷等進行跟蹤分析。
三、如何進行元數據管理1、確定元數據范圍
首先確定元數據來源范圍,在實際的工作中,不是所有數據都是要做元數據管理,通常我們會選擇業務數據做元數據管理,非業務數據(例如:備份數據、系統日志等)是不會納入管理范圍內,主要還是因為元數據管理是提供業務和開發人員快速掌握業務數據。
2、元數據接入
元數據從哪接入,一般都是從源系統接入,假如公司已經存在數倉或者實時性要求不高,為了節約開發工作量,對于已有的元數據會從數倉接入,還未接入的會從源系統進行接入。
3、制定元數據標準
在梳理的過程中可能會出現有些數據庫或者有些數據定義不規范的情況,導致元數據管理無法進行下去。那接下來需要建立元數據的管理規范,去反推前端的源數據進行整改,主要是保證元數據的完整性和一致性。
4、元數據維護
元數據維護主要是對已經發布的元數據進行維護管理,已經發布上線的元數據,如需調整、優化則必須重新走元數據發布流程,不準許對元數據進行直接修改。為了安全,元數據所有操作行為都要記錄到元數據操作日志里面。
5、元數據查找、分析、報告
需要有單獨的頁面支持元數據的模糊或精準快速查找,通過輸入關鍵信息查找對應的元數據。我所在的公司將元數據作為數據資產的一類,因此我們需要產出元數據資產報告,從報告中能夠快速的了解元數據訪問熱度、
數據價值、數據成本、數據分布等相關信息。
四、睿治元數據管理平臺
EsPowerMeta睿治
元數據管理平臺致力于處理技術元數據、業務元數據、管理元數據,幫助各行各業用戶獲得更多的數據洞察力,進而挖掘出隱藏在資源中的價值。平臺內置豐富的采集適配器,端到端的自動化采集,一鍵元
數據分析,快速理清數據資源,了解數據來龍去脈,構建數據地圖,為數據標準建設和數據質量提供基礎支撐。
(部分內容來源網絡,如有侵權請聯系刪除)