一、元數(shù)據(jù)的定義
元數(shù)據(jù)通常定義為”關于數(shù)據(jù)的數(shù)據(jù)”,包括物理數(shù)據(jù)的格式,技術和業(yè)務過程,數(shù)據(jù)的規(guī)則和約束以及企業(yè)所使用數(shù)據(jù)的結構。主要記錄了數(shù)據(jù)倉庫中各層級間的映射關系、模型的定義、ETL 的任務運行狀態(tài)及監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)。元數(shù)據(jù)貫穿了數(shù)據(jù)倉庫的整個生命周期,打通了數(shù)據(jù)倉庫、源數(shù)據(jù)、數(shù)據(jù)應用,記錄了數(shù)據(jù)從產(chǎn)生到消費的全過程。
二、元數(shù)據(jù)價值
元數(shù)據(jù)是數(shù)據(jù)內容、數(shù)據(jù)應用、數(shù)據(jù)管理的基礎,具有重要的應用價值:
1、實現(xiàn)數(shù)據(jù)倉庫管理和維護的自動化和半自動化管理,控制并配置特定工具和進程運行;
2、描述系統(tǒng)的結構特征和靜態(tài)特征;
3、定義進出數(shù)據(jù)倉庫中的數(shù)據(jù);
4、衡量數(shù)據(jù)質量;
5、描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中;
三、元數(shù)據(jù)起到的作用
1、幫助用戶理解數(shù)據(jù) ;
元數(shù)據(jù)可以實現(xiàn)業(yè)務模型與數(shù)據(jù)模型之間的映射,幫助用戶清晰地理解數(shù)據(jù)倉庫中數(shù)據(jù)的含意,從而幫助用戶理解和使用數(shù)據(jù)。
2、集成信息;
數(shù)據(jù)倉庫的數(shù)據(jù)來自各種不同數(shù)據(jù)源,從這些數(shù)據(jù)源中抽取的數(shù)據(jù)要按照一定的模式存入數(shù)據(jù)倉庫中,這些數(shù)據(jù)源與數(shù)據(jù)倉庫中數(shù)據(jù)的對應關系及轉換規(guī)則都要存儲在元數(shù)據(jù)知識庫中。如果忽視了元數(shù)據(jù)管理,那么最后的集成過程就會很困難,甚至不可能實現(xiàn)。
3、提高系統(tǒng)的安全性與智能性;
4、支持需求變化
元數(shù)據(jù)管理系統(tǒng)可以有效地管理整個業(yè)務的工作流、數(shù)據(jù)流和信息流,使得系統(tǒng)不依賴特定的開發(fā)人員,從而提高系統(tǒng)的可擴展性。
5、提高數(shù)據(jù)質量
借助元數(shù)據(jù)管理系統(tǒng),用戶可以很方便地得到各個數(shù)據(jù)的來龍去脈以及數(shù)據(jù)抽取和轉換的規(guī)則,便捷地發(fā)現(xiàn)數(shù)據(jù)所存在的質量問題。
四、元數(shù)據(jù)管理核心功能
1、元數(shù)據(jù)采集
手動采集:選擇本地文件上傳到服務器來手動采集元數(shù)據(jù)。
自動采集:定義定時的、自動的采集任務,為元數(shù)據(jù)的采集提供自動化的、周期性的,或指定某個時間觸發(fā)的機制。
2、元數(shù)據(jù)存儲
元數(shù)據(jù)分為管理元數(shù)據(jù)、業(yè)務元數(shù)據(jù)和技術元數(shù)據(jù)。
技術元數(shù)據(jù):主要指所在系統(tǒng)的表/字段、數(shù)據(jù)類型、數(shù)據(jù)處理邏輯等技術細節(jié)信息。
管理元數(shù)據(jù):主要指數(shù)據(jù)訪問權限,數(shù)據(jù)處理作業(yè)的結果等數(shù)據(jù)處理過程的元數(shù)據(jù)。
業(yè)務元數(shù)據(jù):主要包含業(yè)務部門,業(yè)務定義,業(yè)務規(guī)則、管理部門等信息。是一種介于業(yè)務人員和系統(tǒng)之間的語義層。
獲取元數(shù)據(jù)后,依照元數(shù)據(jù)管理制度及要求,根據(jù)規(guī)則進行元數(shù)據(jù)分類與定義,實現(xiàn)元數(shù)據(jù)的分類管理。
3、血緣分析
在
數(shù)據(jù)治理過程中,基于元數(shù)據(jù)的整合,血緣分析可以記錄數(shù)據(jù)的血緣關系,進行以數(shù)據(jù)流向為主線的血緣追溯功能,一直追溯到數(shù)據(jù)的來源。
4、影響分析
元數(shù)據(jù)影響性分析是指通過評估數(shù)據(jù)變更,幫助用戶掌握變更可能造成的影響,迅速了解分析當前元數(shù)據(jù)對象的下游數(shù)據(jù)信息,快速識別元數(shù)據(jù)的價值,以便更有效的評估變化帶來的風險。