一、什么是元數據
元數據(Meta Date),即關于數據的數據或者叫做用來描述數據的數據或者叫做信息的信息。我們可以把元數據簡單的理解成,最小的數據單位。元數據可以為數據說明其元素或屬性(名稱、大小、數據類型、等),或其結構(長度、字段、數據列),或其相關數據(位于何處、如何聯系、擁有者)。
二、元數據的特點
①元數據是與對象相關的數據,此數據使其潛在的用戶不必先具備對這些對象的存在和特征的完整認識。
②元數據是關于數據的結構化的數據,它不一定是數字形式的,可來自不同的資源。
③元數據包含用于描述信息對象的內容和位置的數據元素集,促進了網絡環境中信息對象的發現和檢索。
④元數據是對信息包裹(Information Package)的編碼的描述。
⑤在信息對象或系統的生命周期中自然增加元數據。
⑥元數據常規定義中的“數據”是表示事務性質的符號,是進行各種統計、計算、科學研究、技術設計所依據的數值,或是說數字化、公式化、代碼化、圖表化的信息。
⑦元數據不僅對信息對象進行描述,還能夠描述資源的使用環境、管理、加工、保存和使用等方面的情況。
三、元數據管理的價值
元數據管理平臺為用戶提供高質量、準確、易于管理的數據,它貫穿數據中心構建、運行和維護的整個生命周期。同時,在數據中心構建的整個過程中,數據源分析、ETL過程、數據庫結構、數據模型、業務應用主題的組織和前端展示等環節,均需要通過相應的元數據的進行支撐。
通過元數據管理,形成整個系統信息數據資的準確視圖,通過元數據的統一視圖,縮短數據清理周期、提高數據質量以便能系統性地管理數據中心項目中來自各業務系統的海量數據,梳理業務元數據之間的關系,建立信息數據標準完善對這些數據的解釋、定義,形成企業范圍內一致、統一的數據定義,并可以對這些數據來源、運作情況、變遷等進行跟蹤分析。
四、元數據分類
元數據一共分為3個大類:業務元數據、管理元數據、技術元數據。
1、業務元數據
1)模型元數據:數據建模,是一種對業務的描述,通過模型可更好地了解業務。常見的建模方式有范式模型、維度模型、多維建模等;
2)應用元數據:描述數據應用類的元數據;
3)分析元數據:從數據分析角度,描述業務的元數據。
2、管理元數據
描述企業內部,數據管理相關內容。
3、技術元數據
1)物理元數據:描述物理資源的元數據,包括但不限于服務器、操作系統、機房位置等信息;
2)數據源元數據:描述數據源的元數據;
3)存儲元數據:描述對象存儲的元數據,也是通常"狹義"上的元數據;
4)計算元數據:描述數據計算過程的元數據,通常可分為數據抽取(ETL)或數據加工(JOB)兩類計算;
5)質量元數據:描述數據質量的一類元數據。通常情況下,是通過定義一系列質量指標反映數據質量;
6)操作元數據:描述數據是如何進行使用的一類元數據;
7)運維元數據:描述系統運維層面的元數據,通常包括任務類、報警類及故障類;
8)成本元數據:描述數據存儲及計算成本的元數據;
9)標準元數據:描述數據標準化內容的元數據;
10)安全元數據:描述數據安全內容的元數據;
11)共享元數據:描述數據是如何共享的部分,包括接口方式、格式、內容等。