日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

首頁 行業百科 關于如何進行元數據管理

關于如何進行元數據管理

|億信華辰大數據知識庫2022-07-31

關于如何進行元數據管理

元數據(Metadata)是關于數據的數據。元數據是描述數據倉庫內數據的結構和建立方法的數據。可將其按用途的不同分為兩類:技術元數據(Technical Metadata)和業務元數據(Business Metadata)。

一、什么是元數據

元數據(Metadata)是關于數據的數據。元數據是描述數據倉庫內數據的結構和建立方法的數據。可將其按用途的不同分為兩類:技術元數據(Technical Metadata)和業務元數據(Business Metadata)。


二、元數據類型

元數據可分為技術元數據、業務元數據和管理過程元數據。
技術元數據為開發和管理數據倉庫的 IT 人員使用,它描述了與數據倉庫開發、管理和維護相關的數據,包括數據源信息、數據轉換描述、數據倉庫模型、數據清洗與更新規則、數據映射和訪問權限等。
業務元數據為管理層和業務分析人員服務,從業務角度描述數據,包括商務術語、數據倉庫中有什么數據、數據的位置和數據的可用性等,幫助業務人員更好地理解數據倉庫中哪些數據是可用的以及如何使用。

管理過程元數據指描述管理領域相關的概念、關系和規則的數據,主要包括管理流程、人員組織、角色職責等信息。


三、元數據管理內容
1、元數據統計
用于統計各類元數據的數量,如各部門提供的各類數據的種類,各部門數據被使用的冷、熱度等,方便用戶掌握大數據平臺中元數據的匯總信息。元數據統計的展現方式有報表,圖形等直觀的方式。
2、元數據查詢
元數據系統采用樹形方式來統一展示元數據信息,層級結構清晰,便于用戶直觀了解元數據組織結構。但由于元數據來源繁多,數量巨大,很難快速地精準定位到用戶所關心的特定的元數據信息。自助式元數據查詢為用戶提供直觀簡潔的界面,用戶根據自定義搜索條件,查詢符合該用戶訪問權限的所有元數據信息,以列表的形式展現出來,支持模糊查詢。
3、元數據變更管理
主要是在線對元數據進行變更,如對屬性值進行修改,對變更歷史和變更明細進行查詢,對變更前后進行差異比對。
4、元數據版本管理

元數據版本管理用于管理元數據的版本發布,以及基于版本的元數據查看、比對等操作,通過版本管理功能,用戶可以更清晰了解元數據的版本變更歷史,掌握元數據生命周期,提升了后續使用元數據的可靠性。


四、元數據管理難點
元數據是業務和科技互通的橋梁,是數據治理的重要組成部分。因此元數據建設的好壞對金融企業整體數據以及管理帶來重要的影響。我們認為元數據管理有三個難點:
1、元模型的構建
元模型其核心結構要穩定,因為元數據的建設不是一蹴而就的,需要慢慢地積累和演變,因此存儲元數據的元模型結構一定要抽象出穩定的結構,比如:針對關系抽象出組合關系和依賴關系,針對模型要抽象出每一類型元數據父類或基類以方便其靈活擴展。
2、元數據間的關系
從元數據應用的角度來看,光分析元數據的結構對數據分析人員和數據應用的價值還不是那么突出。元數據管理的價值主要在其關系的豐富程度,舉個不恰當的例子,猶如一個人,如果其社會關系足夠豐富,那么其處理各種事情就游刃有余,元數據也類似數據分析和應用,一定是從其關系中探尋出數據的價值,進而知道業務或進行數據創新,從長期的實踐中發現,基于信息項或字段的元數據關系構建是最穩定的。
3、數據識別

要確定要管理哪些元數據,按元數據的定義來看,只要能描述數據的數據都能作為元數據進行管理,但從價值角度講一定要找到對數據業務、數據運維、數據運營、數據創新帶來幫助的元數據進行管理,避免眉毛胡子一把抓。一般企業元數據建設都是圍繞著源系統、數據平臺、數據集市、數據應用中的數據模型、數據庫、表、字段、報表(指標存儲字段)、字段和字段間的數據關系進行管理。圍繞這條主線,進一步胡管理業務元數據和操作元數據。在建設過程中要圍繞本企業數據管理問題域進行虛實結合的建設。


五、元數據管理方案
1、元數據采集
技術元數據的采集,根據現有元數據設計出元模型,然后將數據倉庫系統之中的元數據按元模型集中匯總并關聯到一起,達到企業對數據統一管理與應用的目的,ETL等產生的元數據,對于元數據管理工具支持的格式可直接進行導入,對于一些自定義的規則,需要進行格式轉換并導入。
業務元數據相對復雜,來源較廣泛且不統一,需要對業務系統進行深入理解,按業務主題進行整理,梳理出業務范圍、業務名稱 、業務定義、業務描述、業務關系等,并添加到元數據管理系統中。主要從以下幾方面來進行梳理:
1)交易、結算系統,提取出各種財務公式、過程邏輯、業務規則等。
2)業務平臺中的各業務流程。
3)表格,在Excel中進行業務計算的公式,列的描述、代碼描述等。
4)文件數據中的標題、作者、時間、內容主題等。
5)報表系統,比如表頭,包含合計、平均數等聚合函數的列,一些計算公式等。
2、存儲管理
對元數據存儲需要使用專門的工具,擬定為(還需要做充分調研)Pentaho Metadata進行存儲管理。通過工具與數據庫系統的對接,將元數據導致進去,對于不支持系統對接的元數據,可手動進行添加。通過管理工具提供的輔助功能可對元數據進行標注、完善等。
六、元數據管理工具
億信睿治數據治理平臺元數據管理內置近30種采集適配器,基本支持所有的主流數據庫的元數據采集,并且可自定義元模型,采集文件數據源的元數據;數據質量管百思特網理內置13中質量檢查規則,滿足各個場景的質檢需求,是筆者目前見過最完善的數據質量管理平臺。
億信元數據管理系統擁有豐富健全的元數據采集機制,支持多種適配器模式,用戶可以選擇相應的采集適配器,從所需的數據庫源中定義采集任務,獲取到用戶所需的元數據,系統支持多種數據庫的數據采集,具有良好的兼容性。
元數據分析模塊采用了圖形的方式展示元數據的血緣分析和影響分析,能直觀展示出向上追溯元數據對象的數據來源,向下尋找依賴該元數據的元數據或實體,能快速分析元數據變化時所帶來的影響。更有全鏈分析來對對應元數據尋找前后有關聯的所有元數據。數據分析模塊還擁有數據地圖,關聯度分析,屬性差異值分析能以拓撲圖展示元數據的層次,提供元數據的關系層次,對比同類元數據的屬性差異。通過多方面的分析能較全面的展示元數據之間的關聯,深層次對元數據進行分析。
認為本內容有幫助
0
您可能需要的數據產品
億信華辰助力政企數字化轉型
customer

在線咨詢

在線咨詢

點擊進入在線咨詢