日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

元數據管理與企業數據運營

時間:2022-11-03來源:流年的哀傷瀏覽數:269

元數據管理是企業數據治理的基礎。

元數據是關于數據的組織、數據域及其關系的信息,簡言之,元數據就是關于數據的數據。

這個定義很難懂?請看以下兩篇文章。關于元數據,全網最通俗易懂的文章!元數據管理—企業數據治理的基礎

— 01 —企業數據治理的現狀與問題

企業架構理論體系中,數據架構始終是企業架構的核心組成部分。TOGAF企業架構框架定義了數據架構位于業務架構與基礎技術架構之間,通過數據架構的治理實現的業務和應用的有效斜街。數據架構基線

  • 數據架構梳理
  • 數據架構優化
  • 數據實體關系
  • 概念數據模型
  • 邏輯數據模型
  • 物理數據模型

數據架構關系

  • 業務流程與數據流向
  • 業務功能/數據關系矩陣
  • 應用/數據關系矩陣
  • 數據架構展現與變更管理平臺

數據管理

  • 數據分布管理
  • 數據質量管理
  • 數據容量管理
  • 數據遷移……

企業數據資產管理的常見問題

  • 數據架構失控
  • 元數據管理混亂
  • 數據標準缺失
  • 數據質量參差不齊
  • 數據增長無序
  • 數據安全問題突出

問題集中于系統變更頻繁、積木式迭代、煙囪式建設:

一、企業的IT系統經歷了數據量高速膨脹的時期,但大多數據企業最初沒有對數據架構重視,導致企業海量的、分散在不同角落,企業無法從統一的業務視角去概覽整個企業內部的數據信息。暴露出來的只是一個個獨立的系統,系統與系統之間的關系、標準數據從哪里獲取都無從知曉。

二、傳統企業的數據資產問題歸根到底是由于企業中對企業數據缺少統一而有力的組織、制度、流程的管控,引起的“數據孤島”問題。

— 02 —企業數據運營的常見問題

企業數據運營中經常遇到的各種各樣問題,如下圖:

  • 怎樣快速找到想要的數據:已存在系統,有哪些關鍵業務數據?它們在哪里?報表A指標值怎么算出來的?原始數據從哪得到的?
  • 數據標準如何定義:關鍵業務數據在不同系統的業務定義?它們的數據結構是怎樣的?同一實體在不同系統中的命名規則及其他屬性一致?同一實體與本系統或其他系統對象是否存在依賴關系?具體的依賴關系描述是怎么樣的?
  • 如何梳理出上下游關系:隨著業務快速發展,數據生產鏈路逐漸變長,生產關系越來越復雜,如何準確高效的梳理出數據間、任務間的血緣關系,識別出關鍵生產鏈路?
  • 數據治理靠什么來驅動:如何驅動資源治理、規范治理等,以及如何衡量治理效果?
  • 數據資產的管理問題:海量的數據資產的歸屬、分級分類,識別隱私數據等管理問題如何解決?一旦對象定義發生變化,其他開發團隊會不會有影響?數據實體所有者是誰?誰作過修改或變更?

這些問題,或許元數據管理能夠幫助到您!

— 03 —元數據管理對數據運營的重要性

元數據管理是數據治理工作是重重之重,為什么企業內部的數據質量總是不高?其實只要有數據存在就有數據質量問題存在。但是也可以通過一個有效的管理流程來提高企業數據質量,其中最核心的核心就是元數據的管理

元數據是企業中用來描述數據的數據。它可理解為比一般意義的數據范疇更加廣泛的數據,不再僅僅表示數據的類型、名稱、值等信息,它可以進一步提供數據的上下文描述信息,比如數據的所屬域、取值范圍、數據間的關系、業務規則,甚至是數據的來源。在數據分析中,元數據可以幫助DW管理員和DW開發人員非常方便地找到他們所關心的數據。元數據提供企業數據DNA
  • 有用的數據在哪里
  • 提供一份數據結構定義和元素的詳細示意圖
  • 數據來龍去脈、關系
  • 數據質量審計
  • 減少數據冗余性,增加數據共享,
  • 使應用開發過程更有效
  • 參照性、引用性、血緣分析、影響分析、變化分析...
  • 利用數據解決企業問題的能力

?— 04 —元數據管理范圍和目標

一般而言,就數據倉庫或者大數據平臺中的元數據可以按不同的維度分為技術元數據、業務元數據、操作元數據等,元數據管理的范圍大致如下三個方面:

元數據源:元數據源數據倉庫和數據平臺中的數據實體定義和結構信息。數據接口:生產系統和操作型系統中采集到數據倉庫或者數據平臺中的各中數據接口信息。

報表展現(BI):報表展現的相關指標和統計口徑。

數據集成(ETL):數據匯總、處理和分析的數據集成相關信息。

元數據管理目標— 05 —元數據管理系統

元數據系統整體分為接收層,服務層,存儲層和應用層。左右兩側分別是主要接入方和應用方,接入方主要包括了大數據引擎、管理工具、開發平臺及工具,應用方主要包括數據地圖、開發平臺、治理平臺等。

  • 接入層:適配不同元數據生產方,轉換成標準定義,輸出全種類實體、關系變更消息。
  • 服務層:基于存儲層提供單點、復雜查詢服務,基于分析引擎提供分析服務。
  • 存儲層:基于圖模型的實體、關系的存儲與查詢,支持統計與分析能力。
  • 應用層:提供數據資產地圖、數據搜索、全鏈路血緣等功能。


基于元數據系統的數據資產搜索能力對各類數據建立數據索引,方便搜索引擎快速找到這些數據,同時搜索引擎提供了根據相關性、元信息完善度、依賴數量、運營規則進行智能排序,幫助用戶用戶快速找到所需數據。

在這個過程中,用戶的點擊率、負反饋率等操作行為數據反饋給搜索引擎,利用這些用戶行為數據,可以優化搜索索引和排序規則。元數據系統提供了全鏈路血緣功能,提供實時血緣查詢能力,解決數據來源不容易確定、難以評估數據變動造成的影響等問題。元數據中的血緣關系在數據生產加工、數據治理中也有廣泛的應用場景。下圖是通過一個簡單的例子介紹血緣是如何構建起來的。主要會使用到元數據中表示關系的屬性,例如輸入、輸出、綁定、關聯等。

除了上面應用場景外,元數據還有以下應用場景:

  • 元數據查詢:開發平臺、指標模型管理、BI工具等通過元數據服務查詢庫表信息。
  • 資產管理:通過系統采集的元數據信息,對數據資產進行集中管理,設置生命周期、安全等級等關鍵屬性。
  • 影響分析:支持查詢當前節點全部下游,支持變更通知模塊根據影響范圍進行變更消息的發送。
  • 價值評估:數據資產價值評估模型通過元數據中心提供的豐富的元數據得以落地。

?—?06 —元數據給企業帶來的收益

提供一份企業級的詳細應用、數據定義和元素的詳細地圖,有利于企業的數據應用人員進行數據分析。

制定企業元數據標準,減少數據冗余性,增加數據共享,使應用開發過程更有效,開發費用更低、避免異構結構定義、提高不同工具之間定義的重復利用率。

  • 幫助用戶理解數據來龍去脈、關系及相關屬性,統一所有報表的統計口徑,減少數據沖突。
  • 數據血緣分析,為數據分析提供直觀的數據處理先后邏輯,協助提升數據質量。
  • 數據影響分析,幫助用戶識別數據實體會影響的相關處理過程和報表,有利于增強企業運營效率、規避錯誤及風險。
  • 通過元數據變更,自始自終確保元數據的準確性和權威性。
元數據管理能夠增強數據理解,可以架起企業內業務與IT部門之間的一座橋梁,無論是企業的業務部門還是IT部門,很少能完整的拿出一套企業各項數據的業務含義、口徑、技術標準、分布情況等的說明,使用元數據管理可以自動化的獲取整個企業的數據業務含義,幫助理解數據,增加分析的敏捷性。使用元數據管理系統能夠方便內部管理、審計或外部監管的需求追溯業務指標、報表的數據來源和加工過程,追述數據的來源;同時還可以針對企業內部、外部的數據需求,快速建立業務與技術之間的銜接,敏捷應對企業用數需求。


(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢