數據治理體系

數據治理體系內容從兩個維度來看：

1）數據治理難點痛點：數據脈絡不清晰、數據匯聚能力不足、數據管控能力薄弱、數據治理體系不完善、開放形式不完善。

2）數據治理5個核心：理、聚、管、治、用。

數據治理體系主要包含內容有數據標準、元數據、數據建模、數據集成、數據生命周期、數據質量、數據開放、數據安全及數據應用。

2.1、元數據解決的問題

有什么數據 - 數據是什么 - 來自何處 - 如何流轉 - 誰可以訪問

其本質也是一種數據，，開展元數據管理工作是開展數據資產管理的基礎。

2.2、元數據分類

業務元數據：描述數據系統中業務領域相關概念、關系和規則的數據；包括業務術語、信息分類、指標、統計口徑等。（從業務角度描述的）

技術元數據：描述數據系統中技術領域相關的概念、關系和規則的數據；包括數據平臺內對象和數據結構的定義、源數據到目的數據的映射、數據轉換加工過程的描述等。

管理元數據：描述數據系統中管理領域相關概念、關系、規則的數據；主要包括人員角色、崗位職責、管理流程等信息。

2.3、元數據模型成熟度

1、第一階段：需要手動管理元數據，即在數據治理流程外需要額外增加的步驟。

2、第二階段：在數據探查階段自動生成元數據。

3、第三階段：自動構建數據流轉元數據。

2.4、元數據建設目標和管理手段

2.5、元數據管理

元數據管理方法：

元數據管理能力：

3.1、常見的數據標準包含基礎數據標準和指標數據標準。

主要構成：業務定義+管理信息+技術屬性

數據標準包含內容包括：主題&分類+標注屬性+標準代碼

不同行業的標準不同，這里僅是舉例說明。

如：性別、身份證、金額、手機號碼、行業、級別的分級分類的代碼等

3.3、數據標準管理體系涉及思路 數據標準來源于業務，服務于業務。 依據已有標準進行建設

基礎類數據標準：業務化視角

指標類數據標準：從管理角度出發

數據標準的制定是一個以業務管理為主導、外部要求為依據、企業現狀為基礎的兼容過程。

3.4、數據標準架構體系

通過統一標準和架構規范，統一指標、統一術語、統一模型、統一信息項，解決數據口徑解釋不清晰、業務和數據理解不一致等問題，實現數據在架構層面的統一

但并非所有基礎類數據都要建立標準，納入標準的數據項需要滿足共享性、重要性和可行性的準入原則。

3.5、管理類數據標準建設原則

定義：分析類數據標準的業務含義和所適用的業務場景保持一致。

口徑：分析類數據標準的業務取值范圍、計算方法和編碼規則等業務規則保持一直。

名稱：分析類數據標準中文名稱和英文名稱均采用統一命名規則，表示相同業務含義的信息項名稱應保持一直。

參照：各分析類數據標準項標準化時參考的外部標準（包括國際標準、國家標準和行業標準），內部業務制度和業務規范應保持一致。

來源：每個分析類數據標準都應有權威的來源系統；其他系統使用該信息時應直接取用權威系統結果，以保持一致。

以下為某企業數據標準體系框架示例，分為基礎類數據標準和管理類數據標準

3.6、數據標準生命周期管理

4.1、概念

企業級數據模型建設方法：從全局入手，涉及標準化數據模型，構建統一的數據模型管控體系，豐富和完善數據實體相關屬性信息，梳理數據實體之間的邏輯關系，最終形成不同主題域數據模型。

4.2、數據模型分類

4.3、數據模型生命周期

4.4、案例

數據集成

5.1、概念

數據集成：主要是指基于企業分散的信息系統的業務數據進行再集中、再統一管理的過程，是一個漸進的過程，主要有新的、不同的數據產生，就不斷有數據集成的步驟和方案執行。數據集成是把不同來源、格式、特點性質的數據在邏輯上或物理上有機的集中，從而為企業數據共享提供基礎支撐。

5.2、數據集成整體架構

6.1、階段劃分

按照兩個大的階段來劃分：數據治理規劃階段+數據生命周期管理階段

數據治理規劃階段：

業務規劃定義階段：業務規劃、業務標準設計

應用設計實現階段：數據模型設計、應用標準設計、應用設計實現、數據錄入

數據生命周期管理階段：

數據創建：利用數據模型保證數據完整、執行數據標準保證數據準確、加入數據質量檢查創建準確、保證數據在合理的系統生成；

數據使用：利用元數據監控數據使用、利用數據標準保證數據準確、利用數據質量檢查加工準確、確保數據在合理的系統使用、控制數據的派生；

數據歸檔：利用評估手段保證歸檔時機、分數據類型規檔數據；

數據銷毀：利用評估手段保證數據銷毀時機，分數據類型銷毀數據。

要求：

滿足對歷史數據查詢相關政策和管理制度的要求

滿足業務操作和管理分析的需要

滿足審計管理要求

減少數據冗余，提高數據一致性

存儲、硬件、運維等方面基礎設施投入

提升應用系統性能，提高響應速度

6.2、管理要求和手段

6.3、管理規范和管理辦法

7.1、數據質量管理目標

1.根據數據消費者的需求，開發一種滿足數據質量要求的管理方法

2.定義數據質量控制的標準和規范，并作文整個數據生命周期的一部分

3.定義和事實測量、監控和報告數據質量水平的過程

4.根據數據消費者要求，通過改變流程和系統，以及參與可顯著改善數據質量的活動，識別和倡導提高數據質量的機會

7.2、生命周期

計劃階段：數據質量團隊評估已知的問題范圍、影響和優先級，并評估解決這些問題的備選方案。

執行計劃：數據質量團隊負責努力解決引起問題的根本原因，并做出對持續監控數據的計劃（技術問題、流程問題）。

檢查階段：這一階段包括積極監控按要求評測的數據質量。

處理階段：處理和解決新出現的數據質量問題的活動。

7.3、數據質量維度

7.4 數據質量常用工具

圍繞數據價值通道（數據資產 -> 數據服務 -> 業務應用）來設計數據開發的全流程管理，推動數據價值的釋放。

8.1 數據資產

數據資產的應用實現方式，打通基礎數據鏈條，實現聯通協同，提升數據價值

數據資產生命周期：注冊、變更、監控、下線

8.2 數據服務

數據服務技術架構:

數據安全體系包含：數據安全技術體系+安全管理體系+安全運營體系

10.1、含義

10.2、ETL模式

10.3、離線和實時

實時數據：

離線數據：

使用場景：