大
數據治理范圍
一、背景概述
1.數據治理
由于切入點和側重點，業內給予了不同的見解。
廣泛認可標準：DMBOK、CO
BIT 5、DGI、和IBM數據治理委員會的定義。
明確數據治理的目標
理解數據治理的職能
把握數據治理的核心
數據治理遵循過程和規范
數據治理的本質：
數據治理不是一門技術，而是邏輯性很強的理論型學科。
1.1大數據治理
Sunil Soares
(1).大數據治理的工作就是制定策略
(2).大數據必須被商業化
從四個方面理解含義
(1).領域
(2).角色
(3).各角色如何參與
(4).大數據治理最終目標：決策
1.2 大數據治理框架
大數據治理范圍
大數據生命周期：數據的采集、存儲、整合、呈現和展示、分析和應用、歸檔與銷毀的流程。
大數據架構：大數據基礎資源層、大數據管理與分析層、大
數據應用與服務層。
?
1.3 大數據架構
1.31 系統架構
分層原則（表現、數據、業務）
模塊化原則
設計模式和框架的應用
1.32 數據架構
數據模型 （數據架構核心框架模型）
數據的價值鏈分析 （業務流程及組件相一致的價值分析）
數據交付與實現架構 （數據庫架構、數倉、文檔和內容架構，以及元數據架構）
1.33 大數據架構
數據采集、存儲、分析和應用功能過程的虛擬化技術，分布式文件，非關系型數據庫，數據資源管理技術
面向數據挖掘、預測、決策的
大數據分析和可視化技術等。
1.34大數據架構參考模型
基礎設施：商用服務器、可結合云計算虛擬化（比如私有云openstack）
非關系數據庫nosql:類表結構數據庫、 文檔數據庫、圖數據庫和鍵-值存儲。
資源管理：一是虛擬化。二是基于Yarn或Mesos的資源管理層。
2.大數據管理與分析層
包含：元數據、主數據、數據倉庫、大數據分析等。
2.1 元數據
關于數據的組織、數據域及其關系的信息。（數據的數據，類元注解這類的解釋）
重點：元數據的管理。
行業標準：OMG標準、W3C標準，空間地理標準，非結構化數據的元數據標準，面向領域的元數據標準。
國際元數據標準：ISO/IEC11179
2.2 數據倉庫
2.21 定義：
面向主題的、集成的、隨時間變化的、相對穩定的（不可更新是歷史數據的快照）、支持決策制定過程的數據集合。
2.22 主要功能：
主要有數據采集、
數據存儲與管理、以及結構化數據、非結構化數據以及實時數據管理等功能。
問：傳統數據庫有數據管理么？
答：有的，傳統數倉管理中，DMBS是主流、大數據體系中，基于分布式文件的存儲（hdfs或其他的如淘寶、騰訊等自研的）是主流
元數據機制主要支持以下幾類功能。
（1）描述數據在哪個數倉中。
（2）定義入倉和出倉的數據。
（3）記錄業務事件發生而抽取的時間安排。
（4）記錄并檢測系統數據一致性的要求和執行情況。
2.23 主數據
Mater Data指的是各個系統間要共享的數據。比如將人員組織關系數據標準化，統一管理。
構建在ETL之上、因此很多
主數據管理平臺包含（數據抽取、數據加載、數據轉換、數據質量管理、數據復制和數據同步等功能）。
2.24 大數據分析
智能決策支持系統DSS
2.3 大數據應用與服務層
傳統接口：JDBC、ODBC、WEB接口
3.大數據架構的實現
基于hadoop的基礎架構
?
ETL數據：低質量數據、無關數據。
Elect抽取數據-->從數據庫中抽取
了解數據結構、字段含義（對文檔、定需求）-->數據質量分析報告。
（1）抽取模式（數據平臺通過一定的工具實現抽取，系統變更后導致失敗，源系統不對數據質量負責，源系統的性能降低問題）（2）供數模式（源系統抽取）
！！！！！數據平臺的項目不能失敗
實時數據的抽取：
定時小批量的面向數據采集
實時業務的數據發送：輪詢或者觸發方式。
（部分內容來源網絡，如有侵權請聯系刪除）
