大數據治理定義：大數據治是廣義信息化治理計劃的一部分，即制定與大數據有關的管理優化、數據保護、數據變現的政策。

它的發起背景多數是由于公司戰略政策和業務日益變大的數據需求和要求所產生的。
說了數據治理產生的背景，我再來談下數據治理的對象。它包括數據、開發流程、管理流程、制度、組織。我認為只要和目標相關聯的，都可以算作治理的對象，數據治理就是將關聯方通過一套完整的管理行為，形成有序的工作以達成目標。

數據治理項目的范圍
元數據從數據的角度可以分為三類：業務元數據、技術元數據和管理元數據。

業務元數據: 是從業務的視角去描述數據，讓不懂數據的人可以快速讀懂數據，例如：表名稱、表的血緣關系、表的字段說明、指標的統計口徑等多種業務描述；
技術元數據: 自然就是從技術的角度去描述數據，例如：表的sql、字段長度、字段類型等多種技術描述；
管理元數據: 是包含數據管理的信息在里面，例如：表的業務屬主、表的技術負責人。
元數據的管理通常包含：血緣分析、數據生命周期。

血緣分析：對元數據的上下游進行分析，按照數據存儲的數據庫將血緣分析分為了兩類：

存在Hadoop平臺的血緣分析，可用通過腳本解析出到字段級的上下游關系；
建表有主外鍵的，可通過主外鍵建立血緣關系。
數據生命周期：數據都存在生命周期，當元數據訪問量變低，數據價值不存在的時候，可將它下線清除，釋放存儲空間。

數據安全
數據安全主要是對數據的安全脫敏管控和安全檢查，脫敏機制有兩種方案：

1）在數據倉庫的接入和輸出進行脫敏管控：數據接入識別敏感信息，通過脫敏工具進行脫敏處理，產生脫敏表和敏感表兩張表（脫敏表與敏感表之間要有映射關系），敏感數據不對中間層開放，對于數倉中間層則只有脫敏表，開發和測試的時候也只能使用脫敏表，在數據輸出層，首先應用層的開發先對敏感數據進行申請，申請通過后得到敏感表的使用權，開發通過映射關系將敏感表的脫敏數據進行關聯處理。

這種方案的好處：安全易管控，脫敏過程少，但會增加開發的工作量。

2）針對用戶進行脫敏管理，數據倉庫的每一層都需要對敏感數據進行脫敏處理，對于敏感數據申請權限的用戶可以查看敏感信息，沒有權限的用戶只能查看脫敏表。這種脫敏機制好處在于對開發沒什么影響，但加大安全管理的復雜度，需要全域掃描敏感信息，脫敏工作大。

數據質量
數據安全主要是對數據的安全脫敏管控和安全檢查，脫敏機制有兩種方案：

1）在數據倉庫的接入和輸出進行脫敏管控：數據接入識別敏感信息，通過脫敏工具進行脫敏處理，產生脫敏表和敏感表兩張表（脫敏表與敏感表之間要有映射關系），敏感數據不對中間層開放，對于數倉中間層則只有脫敏表，開發和測試的時候也只能使用脫敏表，在數據輸出層，首先應用層的開發先對敏感數據進行申請，申請通過后得到敏感表的使用權，開發通過映射關系將敏感表的脫敏數據進行關聯處理。

這種方案的好處：安全易管控，脫敏過程少，但會增加開發的工作量。

2）針對用戶進行脫敏管理，數據倉庫的每一層都需要對敏感數據進行脫敏處理，對于敏感數據申請權限的用戶可以查看敏感信息，沒有權限的用戶只能查看脫敏表。這種脫敏機制好處在于對開發沒什么影響，但加大安全管理的復雜度，需要全域掃描敏感信息，脫敏工作大。

數據價值
數據治理最重要的產出物，通過數據治理能為業務帶來的業務價值。如我所在的公司，數據價值體現在數據資產可視化。對于不同看數據角色定義不同的價值，對于數據業務分析人員，通過數據標準化管理和平臺搭建，讓不懂數據的業務能夠快速掌握數據，并可以自己進行數據挖掘、數據分析等工作。

對于高層領導，將公司的業務數據以報告的形式，讓領導快速了解數據的成本及分布情況。當然不同的公司側重的價值會不一樣，數據治理同時也能有效的控制數據成本，減少因為數據帶來的摩擦，提升數據質量和安全。

數據開發
對數據開發進行標準的流程管理是數據治理核心的一部分，首先根據公司實際情況分析、制定可落地的數據開發管理規范。過于復雜的數據開發規范維護成本高，同時也加重開發工作量，導致難以執行。過于簡單的規范又無法很好的管理開發流程。最主要的還是定制完規范后拉各關聯方進行評審，大家對可落地，可管理的角度是評估規范。

當規范制定好后，就是按照規范進行落地執行。通常數據開發規范包含：數據建模、數據設計、數據項目部署和實施。

數據建模是一種分析和設計方法，用于：

定義和分析數據需求；
設計滿足需求的數據結構。
組織建設
數據組織是保障數據治理能夠長期有效的重要手段之一，通常數據組織都是可以跨職責的，組織的職能和分類如下：

1）數據治理委員會，在公司內部擁有數據的最高決策權，代表了企業的高層視角

2）數據管理指導委員會，為數據委員會提供支持，針對一些具體數據管理措施起草相關政策和標準，提供委員會評審和批準

3）數據管理制度團隊，在某個業務領域內，協助完成數據制度管理的數據管理專員小組，數據管理制度團隊來著不同的部門和跨業務領域的數據專家