導讀：隨著大數(shù)據(jù)的深入發(fā)展，數(shù)據(jù)越來越成為公司的重要資產(chǎn)，但圍繞數(shù)據(jù)流的全鏈路管理工作細致且技術復雜，數(shù)據(jù)的治理越來越成為DT時代數(shù)據(jù)資產(chǎn)化、價值化的關鍵核心，該如何成體系地構(gòu)建數(shù)據(jù)治理框架？今天將介紹阿里巴巴在數(shù)據(jù)治理上的一些實踐和總結(jié)。主要包括以下兩方面內(nèi)容：

數(shù)據(jù)治理概念和需求層次

企業(yè)數(shù)據(jù)治理痛點與阿里巴巴數(shù)據(jù)治理實踐

01數(shù)據(jù)治理概念和需求層次

數(shù)據(jù)以及數(shù)據(jù)領域經(jīng)過多年的發(fā)展，行業(yè)已經(jīng)沉淀了較為完善的理論體系，比如數(shù)據(jù)管理協(xié)會DAMA推出的數(shù)據(jù)十大職能領域、DCMM推出的數(shù)據(jù)管理能力成熟度評估，以及國內(nèi)信通院推出的數(shù)據(jù)資產(chǎn)管理實踐白皮書。這些指導標準，不但有利于產(chǎn)業(yè)發(fā)展的高度，同時也使得行業(yè)朝著更加規(guī)范、健康的方向發(fā)展。

國際上的標準更加側(cè)重于對完整的數(shù)據(jù)生命周期進行管理，而國內(nèi)則更加注重從組織、制度、流程、技能角度，對數(shù)據(jù)進行不同視角下的解讀和處理。

2. 數(shù)據(jù)治理的概念和需求層次

在數(shù)據(jù)的管理過程中，要保證一個組織已經(jīng)將數(shù)據(jù)轉(zhuǎn)換成有用的信息，在這個過程中所需要的流程、工具就是數(shù)據(jù)治理的主要內(nèi)容。

隨著數(shù)據(jù)行業(yè)的發(fā)展，數(shù)據(jù)治理的內(nèi)涵也逐步泛化，涵蓋了更多的方面和層次，比如數(shù)據(jù)發(fā)現(xiàn)可用，數(shù)據(jù)及時穩(wěn)定產(chǎn)出，數(shù)據(jù)質(zhì)量保障，數(shù)據(jù)安全合規(guī)，數(shù)據(jù)生產(chǎn)的經(jīng)濟性等。對于企業(yè)的不同發(fā)展階段，數(shù)據(jù)治理的需求也存在著差異。

質(zhì)量：主要從數(shù)據(jù)自身屬性和特點的角度，來衡量數(shù)據(jù)可靠的一些標準，包含了準確性、完備性、唯一性、一致性、有效性等。

可用：數(shù)據(jù)的接入和加工完成后，就是數(shù)據(jù)發(fā)揮價值的環(huán)節(jié)，即數(shù)據(jù)要容易被查詢到，并且能夠被理解。另外一個比較重要的點是可復用，復用可以放大數(shù)據(jù)價值。

安全：談到數(shù)據(jù)，就會涉及安全性，主要包括數(shù)據(jù)權限的管理，敏感數(shù)據(jù)的處理與應用，以及滿足各種數(shù)據(jù)政策和法規(guī)的要求。

經(jīng)濟：在數(shù)據(jù)的生產(chǎn)、處理，以及價值挖掘等環(huán)節(jié)相對完善之后，圍繞數(shù)據(jù)體系的經(jīng)濟特性，將會是企業(yè)的重點考慮方向。

02企業(yè)數(shù)據(jù)治理痛點、阿里巴巴數(shù)據(jù)治理實踐

1. 企業(yè)數(shù)據(jù)治理的典型痛點

隨著國家數(shù)字化政策的引導和推動，企業(yè)越來越重視數(shù)據(jù)，但企業(yè)的數(shù)據(jù)治理成效方面依然進展緩慢，數(shù)據(jù)問題依舊存在，其中缺少系統(tǒng)化的工具平臺支撐治理落地和效果展現(xiàn)是關鍵原因之一。

數(shù)據(jù)治理咨詢成果落地不足：數(shù)據(jù)治理產(chǎn)出成果，比如各類規(guī)范和管理辦法，包括數(shù)據(jù)字典，多以“紙面文件”的形式流轉(zhuǎn)與企業(yè)中，與實際業(yè)務和數(shù)據(jù)沒有緊耦合，能滿足“我有”，但是沒能做到“我執(zhí)行”。

自動化服務程度不高：業(yè)務人員使用數(shù)據(jù)更多需要數(shù)據(jù)和技術人員的貼身服務，按照IT建設的模式提出數(shù)據(jù)加工需求或者取數(shù)需求，以被動支持的方式滿足業(yè)務需求，沒有形成數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)服務目錄。

數(shù)據(jù)治理在線管理能力不足：依賴貼身服務，業(yè)務人員難以借助工具自行完成。缺少靈活友好的數(shù)據(jù)治理在線管理工具來支持數(shù)據(jù)治理全流程工作，數(shù)據(jù)治理與數(shù)據(jù)原倉之間沒有打通“數(shù)據(jù)的描述”和“數(shù)據(jù)的記錄”兩張皮。

數(shù)據(jù)治理成效可視度低：缺少量化方式來評估數(shù)據(jù)治理成熟度水平，數(shù)據(jù)治理工作的推動成效無法體現(xiàn)，變成了純手動的臟活累活，嚴重影響數(shù)據(jù)治理工作的開展推進。

治理中的痛點有很多，往往是由于認識不足導致的，尤其是思維方式。信息技術的飛速發(fā)展，使得信息的架構(gòu)已經(jīng)從傳統(tǒng)基于需求的IT架構(gòu)發(fā)展為基于數(shù)據(jù)的DT架構(gòu)，思維方式也需要相應地升級到圍繞數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)價值釋放為核心的新模式。

2. 阿里巴巴數(shù)據(jù)治理新模式

不同模式下思考和解決問題的方式存在著很大的區(qū)別，模式的改變主要包括以下三個方面：

變思維：轉(zhuǎn)變傳統(tǒng)思維定式，從IT思維向DT思維轉(zhuǎn)型

變模式：工具和技術是生產(chǎn)工具，數(shù)據(jù)才是核心，IT流程不是核心

變定位：擺脫成本中心泥潭，通過運營數(shù)據(jù)資產(chǎn)，探索如何成為利潤中心

基于DT架構(gòu)的思維模式，結(jié)合數(shù)據(jù)發(fā)展的階段不同，阿里巴巴形成了一套自己的數(shù)據(jù)治理模式：

數(shù)據(jù)穩(wěn)定性與質(zhì)量治理：解決數(shù)據(jù)產(chǎn)出及時性和準確性問題

數(shù)據(jù)規(guī)范治理：解決數(shù)據(jù)口徑一致性問題

數(shù)據(jù)安全治理：解決數(shù)據(jù)權限控制與數(shù)據(jù)共享交換問題

數(shù)據(jù)成本治理：解決數(shù)據(jù)計算和存儲成本高昂問題

阿里巴巴每天有千萬級大數(shù)據(jù)計算任務產(chǎn)生海量數(shù)據(jù)，千萬級任務的調(diào)度情況下，調(diào)度依賴關系復雜程度遠超過人工處理程度，阿里推出了智能基線監(jiān)控機制確保高優(yōu)先任務高保障產(chǎn)出。

智能識別（DAG）關鍵路徑，合理設定告警閾值

任務異常產(chǎn)生事件，自動評估事件影響范圍，通知相應人員

靈活告警方式配置，支持釘釘群機器人、電話

② 數(shù)據(jù)質(zhì)量治理

數(shù)據(jù)質(zhì)量直接影響數(shù)據(jù)價值和加工效率，高質(zhì)量的數(shù)據(jù)對完整性、有效性、準確性、唯一性、一致性、合理性等特性有很高的要求。阿里巴巴將這些特性封裝成靈活的規(guī)則，然后將規(guī)則應用到具體的任務，通過調(diào)度平臺，進行規(guī)則巡檢和規(guī)則執(zhí)行，并對有問題的任務進行告警或者阻塞處理。其關鍵特點如下：

質(zhì)量監(jiān)控與調(diào)度掛鉤，第一時間發(fā)現(xiàn)問題，避免上游臟數(shù)據(jù)污染下游數(shù)據(jù)，大大減小影響面。

40+規(guī)則&自定義規(guī)則，精細化質(zhì)量控制。

無需設定閾值，算法自動判斷異常值。

故障快速恢復。

③ 數(shù)據(jù)規(guī)范治理

數(shù)據(jù)在實現(xiàn)層面以表為單位進行，阿里巴巴圍繞數(shù)據(jù)生產(chǎn)使用全生命周期，在指標體系設計、數(shù)據(jù)模型設計、數(shù)據(jù)處理任務開發(fā)、數(shù)據(jù)服務開放等環(huán)節(jié)的每個關鍵階段都設計具體標準、流程及規(guī)范，同時抽象核心公共層，進行強管控：架構(gòu)評審，發(fā)布管控，建設評估，持續(xù)改進。而對核心以外的部分，采取輕約束的方式推進。

④ 數(shù)據(jù)標準管理

數(shù)據(jù)的標準，主要是落實到開發(fā)層面的具體規(guī)范約束，比如制定各類數(shù)據(jù)實體（元素、碼表、模型分層、模型等）的設計約束，規(guī)范每類業(yè)務實體包含的屬性，屬性是否必須，屬性內(nèi)容約束等規(guī)則。

具體如圖所示：

隨著數(shù)據(jù)安全問題頻發(fā)，人們對數(shù)據(jù)的安全意識越來越強烈，數(shù)據(jù)安全治理也越來越關鍵。阿里巴巴通過基礎的數(shù)據(jù)分級、權限控制來達到規(guī)范安全使用數(shù)據(jù)的目的，并通過敏感數(shù)據(jù)發(fā)現(xiàn)與脫敏，與第三方協(xié)作時構(gòu)建可信計算環(huán)境（即聯(lián)邦建模），以及數(shù)據(jù)的風險審計來搭建數(shù)據(jù)安全的完整體系。

其中對數(shù)據(jù)的分類，面向阿里龐大的數(shù)據(jù)體量，使用人工的方式很不現(xiàn)實，阿里自建了一套自動的數(shù)據(jù)打標工具，集合人工調(diào)整的方式，更合理地管理數(shù)據(jù)的分類分級體系。

通過設立組織大的成本目標，然后通過培養(yǎng)個人的成本意識，在數(shù)據(jù)的計算與存儲、治理與運營層面建立具體目標去細化和落地，來推進數(shù)據(jù)治理方面的成本管理。比如阿里巴巴2020年成本治理的目標：數(shù)據(jù)成本增速不能超過業(yè)務增速。

3. 阿里巴巴數(shù)據(jù)治理的成功關鍵

數(shù)據(jù)治理是一個非常龐大且細致的工作，阿里數(shù)據(jù)治理方面的成功主要源于上圖三個方面。

DT時代的核心思維就是數(shù)據(jù)的資產(chǎn)化，阿里將數(shù)據(jù)的資產(chǎn)化以及圍繞數(shù)據(jù)資產(chǎn)的價值的挖掘作為治理的核心目標。

從自上而下來看，站在全公司的高度來頂層設計，著手解決數(shù)據(jù)的管理問題，提供足夠的授權和支持。

從下而上來看，通過構(gòu)建強大的技術平臺支撐和完善的運營體系兩個方面促進治理的切實落地。

阿里構(gòu)建了以數(shù)據(jù)管理團隊負責人、業(yè)務線數(shù)據(jù)負責人、數(shù)據(jù)平臺負責人為核心的虛擬數(shù)據(jù)治理小組，從組織上劃分清洗數(shù)據(jù)治理的權責邊界， 并且從管理辦法、管理流程、技術規(guī)范及模板等建立起完整的數(shù)據(jù)治理制度保障。

一部數(shù)據(jù)資產(chǎn)管理方法論：按照數(shù)據(jù)運營思想貫穿數(shù)據(jù)建設的全過程。

一組平臺工具支撐

強大的平臺能力支撐是治理落地的核心保障，技術的創(chuàng)新和演進是數(shù)據(jù)治理落地的堅實基礎。阿里自研了DataWorks和MaxCompute兩個平臺，支撐全司的數(shù)據(jù)治理落地。

MaxCompute：自研、全托管、EB級大數(shù)據(jù)存儲和計算引擎，阿里自研的安全可靠、高效能、低成本、從GB到EB級別按需彈性伸縮的在線大數(shù)據(jù)計算服務，致力于海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的存儲和計算服務，提供數(shù)據(jù)倉庫的解決方案及分析建模服。

運營落地

組織、制度、平臺有了之后，推動數(shù)據(jù)治理落地最后一公里的治理運營是成功的關鍵因素。阿里巴巴構(gòu)建了量化的治理的評價體系（健康分）、日常治理運營推送和專項整治活動密切結(jié)合。

構(gòu)建量化的數(shù)據(jù)治理評價體系，日常治理運營和專項整治相結(jié)合，促進治理工作持續(xù)落地改進。