數(shù)據(jù)治理：數(shù)據(jù)價(jià)值的釋放之匙?

據(jù)戴爾易安信最新調(diào)查顯示：全球大多數(shù)企業(yè)現(xiàn)已認(rèn)識(shí)到數(shù)據(jù)的價(jià)值，受管理的平均數(shù)據(jù)量從2016年的1.45PB增加至2018年的9.70PB。全球范圍內(nèi)，92%的受訪者都看到了數(shù)據(jù)的潛在價(jià)值，36%的受訪者當(dāng)前正將數(shù)據(jù)轉(zhuǎn)化為經(jīng)濟(jì)效益。隨著數(shù)據(jù)價(jià)值的日益突顯，越來(lái)越多的企業(yè)開始進(jìn)行數(shù)字戰(zhàn)略轉(zhuǎn)型，有的通過(guò)數(shù)據(jù)平臺(tái)過(guò)渡到數(shù)據(jù)中臺(tái)，有的直接建設(shè)數(shù)據(jù)中臺(tái)。所謂“無(wú)規(guī)矩不成方圓”，因歷史原因企業(yè)在發(fā)展過(guò)程中已經(jīng)形成了系統(tǒng)林立的情況，匯集到數(shù)據(jù)平臺(tái)的數(shù)據(jù)都各具特色，缺乏標(biāo)準(zhǔn)、規(guī)范、治理的數(shù)據(jù)已經(jīng)失去了使用的價(jià)值。為了規(guī)范數(shù)據(jù)處理過(guò)程，凸顯數(shù)據(jù)業(yè)務(wù)價(jià)值，需對(duì)數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行綜合管理，構(gòu)建標(biāo)準(zhǔn)化、流程化、自動(dòng)化、一體化的數(shù)據(jù)治理體系，確保數(shù)據(jù)架構(gòu)規(guī)劃合理、數(shù)據(jù)加工條理清晰、數(shù)據(jù)處理可管控、數(shù)據(jù)知識(shí)可傳承。有效的數(shù)據(jù)治理可以確保企業(yè)數(shù)據(jù)全面一致可信，從而全面釋放數(shù)據(jù)資產(chǎn)的價(jià)值。02 數(shù)據(jù)治理之困只有確保數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化、可信可用，才能進(jìn)一步通過(guò)數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)應(yīng)用幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理、發(fā)現(xiàn)內(nèi)部數(shù)據(jù)問(wèn)題、發(fā)掘數(shù)據(jù)價(jià)值，進(jìn)而實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的盤活和有效利用。數(shù)據(jù)治理應(yīng)該采用最簡(jiǎn)單的手段管理最有價(jià)值的數(shù)據(jù)，但在實(shí)際情況中，我們遇到過(guò)在很多數(shù)據(jù)治理開展過(guò)程中，常見的“兩不三難”的情況：

1）后向型治理，不一致：因歷史原因，很多企業(yè)采用“先建后治”的方式，通過(guò)手工填報(bào)、反向解析代碼、腳本等的方式進(jìn)行元數(shù)據(jù)探查、血緣探查、數(shù)據(jù)質(zhì)量管理，事后才能發(fā)現(xiàn)問(wèn)題，容易造成管理的內(nèi)容和生產(chǎn)內(nèi)容的不一致。

2）被動(dòng)型治理，不高效：當(dāng)發(fā)現(xiàn)質(zhì)量問(wèn)題時(shí)建設(shè)質(zhì)量平臺(tái)、需要數(shù)據(jù)字典的時(shí)候建設(shè)元數(shù)據(jù)管理平臺(tái)，將原本完整的治理體系割裂為多個(gè)系統(tǒng)、多個(gè)平臺(tái)，造成系統(tǒng)集成難度高、治理效果差。

3）誤區(qū)型治理，難聚焦：隨著中臺(tái)的建設(shè)腳本和任務(wù)越來(lái)越多，本來(lái)管理數(shù)據(jù)變?yōu)榱斯芾沓绦颍粩?shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù)，走入誤區(qū)變成管理程序、腳本、任務(wù)，造成了管理失焦。

4）項(xiàng)目型治理，難延續(xù)：數(shù)據(jù)治理的最終目標(biāo)是提升數(shù)據(jù)價(jià)值，是一個(gè)持續(xù)漫長(zhǎng)的運(yùn)營(yíng)過(guò)程，需要逐步完善、分步迭代，指望一步到位完成數(shù)據(jù)治理是不現(xiàn)實(shí)的，但在實(shí)際執(zhí)行過(guò)程中往往以項(xiàng)目交付為目標(biāo)，點(diǎn)到為止，導(dǎo)致治理不全面、無(wú)延續(xù)，效果也注定是差強(qiáng)人意。

5）兼職型治理，難落地：由于每個(gè)行業(yè)、企業(yè)、單位的組織體系、數(shù)據(jù)應(yīng)用、基礎(chǔ)架構(gòu)不同，需要通過(guò)方法論找到適合企業(yè)的特有的數(shù)據(jù)治理思路，同時(shí)需要專人或?qū)I(yè)團(tuán)隊(duì)進(jìn)行強(qiáng)有力的支撐，但實(shí)際執(zhí)行過(guò)程中往往是企業(yè)安排員工進(jìn)行兼職管理，導(dǎo)致職責(zé)不清晰，主動(dòng)性不強(qiáng)，治理工作落地困難。

數(shù)據(jù)治理之道

在傳統(tǒng)數(shù)據(jù)平臺(tái)階段，數(shù)據(jù)治理的目標(biāo)主要是做管控，為數(shù)據(jù)部門建立一個(gè)的治理工作環(huán)境，包括標(biāo)準(zhǔn)、質(zhì)量等。而在數(shù)據(jù)中臺(tái)階段，用戶對(duì)數(shù)據(jù)的需求持續(xù)增長(zhǎng)，用戶范圍從數(shù)據(jù)部門擴(kuò)展到全企業(yè)，數(shù)據(jù)治理不能再只是面向數(shù)據(jù)部門了，需要成為面向全企業(yè)用戶的工作環(huán)境，需要以全企業(yè)用戶為中心，從給用戶提供服務(wù)的角度，管理好數(shù)據(jù)的同時(shí)為用戶提供自助獲得大數(shù)據(jù)的能力，幫助企業(yè)完成數(shù)字化轉(zhuǎn)型。通過(guò)分析數(shù)據(jù)治理實(shí)際開展過(guò)程中出現(xiàn)的一些問(wèn)題，總結(jié)出了數(shù)據(jù)治理的幾個(gè)關(guān)鍵要素：

1）數(shù)據(jù)治理需要體系建設(shè)：為發(fā)揮數(shù)據(jù)中臺(tái)價(jià)值需要滿足三個(gè)要素：合理的平臺(tái)架構(gòu)、完善的治理服務(wù)、體系化的運(yùn)營(yíng)手段。根據(jù)企業(yè)的規(guī)模、所屬行業(yè)、數(shù)據(jù)量等情況選擇合適的平臺(tái)架構(gòu)；治理服務(wù)需要貫穿數(shù)據(jù)全生命周期，保證數(shù)據(jù)在采集、加工、共享、存儲(chǔ)、應(yīng)用整個(gè)過(guò)程中的完整性、準(zhǔn)確性、一致性和實(shí)效性；運(yùn)營(yíng)手段則應(yīng)當(dāng)包括規(guī)范的優(yōu)化、組織的優(yōu)化、平臺(tái)的優(yōu)化以及流程的優(yōu)化等等方面。

2）數(shù)據(jù)治理需要夯實(shí)基礎(chǔ)：數(shù)據(jù)治理需要循序漸進(jìn)，但在數(shù)據(jù)中臺(tái)建設(shè)初期至少需要關(guān)注三個(gè)方面：數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全。規(guī)范化的模型管理是保障數(shù)據(jù)可以被治理的前提條件，高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)可用的前提條件，數(shù)據(jù)的安全管控是數(shù)據(jù)可以共享交換的前提條件。?

3）數(shù)據(jù)治理需要IT賦能：數(shù)據(jù)治理不是一堆規(guī)范文檔的堆砌，而是需要將治理過(guò)程中所產(chǎn)生的的規(guī)范、流程、標(biāo)準(zhǔn)落地到IT平臺(tái)上，在數(shù)據(jù)生產(chǎn)過(guò)程中通過(guò)前向的方式進(jìn)行數(shù)據(jù)治理，避免事后稽核帶來(lái)運(yùn)維成本的增加。

4）數(shù)據(jù)治理需要聚焦數(shù)據(jù)：數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù)，因此需要加強(qiáng)元數(shù)據(jù)管理，補(bǔ)齊數(shù)據(jù)的相關(guān)屬性和信息，比如：元數(shù)據(jù)、質(zhì)量、安全、業(yè)務(wù)邏輯、血緣等；應(yīng)通過(guò)元數(shù)據(jù)驅(qū)動(dòng)的方式管理數(shù)據(jù)生產(chǎn)。

5）數(shù)據(jù)治理需要建管一體化：數(shù)據(jù)中臺(tái)的數(shù)據(jù)模型血緣與任務(wù)調(diào)度的一致性是建管一體化的關(guān)鍵，有助于解決數(shù)據(jù)管理與數(shù)據(jù)生產(chǎn)口徑不一致的問(wèn)題，避免出現(xiàn)兩張皮的低效管理模式。

數(shù)據(jù)治理如何落地？?

數(shù)據(jù)治理在系統(tǒng)層面包括數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、生命周期管理、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)共六大核心模塊。在管理層面需要通過(guò)數(shù)據(jù)治理組織、數(shù)據(jù)治理流程進(jìn)行支撐保障。數(shù)據(jù)治理是一項(xiàng)長(zhǎng)期且復(fù)雜的體系化工程，它需要通過(guò)一系列流程規(guī)范、制度、IT能力以及持續(xù)運(yùn)營(yíng)等機(jī)制來(lái)保障治理工作的持續(xù)推進(jìn)。數(shù)據(jù)治理的落地建議分為4個(gè)階段：

1）建組織：需要打破企業(yè)內(nèi)部壁壘，構(gòu)建多部門共同參與的數(shù)據(jù)治理組織，提升數(shù)據(jù)治理重要性。成立數(shù)據(jù)治理專項(xiàng)團(tuán)隊(duì)，包括數(shù)據(jù)治理委員會(huì)、數(shù)據(jù)治理團(tuán)隊(duì)、各業(yè)務(wù)部門等層層遞進(jìn)的組織架構(gòu)。在績(jī)效、團(tuán)隊(duì)、資源等方面支持?jǐn)?shù)據(jù)治理的持續(xù)運(yùn)營(yíng)，達(dá)成企業(yè)數(shù)據(jù)中臺(tái)的數(shù)據(jù)戰(zhàn)略體系轉(zhuǎn)型。

有效的組織機(jī)構(gòu)是項(xiàng)目成功的有力保證，為了達(dá)到項(xiàng)目預(yù)期目標(biāo)，在項(xiàng)目開始之前對(duì)于組織機(jī)構(gòu)及其責(zé)任分工做出規(guī)劃是非常必要的，數(shù)據(jù)治理項(xiàng)目管理組織建議采用如下圖所示的組織結(jié)構(gòu)：

（一）組織層次

數(shù)據(jù)治理委員會(huì)由校領(lǐng)導(dǎo)和部門負(fù)責(zé)人組成。委員會(huì)定義數(shù)據(jù)治理愿景和目標(biāo)；組織內(nèi)跨業(yè)務(wù)部門和 IT部門進(jìn)行協(xié)調(diào)；設(shè)置數(shù)據(jù)治理計(jì)劃的總體方向；在發(fā)生策略分歧時(shí)進(jìn)行協(xié)調(diào)。

數(shù)據(jù)治理工作組是組織內(nèi)委員會(huì)下面的下一個(gè)級(jí)別。工作組執(zhí)行數(shù)據(jù)治理計(jì)劃。工作組負(fù)責(zé)監(jiān)督數(shù)據(jù)管理員工作。數(shù)據(jù)治理工作組由數(shù)據(jù)治理委員會(huì)中各相關(guān)部門負(fù)責(zé)人主持。

每個(gè)業(yè)務(wù)部門有至少一位業(yè)務(wù)分析員，信息部門設(shè)置數(shù)據(jù)質(zhì)量分析員、數(shù)據(jù)管理員、集成開發(fā)人員。各工作人員負(fù)責(zé)本部門數(shù)據(jù)的質(zhì)量，履行職責(zé)，解決具體的問(wèn)題。

（二）組織職責(zé)

根據(jù)數(shù)據(jù)管理工作的實(shí)際需要，在業(yè)務(wù)管理部門、技術(shù)管理部門和業(yè)務(wù)應(yīng)用部門確定各工作人員的職責(zé)。

數(shù)據(jù)治理委員會(huì)的職責(zé)范圍：

1．從戰(zhàn)略角度來(lái)統(tǒng)籌和規(guī)劃，對(duì)數(shù)據(jù)資產(chǎn)和系統(tǒng)進(jìn)行清理，確定數(shù)據(jù)治理的范圍；明確數(shù)據(jù)源的出處、使用和管理的流程及職責(zé)；

2．明確數(shù)據(jù)治理的組織、功能、角色和職責(zé)；　　3．負(fù)責(zé)各工作組成員的培訓(xùn)工作；　　4．負(fù)責(zé)審查各工作小組的目標(biāo)、原則，批準(zhǔn)數(shù)據(jù)管理的相關(guān)制度、標(biāo)準(zhǔn)及流程；　　5．負(fù)責(zé)確定數(shù)據(jù)治理的工具、技術(shù)和平臺(tái)；　　6．負(fù)責(zé)制定數(shù)據(jù)治理的評(píng)估指標(biāo)、方法。

數(shù)據(jù)治理工作小組，其主要工作職責(zé)是：

１．負(fù)責(zé)數(shù)據(jù)治理的牽頭，組織、指導(dǎo)和協(xié)調(diào)學(xué)校的數(shù)據(jù)治理工作；

２．綜合數(shù)據(jù)治理管控辦法、數(shù)據(jù)治理考核機(jī)制等有關(guān)規(guī)章制度的牽頭制定、修改等；３．負(fù)責(zé)數(shù)據(jù)的分析整理并出具數(shù)據(jù)指標(biāo)報(bào)告；４．負(fù)責(zé)數(shù)據(jù)的監(jiān)測(cè)預(yù)測(cè)工作；５．建立數(shù)據(jù)沖突的處理流程和數(shù)據(jù)變更控制流程。６．負(fù)責(zé)對(duì)基礎(chǔ)數(shù)據(jù)質(zhì)量的檢測(cè)、發(fā)布、考核和清理完善工作。

工作組成員：業(yè)務(wù)分析員、數(shù)據(jù)質(zhì)量分析員、數(shù)據(jù)管理員、集成開發(fā)人員。這些不同的角色在數(shù)據(jù)治理過(guò)程中承擔(dān)著彼此不同，而又相輔相成的職責(zé)。

其中集成開發(fā)人員在數(shù)據(jù)治理流程中需要擔(dān)負(fù)起數(shù)據(jù)訪問(wèn)、驗(yàn)證數(shù)據(jù)結(jié)構(gòu)、驗(yàn)證數(shù)據(jù)、交付數(shù)據(jù)以及數(shù)據(jù)庫(kù)/知識(shí)庫(kù)的構(gòu)建等角色，因此他們的工作包括：

訪問(wèn)及交付相應(yīng)數(shù)據(jù)給業(yè)務(wù)用戶 提高數(shù)據(jù)處理的性能 最大化減少異常/出錯(cuò)的影響 開發(fā)和完善技術(shù)最佳實(shí)踐

數(shù)據(jù)質(zhì)量分析員在數(shù)據(jù)治理流程中負(fù)責(zé)數(shù)據(jù)的剖析、清洗匹配合并等。工作包括：

為開發(fā)人員定義數(shù)據(jù)規(guī)格及標(biāo)準(zhǔn) 為機(jī)構(gòu)有效的追蹤數(shù)據(jù)質(zhì)量問(wèn)題 實(shí)施被業(yè)務(wù)人員和數(shù)據(jù)管理員定義正確的數(shù)據(jù)質(zhì)量規(guī)則 不間斷的監(jiān)控?cái)?shù)據(jù)質(zhì)量水平及問(wèn)題

業(yè)務(wù)分析人員在數(shù)據(jù)治理流程中負(fù)責(zé)定義數(shù)據(jù)的轉(zhuǎn)換規(guī)則，工作包括：

與需求開發(fā)人員協(xié)作，正確捕獲和解析業(yè)務(wù)需求 與開發(fā)人員和數(shù)據(jù)管理員協(xié)作，為業(yè)務(wù)用戶縮短數(shù)據(jù)產(chǎn)生價(jià)值的時(shí)間

數(shù)據(jù)管理員需要定義引用數(shù)據(jù)，并管理元數(shù)據(jù)，工作包括：

保證數(shù)據(jù)的質(zhì)量、正確、完整、一致、審計(jì)及安全性 定義“引用/參考”數(shù)據(jù) 為組織機(jī)構(gòu)數(shù)據(jù)實(shí)體給出正確業(yè)務(wù)定義 為組織機(jī)構(gòu)解決混淆和有爭(zhēng)論的數(shù)據(jù)定義 2）立規(guī)范：建立切實(shí)可行的標(biāo)準(zhǔn)化流程規(guī)范，并隨著數(shù)據(jù)中臺(tái)的不斷運(yùn)營(yíng)而持續(xù)完善，分步實(shí)施逐步迭代。規(guī)范包括發(fā)布數(shù)據(jù)治理管理規(guī)范、數(shù)據(jù)治理流程規(guī)范、建立數(shù)據(jù)治理標(biāo)準(zhǔn)化閉環(huán)流程、明確線上管理要求，并通過(guò)運(yùn)營(yíng)閉環(huán)化、流程線上化、服務(wù)集中化形成常態(tài)化機(jī)制推進(jìn)數(shù)據(jù)治理工作。在文章?6000字詳解數(shù)據(jù)治理之?dāng)?shù)據(jù)標(biāo)準(zhǔn)管理?中談到，首先要了解企業(yè)為何要去制定標(biāo)準(zhǔn)規(guī)范？企業(yè)的需求是什么？現(xiàn)狀是什么？外部環(huán)境的要求是什么？建標(biāo)準(zhǔn)的時(shí)候，有沒(méi)有相關(guān)的一些參考？有沒(méi)有相關(guān)的國(guó)家標(biāo)準(zhǔn)？行業(yè)標(biāo)準(zhǔn)的一些參考？如果沒(méi)有的話，行業(yè)有沒(méi)有最佳實(shí)踐可以拿過(guò)來(lái)參考。要結(jié)合以上的些需求去規(guī)劃數(shù)據(jù)標(biāo)準(zhǔn)的體系，先要把范圍先確定出來(lái)。

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范制定過(guò)程中一般有以下的業(yè)務(wù)步驟： 第一資料收集。做it的人員都很清楚要收集現(xiàn)有的一些材料，包括數(shù)據(jù)的質(zhì)量情況、數(shù)據(jù)的管理情況、數(shù)據(jù)的標(biāo)準(zhǔn)化情況等等。 第二個(gè)調(diào)研訪談。要解決做項(xiàng)目或者數(shù)據(jù)，你是要解決樣的業(yè)務(wù)問(wèn)題？ 第三個(gè)分析評(píng)估。對(duì)整體的情況做分析評(píng)估，評(píng)估和最佳實(shí)踐或者最理想情況的標(biāo)準(zhǔn)的差距是多少？ 第四個(gè)標(biāo)準(zhǔn)制定。根據(jù)上述的些條件來(lái)定義數(shù)據(jù)，制定標(biāo)準(zhǔn)。 第五個(gè)意見征集。標(biāo)準(zhǔn)定義完之后，形成的標(biāo)準(zhǔn)文件還需要下發(fā)到各個(gè)業(yè)務(wù)單位去收集意見，再根據(jù)意見的反饋情況，修訂標(biāo)準(zhǔn)。 第六步標(biāo)準(zhǔn)發(fā)布。 數(shù)據(jù)治理規(guī)范詳見：國(guó)家標(biāo)準(zhǔn)：數(shù)據(jù)治理規(guī)范（附下載）3）選平臺(tái)：搭建有效的IT平臺(tái)支撐數(shù)據(jù)治理的規(guī)范、流程、標(biāo)準(zhǔn)落地，同時(shí)確保前向的數(shù)據(jù)治理模式。數(shù)據(jù)治理本質(zhì)是一項(xiàng)管理工作，只有生產(chǎn)過(guò)程可視化、生產(chǎn)過(guò)程可干預(yù)，才能保證數(shù)據(jù)治理的效果，因此平臺(tái)應(yīng)確保數(shù)據(jù)治理和數(shù)據(jù)生產(chǎn)的一體化。平臺(tái)應(yīng)具備多廠家協(xié)同開發(fā)能力、數(shù)據(jù)標(biāo)準(zhǔn)化管理能力、基于元模型驅(qū)動(dòng)的元數(shù)據(jù)開發(fā)管理能力、元數(shù)據(jù)血緣管理能力、基于血緣驅(qū)動(dòng)的任務(wù)調(diào)度管理能力、安全分層分級(jí)管理能力以及數(shù)據(jù)質(zhì)量管理能力等等基礎(chǔ)能力才能更好的保障數(shù)據(jù)治理的落地。在文章?一文讀懂?dāng)?shù)據(jù)治理工具：戰(zhàn)略層工具+管理層工具+操作層工具?中對(duì)各種數(shù)據(jù)治理平臺(tái)技術(shù)架構(gòu)和功能模塊做了詳細(xì)介紹，比如：元數(shù)據(jù)管理工具：

主數(shù)據(jù)管理工具：

數(shù)據(jù)質(zhì)量管理工具：

數(shù)據(jù)安全管理工具：

數(shù)據(jù)資產(chǎn)管理工具：

4）重運(yùn)營(yíng)：數(shù)據(jù)治理是一個(gè)持續(xù)并且長(zhǎng)久的運(yùn)營(yíng)過(guò)程，規(guī)范、組織、平臺(tái)的以及流程需要不斷的進(jìn)行迭代優(yōu)化，數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全需要持續(xù)管控，通過(guò)業(yè)務(wù)的不斷滋養(yǎng)逐步完善數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理能力。

結(jié)束語(yǔ)

數(shù)據(jù)治理是一項(xiàng)戰(zhàn)略性、長(zhǎng)期性、艱巨性、系統(tǒng)性、持續(xù)進(jìn)行的企業(yè)內(nèi)部數(shù)據(jù)優(yōu)化治理工作，因此，數(shù)據(jù)治理必然是一個(gè)漫長(zhǎng)而持續(xù)的過(guò)程，沒(méi)有一針頂破天的訣竅，也沒(méi)有立竿見影的途徑，唯有企業(yè)持續(xù)不斷、持之以恒、不忘初心、不懈努力，才能達(dá)到預(yù)期目標(biāo)。（部分文字來(lái)源信風(fēng)智庫(kù)）