- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-11-18來源:枯木逢春瀏覽數:2299次
數據越來越重要,數據治理也跟著成為了所有企業都關心的話題。
數據治理有著非常成熟的體系,經歷過三個大的發展階段,如圖1所示:

圖1:數據治理的三個階段
第一階段 ?從MIT TDQM到DAMA
1.1 TDQM
1988年,麻省理工學院的兩名教授啟動了全面數據質量管理(MIT Total Data Quality Management Program 簡稱TDQM)的計劃,這應該是數據治理第一次在歷史上出現,這個組織到現在依然存在并且還在不斷更新,如下圖2所示:

圖2:數據治理的最早的雛形TDQM
TDQM非常系統化的梳理了數據質量管理的框架,提出了數據制造的概念,并且提出了數據質量的三大管理要素:度量體系,分析體系和改進體系,認為數據質量要從經濟,技術和組織三個層面來管理,從而改進數據質量,如圖3所示:

圖3:TDQM數據質量視圖
TDQM體系同時梳理了數據質量管理的內外部數據源,我們會發現,40年前的數據體系和現在的差距并不是很大,如圖4所示:


圖3:TDQM描述的企業數據全景圖
在TDQM體系認為,企業的數據包括內部數據和外部數據,外部數據主要是用戶的信息,一些EDI(電子數據交換)的數據,主要數據來自于內部,也就是財務系統,客戶服務系統,管理信息系統,制造系統,交易處理系統等生產的數據。
TDQM在這片論文里提出了數據質量提升過程的三大組成部分數據質量的度量和定義,數據質量的分析和數據質量的改進,如圖4所示:

圖4:TDQM的數據質量改進模型
TDQM也在不斷地更新和改進,后來在1994年,提出了數據質量的四個度量維度,如下圖所示:

圖5:TDQM的數據質量維度
TDQM將數據質量分成四類度量維度:
固有的數據質量
可信度(Believability)
準確度(Accuracy)
客觀性(Objectivity)
信譽度(Reputation)
上下文的數據質量
數據增值(Value-Added)
相關性(Relevancy)
時效性(Timeliness)
完整性(Completeness)
適量性(Appropriate Amount of Data)
可呈現的數據質量
可解釋性(Interpretability)
易理解性(Ease of Understanding)
可代表性(Representational)
一致性(Consistency)
簡潔性(Concise representation)
可訪問的數據質量
可訪問性(Accessibility)
訪問安全(Access Security)
TDQM是一個相對非常完整的,從學術研究的領域定義的數據質量管理的框架,它的出現,確定了數據質量這個領域的價值。
1.2 DAMA
在同一年,在1988年,國際數據管理組織協會正式成立了,也就是今天大名鼎鼎的DAMA,全稱The Global Data Management Community。當然,在DAMA的官網上,成立時間是在1980年,只是1988年正式選舉出了管理委員會,如圖6所示:

圖6:DAMA的歷史沿革
2002年,一篇從實際案例沉淀而來的數據治理論文《數據倉庫治理》公開發表,如圖7所示:

圖7:數據倉庫治理的論文
這篇文章闡述了在一個數據倉庫項目里是如何進行數據治理的過程,其中很重要的是,這是歷史上第一次公開的記錄系統化的對數據質量管理的文章,比如,如圖8,是這個數據治理項目的組織結構:

圖8:數據倉庫治理項目的團隊結構
第二階段 ?DAMABOK
隨著DAMA的成立,數據治理就進入了專業化發展的階段,一般我們把2003年到2009年作為第二個階段。
2.1 DGI(國際數據治理研究所)
2003年DGI(國際數據治理研究所)成立,創始人是GWen Thomas 也是國際數據治理框架的主要作者,DGI是datagovernance.com的域名的擁有者。
國際數據治理研究所開發了數據治理框架,如下圖9所示:

圖9 DGI數據治理框架
這個框架,把數據治理的過程分成12個步驟,如圖10所示:

圖10:DGI數據治理框架的十二個步驟
1. 調整政策、要求和控制
2. 建立決策權
3. 建立問責制
4. 執行管理
5. 管理變革
6. 定義數據
7. 解決問題
8. 指定數據質量要求
9. 將治理融入技術
10. 利益相關者關懷
11. 通訊
12. 衡量和報告價值
IDG的數據治理框架,一共包括十大關鍵組件,如圖11所示:

圖11:IDG數據治理框架的十大組件
1.?使命愿景
2.?目標,治理指標,成功舉措和投資策略
3.?規則,定義和政策
4.?決策權
5.?問責制
6.?控制
7.?數據利益相關者
8.?數據治理辦公室
9.?數據管理委員會
10.?主動,被動和持續的數據治理流程
2.2 DAMA-DMBOK V1
這個階段,DAMA在數據管理領域累積了深厚的知識沉淀和豐富經驗,出版了“DAMA數據管理的知識體系指南”(DAMA-DMBOK)第一版,如下圖所示:

DAMA-DMBOK第一版形成了數據治理的一個核心和九大工作,如下圖所示:

主要包括:
數據治理的六大核心要素
戰略
1.?組織和角色
2.?政策和標準
3.?項目和服務
4.?問題
5.?估值
數據治理的九大工作:
1.?數據質量管理
2.?數據架構管理
3.?數據開發
4.?數據操作管理
5.?數據安全管理
6.?參考數據與主數據管理
7.?數據倉庫和商務智能管理
8.?文檔和內容管理
9.?元數據管理
DAMA-DMBOK是一個結構化的體系,下圖很清晰的闡述了這些要素之間的關系:

自從DAMA-DMBOK推出以后,指導了大量的數據治理實踐工作,因為它將數據治理的工作梳理成一套全面,體系化的標準,策略。
第三階段 ?DAMA-DMBOK 2
3.1 DMBOK?V2
2020年,DAMA推出了DAMA-DMBOK的第二版,這一版本更加體系化,結合相關新的需求,技術。

在這個版本里,原來的1+9的體系進一步進行了細化,歸類,形成了DMBOK車輪,如下圖所示:

將數據治理體系分成以下五大模塊:
l?計劃和設計
l?賦能和維護
l?使用和增強
l?基礎活動
l?數據治理支撐體系
3.2 國內數據治理高速發展
數據治理現在是企業里備受重視的數字化轉型的基礎性工作,也是國家非常重視的戰略工作之一。從2010年起,國家相關部位,機構就發布了眾多個數據治理相關的文件。
2015 《數據治理白皮書》
2014年6月,ISO/IECJTC1/SC40(IT治理和IT服務管理分技術委員會)在悉尼召開第一次全會,中國代表團首度提出“數據治理”的概念,引發國際同行的興趣和研討。2014年11月,信息技術與標準化組織在荷蘭召開的SC40/WG1(IT治理工作組)第二次工作組會議上,中國代表提出了《數據治理白皮書》的框架設想,分析了世界上包括國際數據管理協會(DAMA)、數據治理協會(DGI)、國際商業機器公司(IBM)、高德納咨詢公司(Gartner)等組織在內的主流的數據治理方法論、模型,獲得國際IT治理工作組專家的一致認可。2015年3月,中國信息技術服務標準(ITSS)數據治理研究小組調研了中國的企業實踐,形成了金融、移動通信、央企能源、互聯網企業在數據治理方面的典型案例,進一步明確數據治理的定義和范圍。
隨著IT到DT的趨勢認同,數據治理研究和應用變得越來越迫切。以此為基礎,中國代表團于2015年5月,在巴西圣保羅召開的SC40/WG1第三次工作組會議上,正式提交了《數據治理白皮書》國際標準研究報告,經過討論和表決,同意由中國國家委員會正式提出新工作項目申請,并作為ISO/IEC38505-2《信息技術IT治理ISO/IEC38505-1在數據管理的應用指南》的編輯。
2018年,國家標準化管理委員會發布,《信息技術服務 治理 第5部分:數據治理規范》,標準號:GB/T 34960.5-2018。

2018年5月?銀保監會發布了《中國銀行保險監督管理委員會關于印發銀行業金融機構數據治理指引的通知》

全文共7章55條,強調了數據治理架構的建立,明確了數據管理和數據質量控制的要求,還明確了全面實現數據價值的要求,要求加強監管監督,與銀行的監管評級掛鉤,這里以頂層設計的戰略規劃、組織構建和數據治理域的數據標準體系構建為例來說明治理過程。
3.3 數據治理面臨價值挑戰
數據越來越重要,數據治理也跟著成為了所有企業都關心的話題,但是從上文可以看到,不論是DMBOK還是DGI的數據治理框架,整體都是非常龐大,精細化的體系,按照這樣的框架體系做完,周期長,投資大,體系化清晰。
但是,同時我們也看到有眾多的數據治理項目,工作面臨很多挑戰和質疑,尤其是業務部門對于數據治理工作的價值沒有太多的感知和認可。這也是傳統經典數據治理方法所面臨的窘境。
如何能夠讓數據治理與時俱進,快速發揮業務價值成為了很多數據工作者都在思考和探索的問題。
上一篇:汽車行業數字化轉型...