- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-12-12來源:殤痛不曾來瀏覽數:5103次
指導原則是數據治理活動的基礎,特別是數據治理政策的基礎,一般來來講,為了解決特定的問題,組織會在沒有原則的情況下制定政策,有時原則可以從具體政策通過逆向工程反推得到,但是,最好將制定核心原則作為政策工作的一部分工作,從而減輕潛在的阻力。
談到了DAMA難以讀懂的問題,除了框架方面的因素,主要還在于里面充斥著大量抽象的概念或術語,解釋的也不夠通俗和具體,同時受英文翻譯、文化背景等的影響,讓很多人望而卻步。
有人跟我講這種知識類書籍或者教科書,本來就不是給一般人讀的,但我認為一本教科書寫得深入淺出始終應是追求的目標,另一方面,數據治理是一門實踐的學問,學習DAMA就是要學以致用,而DAMA由100多位專家編撰而成的,里面有大量的智慧結晶。
DAMA提到的數據治理的定義、驅動、目標,原則、政策、標準、程序、組織、角色、專員等概念,雖然相關文章已經做了一些闡述,但我覺得還是不夠,要理解透徹,一方面要追根溯源,看看英文版的原意是什么,想想為什么這么寫,是翻譯的不夠準確,還是自己的理解水平不夠,亦或真的有瑕疵,另一方面,也要能用數據治理的實踐來印證,無論是自己的,還是華為數據之道,諸如此類,只有這樣,我們才能真正的理解DAMA,達到知行合一。
本文我詳細解釋了《DAMA數據管理知識體系第二版之數據治理》出現的那些關鍵概念,希望把我讀懂的東西分享給你,如果你讀過DAMA的數據治理章節,那么閱讀體驗會更好,考慮到篇幅和閱讀壓力,會分為上下兩篇來進行闡述,此文為上篇。
1、數據治理的定義
雖然有時很難理解數據治理到底是什么,但治理其實是一個很常見的概念,按照DAMA的定義,數據治理即對數據資產管理行使權力、控制和共享決策(規劃、監測和執行)的系列活動。
數據治理相當于將監督和執行的職責分離了,一個常見的類比是將數據治理等同于審計,數據治理專家制定管理數據資產的規則,這是規劃,然后其它領域在數據資產管理中執行這些規則,這是執行,數據治理專家再對執行的情況進行檢查,這就是檢測,比如審計要求在數據資產提供對外服務的過程中增加系統操作日志的記錄就是典型的數據治理。
要注意的是,數據治理的結果只跟數據本身有關,比如提升了數據的準確性和一致性,其跟直接的業務價值創造無關,這是數據資產管理活動的使命。有人為了強調數據治理的重要作用,往往會說成數據治理創造了業務價值,其實更精確的講,應該是數據治理通過提升數據資產管理活動的效率來創造業務價值,數據治理直接改變的是數據,數據資產管理活動則依托改進的數據創造價值。
如果有人說我通過數據治理賺了一個億,那么要么是它擴展了數據治理的內涵,要么就是沒搞懂數據治理的本質,當然這僅是從狹義的數據治理概念來講。
下圖示意了數據管理和數據治理的區別,由于中文版翻譯有誤,因此我這里列出了英文版的圖示。

我們經常會把元數據管理當成數據治理本身,這里存在一個謬誤,其實元數據管理本身就是一種數據資產管理活動,它可以直接創造業務價值,即讓人們簡單易懂的使用數據,那么什么是元數據管理的治理呢,比如你發現元數據管理對于口徑的描述不清晰,那么可以制定元數據描述的標準和規范,然后要求按此這行,這就是針對元數據管理的治理。
我根據DAMA的定義很自然的推出這個結果,但以前我一直一廂情愿的認為元數據管理就是一種數據治理,這導致我在擬定企業級數據治理體系的時候,畫不好那張框架圖,總在想元數據管理到底應該放在哪里,其實它跟組織、機制和流程等數據治理活動根本不在一個維度上。
2、數據治理的驅動
數據治理的一個核心問題就是驅動力問題,我曾經說過,當前大多數企業搞不動數據治理的原因很簡單,就是驅動力不夠,特別是管理層還不夠痛,所謂的數據壁壘等關鍵問題在企業數字化轉型還沒有深入的時候,也不是什么大問題。
華為數據之道提到過其搞數據治理的起源,就是因為財務數據的質量問題已經嚴重到了影響決策,才讓公司CFO牽頭來搞一搞,銀行業數據治理做的比較好,也跟外部的強監管分不開。
現在很多企業的數據安全治理驅動是很強的,顯然跟國家頒布了“三法一條例”(《個人信息保護法》、《數據安全法》、《數據安全法》、《關鍵信息基礎設施安全保護條例》)有很大關系,因為近些年的數據黑產、侵犯個人隱私的事情已經嚴重侵犯了個人權益,數據治理其實也是時勢造英雄。
DAMA對數據治理的業務驅動力做了總結,共兩大類八個方面:
(1)降低風險
1) 一般風險管理:監督數據對財務或聲譽造成的風險,包括對法律(電子發現)和監管問題的回應。
2) 數據安全:通過控制數據的可獲得性、可用性、完整性、一致性、可審計性和安全性來保護數據資產。
3) 隱私:通過政策和合規性監控來控制私人/機密/個人身份信息的泄露。
(2)改進流程
1)法規遵從性:高效且一致地響應法規要求的能力。
2)數據質量改進:通過使數據更可靠來提高業務績效的能力。
3)元數據管理:建立業務術語表,用于定義和定位組織中的數據;確保組織中數量繁多的元數據被管理和應用。
4)項目開發效率:改進軟件開發生命周期(SDLC)以解決整個組織的數據管理問題,比如將數據標準嵌入開發過程提升數據一致性。
5)供應商管理:控制與數據相關的合同,包括云存儲、外部數據采購、數據產品銷售和外包數據運營,我對這一點很好奇,后來想想也是,就以外包數據運營來講吧,如果不對供應商的數據能力做很好的評估,將極大影響著企業數據支撐的效率,曾經就有好友跟我講,由于所在的公司換了一個數據集成商,報表開發質量大幅降低,顯然數據治理要在合同簽訂流程中顯示權力。
在整個組織內澄清數據治理的業務驅動因素是基礎性工作,并要將它與企業的整體業務戰略保持一致,如果大家要做數據治理,可以從以上八點去發現業務的驅動因素,當然也不局限于此,比如我認為至少數據匯聚、數據共享開放這些關鍵流程也應納入業務驅動因素,改進流程本質上就是數字化的范疇。
當然以上只是定性的講業務驅動,在實際的數據治理中,還是要結合企業的實際進行具體的分析,找到真正的切入點,不能喊一句數據質量不行就啟動一個數據質量的治理項目,因為以上的所有問題在每個企業或多或少都存在,我們不可能什么都做,下面示例了當初我們關于數據開放問題的一個剖析,大家可以看一下:
“對內數據開放具體職責未在制度層面宣貫落實,包括誰來開放、誰可申請、誰來監督等,以促進各參與方協同配合,共同促進全公司范圍內的數據融合融通。比如:XX等地市需要A域XX預警、B域XX專家等數據,但找不到歸口管理部門,需求輾轉多個部門,最長耗費X個月時間才獲得數據。當前A域和B域部門數據資產超過70%,但開放訂閱僅有XX筆,訂閱占比僅占3.5%,數據開放和共享的不充分不均衡問題還是比較大?!?
3、數據治理的目標
DAMA提到數據治理的目標有三點:
(1)提升企業數據資產管理能力。
(2)定義、批準、溝通和實施數據管理的原則、政策、程序、指標、工具和責任。
(3)監控和指導政策合規性、數據使用和管理活動。
我感覺這個關于目標的描述更像是過程和手段,前面的業務驅動倒更像是目標,因此找了華為公司的數據治理的目標供參考,即:“打破數據孤島、確保源頭數據準確、促進數據共享、保障數據隱私與安全等。”
為了確保數據治理目標的達成,DAMA提出了三個導向:
(1)可持續性:就是說數據治理不是項目,而是一個持續性的過程,更是一次管理變革,需要公司領導、發起者和所有者的持續支持,個人覺得,除非有強監管的要求,否則要堅持還是挺難的,最終還是要依賴企業的數據文化,也許只有數字化或者強監管才能保障數據治理的可持續性。
(2)嵌入式:就是說數據治理不是額外增加一套管理流程,而是要嵌入到了數據管理活動中直接發揮作用,比如數據開發標準的要求應該嵌入到數據開發工具中強制執行,這樣才能知行合一,從而避免兩張皮現象。
(3)可度量:雖然數據治理的業務價值體現往往是間接的,但還是要能盡量量化數據治理的成果,我給大家看一頁總結的PPT。

4、數據治理的原則
原則是企業數據治理的規則或行為準則,體現了企業對數據工作重要性的統一認知,DAMA給出了數據治理的六個原則:
(1)領導力和戰略
這個很容易理解,數據治理做的是長期的事情,離不開一把手的支持,成功的數據治理始于有遠見和堅定的領導力,同時數據治理要與業務戰略要保持一致,否則驅動力不足,也很難產生價值。
(2)業務驅動
數據治理是一項業務管理計劃,必須管理與數據有關的業務活動(比如規范營業廳員工錄入客戶信息的行為)與IT活動(比如對數據平臺建設提出要求),從這個原則很容易推導出數據治理必須從源頭抓起的結論,而抓源頭意味著要介入業務流程,這意味著,數據治理要從OLTP抓起,OLAP能解決的問題是有限的。
(3)共擔責任
在所有數據管理的知識領域中,業務數據管理專員和數據管理專業人員共擔責任,數據治理是業務和IT共同的職責,現在IT部門主導數據治理工作的比較多,其實不是好事,因為很難解決業務部門真正關注的問題,IT部門會委屈的說業務部門不愿意參與啊,那只能說明level太低,你們做的根本不是公司關注的事情,最后大多變成了自己過家家。
(4)多層次
數據治理組織還可以具有多個層次,包括本地、部門和企業范圍,以解決企業內不同級別的問題。
(5)基于組織運營框架
由于治理活動需進行跨組織職能的協調,因此對數據治理項目必須建立一個組織運營框架來定義各自職責和工作內容,DAMA在第二版不太愿意去提組織保障,改成了運營框架,但我覺得這沒什么好避諱的,有些企業的數據治理組織所以形同虛設,不是組織出了問題,而是對數據治理的理解不夠透徹,導致在執行的時候變形。
(6)基于原則
指導原則是數據治理活動的基礎,特別是數據治理政策的基礎,一般來來講,為了解決特定的問題,組織會在沒有原則的情況下制定政策,有時原則可以從具體政策通過逆向工程反推得到,但是,最好將制定核心原則作為政策工作的一部分工作,從而減輕潛在的阻力。
那么原則是如何落地的呢?下面讓我們看下華為數據之道提到的具體的一些原則:
(1)信息架構管理原則
第一條:建立企業級信息架構,統一數據語言。
第二條:所有變革項目須遵從數據管控要求。對于不遵從管控要求的變革項目,數據管控組織擁有一票否決權。
第三條:應用系統設計和開發應遵從企業級信息架構。關鍵應用系統必須通過應用系統認證。
(2)數據產生管理原則
第一條:數據規劃對齊業務戰略,業務戰略規劃必須包含關鍵數據舉措及其路標規劃。
第二條:公司數據Owner擁有公司數據管理的最高決策權,依托ESC(變革指導委員會)決策平臺議事。各數據Owner承擔數據工作路標、信息架構、數據責任機制和數據質量的管理責任。
第三條:關鍵數據須定義單一數據源,一點錄入,多點調用。數據質量問題應在源頭解決。
第四條:誰產生數據,誰對數據質量負責。數據Owner負責基于使用要求制定數據質量標準,且須征得關鍵使用部門的同意。
(3)數據應用管理原則
第一條:數據應在滿足信息安全的前提下充分共享,數據產生部門不得拒絕跨領域的、合理的數據共享需求。
第二條:信息披露、數據安全管理、數據保管和個人數據隱私保護等必須遵守法律法規和道德規范的要求。公司保護員工、客戶、商業伙伴和其他可識別個體的數據。
(4)數據問責與獎懲管理原則
各數據Owner應建立數據問題回溯和獎懲機制。對不遵從信息架構或存在嚴重數據質量問題的責任人進行問責。
可以看到,華為的數據管理原則涉及了前面提到的戰略、共擔責任、組織運營框架等相關原則描述,同時增加了數據共享、數據安全、信息架構的一些原則,我認為這些也是很重要的,可以作為DAMA的補充。
5、數據治理的政策
DAMA并沒有對數據治理政策給出具體解釋,但政策這個詞在DAMA里面出現多次,比如DAMA數據治理目標里就提到了"定義、批準、溝通和實施數據管理的原則、政策、程序、指標、工具和責任",我們很容易想,原則和政策有什么區別?政策和程序有什么區別?
原則是應該做什么,不應該做什么,是應遵循的公認的行為準則,政策著重于行動,說明要做什么以及由誰做,僅作為指導,是為權宜之計或便利而采取的明確行為準則,并且可以自由選擇是否遵循這些準則。
比如華為的信息架構管理政策第一條是“公司數據Owner負責批準企業級信息架構,裁決重大信息架構問題和爭議”,相比于信息架構管理原則第一條“建立企業級信息架構,統一數據語言”,進一步明確了由誰來具體負責什么事情,這就是差別。
數據治理的標準、程序則是對如何進行數據治理進行描述,即解決怎么做的問題,標準和程序的區別是前者是規范,后者是步驟。
6、數據治理的組織
數據組織跟IT的組織具有本質的不同,因為傳統的IT組織是以業務流程和產品為核心的,數據只是其中的副產品而已,而數據組織是以數據管理為核心的,業務處理的目標就是為了得到高質量的數據,有效數據管理成為企業致力于通過分析獲得洞察、制定決策時的高優先級事項。
企業為達到以數據為中心需要不同以往的思考方式,要理解管理數據不同于管理IT,轉型并非易事,現有文化及內部制度、關于擁有權的爭議、預算、歷史遺留系統,都將成為建立企業級數據治理和數據管理的最大障礙。
數據治理可以從政治治理的角度來理解。它包括類似立法的功能(定義政策、標準和企業數據架構),類似司法的功能職能(問題管理和升級)和執行職能(保護和服務、行政職責),DAMA給出了一個通用的數據治理組織模型,如下圖所示:

為了解釋清楚這張圖的意思,就得先把圖中相關的組織和角色的概念理解清楚,由于DAMA的描述不夠清晰,我基于自己的理解和實踐做了補充,大家如有意疑問可以自己去比對DAMA原文:
數據治理指導委員會:數據治理最高權威組織,負責監督、支持和資助數據治理活動,我覺得一般可以通過企業的董事會,總經理辦公會來替代這個組織。
數據治理委員會:數據治理各項重大事項的決策機構,負責審批和發布數據治理相關的管理制度、流程及相關標準規范,對企業數據治理重大事項進行決策(比如問題和升級),一般由公司管理層和部門老大組成。
數據治理辦公室:負責制定、修訂和發布數據治理相關管理辦法,一般由公司分管數據的管理層、各類數據管理專員(或者稱保管員)、各部門數據擁有者組成。
數據管理專員團隊:管理專員(Steward,直譯為管家)指其職責是為別人管理財產的人,數據管理專員就是以組織的最大利益為原則代表它人來管理企業數據資產的人員。數據管理專員團隊一般由業務數據管理專員,技術數據管理專員、協調數據管理專員等組成,它們往往專注于一個或多個業務領域(或項目形式),與項目團隊進行數據定義、數據標準等方面的合作和協商。
(1)首席數據管理專員:CDO的替代角色(或者是公司分管數據的管理層),擔任數據治理機構的主席。
(2)高級數據管理專員:數據治理委員會的資深管理者,對數據治理負有規劃、政策層面的責任。
(3)企業數據管理專員:負責監督跨越業務領域的數據職能。
(4)業務數據管理專員:是業務領域專業人士,通常是公認的領域專家,對一個數據域負責,他們和利益相關方共同定義和控制數據。
(5)技術數據管理專員:是某個數據技術領域內的IT專業人員,如數據集成專家、數據庫管理員、商務智能專家、數據質量分析師或元數據管理員。
(6)數據所有者:他們是某個業務數據管理專員,對其領域內的數據有決策權。
(7)協調數據管理專員:領導并代表業務和技術數據管理專員參與跨團隊的討論,包括與高級數據管理專員的協商。協調數據管理員在大型組織中尤為重要。
DAMA定義了這么多組織和角色,那么這些組織和角色是如何協作的呢,我這里設想了一個企業數據開放治理的場景,方便大家理解:
1)公司一把手、首席數據管理專員(CDO)、高級數據管理專員(一般為各領域負責人)通過數據治理委員會決策通過數據開放管理辦法的制定計劃。
2)數據治理辦公室負責具體的辦法制定工作,首席數據管理專員(CDO)安排企業數據管理專員(一般在企業數據管理部任職)牽頭,各領域的業務和技術數據管理專員配合進行草擬,當出現爭議問題的時候,要求各領域的協調數據管理專員(一般為部門領導)進行協調,最終由企業數據管理專員提交數據治理辦公室審核確定。
3)數據治理辦公室將審核確定的辦法提交數據治理委員會決策,審批通過后進行發布執行。
4)公司各領域對該辦法進行學習并按要求執行,數據治理辦公室安排企業數據管理專員組織人員提供相關的支持,包括但不限于整理數據目錄、幫助制定業務規則、數據標準及數據質量規則、參與識別、解決數據質量問題,確保數據開放管理辦法在日常工作或每一個項目中被遵循執行,并對各領域執行情況進行評估通報,以支持按照組織總體目標的方式管理數據。
有人會說沒有數據治理,企業的數據開放也在正常進行啊,的確是的,但關鍵是現在的數據開放范圍太小,速度太慢,安全還不可控,因此需要建章立制進行規范,就好比交通執法,古代沒有紅綠燈大家不照樣過馬路嘛,但關鍵是現在車多了,人多了,不搞個大家都遵循的過馬路的規矩就要出事。
華為的數據owner制度也很容易跟DAMA的數據治理組織做映射,甚至可以說是其子集,企業數據owner就是首席數據管理專員,領域數據owner就是協調數據管理專員+數據所有者,業務數據管理專員+技術數據管理專員就是通常意義上的數據專員,企業數據管理專員一般存在于企業數據管理部。
以上就是《DAMA數據管理知識體系指南(原書第2版)》中第3章數據治理內容詳細解讀的上篇,如果你沒看過DAMA,可能會覺得不知所謂,但只要讀了,相信會明白我寫這篇文章的原因。