- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2024-01-22來源:與數據同行瀏覽數:645次
數據治理的重要性不言而喻,但許多人卻難以區分數據治理與數據管理的區別。這是一個嚴重的問題,因為這兩者的使命和價值截然不同。盡管像DAMA、DCMM和《華為數據之道》這類讀物都對數據治理有所論述,但客觀來講,它們在系統化方面仍顯不足,更多的是關于數據管理的內容。以DAMA的經典車輪圖為例,數據治理僅占其中一個章節,DAMA的中文翻譯也叫數據管理框架,不少人會誤將數據治理視為數據管理的一部分。
《華為數據之道》的核心內容位于第二章《建立企業級數據綜合治理體系》,專注于數據治理,但該書的其他章節主要討論的還是數據管理。

我們認為數據治理之所以重要,是因為它涉及數據工作的“道”,相對于數據管理這一“術”的層面。許多公司在數據方面表現不佳,根本問題不在于“術”,而是“道”的層面出現了問題。例如,自己曾長期負責數據倉庫的管理,但常深陷于數據質量的泥潭,通常倉庫內的數據質量問題總是可以解決的,但一旦涉及業務源頭就很頭痛,因為溝通成本太高了。我能做的就是在下游拼命修復和維持。那個時候的我不懂數據治理,也無從談起用數據治理的手段來解決這種跨部門的問題。值得注意的是,很多人在日常工作中實際上已經在進行數據治理,卻可能并未意識到,這可能會阻礙其做進一步的提升,因為不知其所以然。例如,公司很早就有負責數據安全的專職部門,但我從未意識到他們做的就是數據治理的工作,導致在建章立制的時候忽視了其參與的重要性。當我初次接觸到DAMA(數據管理協會)時,其關于數據治理的定義讓我印象深刻,卻又不明覺厲,“數據治理指的是對數據資產進行管理的權力行使、控制和共享決策(包括規劃、監測和執行)的活動。”這種定義比較抽象,對許多人來說晦澀難懂。例如,定義中的“行使權力”、“控制”、“規劃”和“執行”等詞其實每個都意味深長,如果不進行系統化的闡述,很難讓人理解其真實的內涵。最近幾年,我在數據治理方面進行了一些實踐,才對數據治理有了進一步的認識。去年,我撰寫了兩篇文章《數據治理VS數據管理,ChatGPT用通俗的類比和案例終于講清楚了本質區別!》和《數據治理的 “獨孤九劍”》,分享了我對數據治理的理解。我還寫過兩頁PPT材料,來向老板解釋數據治理到底是什么,如下所示:

但我還是不太滿意,因為覺得數據治理這么重要的概念和方法,一定是要系統化闡述的,如果大家對數據治理的概念分辨不清,就無法有效地進行數據治理的交流、切入、改進和變革。近期偶然的一次機會,我翻了翻DGI(國際數據治理研究所)的數據治理框架,這讓我大吃一驚。
盡管DGI早在2004年就已發布,我也略有耳聞,但從未深入研究。也許是因為DAMA影響力大了,DGI被掩蓋了,也許是DGI沒有中文資料,影響了其普及,又或者是DGI數據治理比較抽象,勸退了很多人,更可能的是,國內真正做數據治理的還不多,DGI無用武之地。可以這么說,DGI是當前唯一一個系統化詮釋數據治理的框架,它用詞嚴謹,內容純粹。我也看過一些其他介紹DGI數據治理框架的文章,但無論在翻譯的嚴謹度、通俗化、實踐性方面都有不足,掩蓋了DGI本應有的光芒。
因此我準備寫一個系列,向大家全面介紹DGI數據治理框架,除了能地道的翻譯出DGI數據治理框架的精髓,我還將結合自己的實踐和案例來進一步詮釋其內涵。打個比方,DGI現在已經有了骨骼,我要做的就是將血肉補全,讓大家讀懂DGI。DGI開篇提出了關于數據治理的六個核心問題,并自問自答,分別是:誰(WHO)、什么(WHAT)、何時(WHEN)、何地(WHERE)、為什么(WHY)和如何(HOW)。我特別喜歡這種開篇方式,因為它能迅速給讀者留下關于數據治理的印象。我將DGI對這些問題的回答和我的解讀作為這個系列的首篇文章,希望大家能跟我一起學習。
1、WHO:數據治理與誰有關?所有對數據的創建、收集、處理、操作、存儲、使用和退役感興趣的個人或團體都應該關注數據治理。這些人被稱為數據利益相關者。
通常情況下,數據利益相關者會委托各種IT管理和數據管理團隊來執行上述任務。然而,有時這些活動需要通過利益相關者團體按照既定決策過程來決定,這正是數據治理發揮其作用的時刻。這種決策(及其他相關活動)通常由中央資源來促進和協調。在DGI的數據治理框架中,我們介紹了數據治理辦公室(DGO)以及數據管理員在組織中的角色和職責。接下來,我根據在數據治理過程中的職責和影響范圍,對相關的利益相關者進行分類和羅列:高層管理者
首席數據官(CDO): 負責制定整體數據治理戰略和政策。
高級管理人員: 如CEO、CIO等,從組織高層的視角監督數據治理。
數據管理類數據治理辦公室(DGO)成員: 負責協調和管理日常數據治理活動。
數據管理員: 負責技術管理和維護數據。
數據分析師: 利用數據進行分析,支持決策過程。
業務部門類業務部門領導: 確定業務部門在數據治理中的需求和目標。
業務分析師: 理解業務需求,將業務目標轉化為數據治理的具體要求。
數據使用者類數據用戶: 日常數據的使用者,例如員工和管理人員等。
客戶: 作為外部利益相關者,使用組織提供的數據服務。
監管和合規類合規和風險管理人員: 確保數據治理遵守相關法律、政策和標準。
安全專家: 負責維護數據安全性和防止數據泄露。
技術支持類IT支持人員: 提供技術支持和維護數據系統。
數據質量和元數據管理類數據質量管理人員: 監控和提升數據質量。
元數據管理人員: 管理數據的元數據,確保一致性和可理解性。
舉例:假設一家醫院需要決定如何使用和分享其患者的健康數據。這個決策過程就不僅僅是技術問題,還涉及到隱私、合規性、患者權益和數據安全等方面。在這種情況下,數據治理的作用就體現在協調和引導醫院管理層、IT部門、醫生、護士以及患者代表等多方利益相關者,共同參與決策過程。他們需要一起討論并決定哪些數據可以被共享,共享的條件是什么,以及如何確保數據的安全和隱私。在這個過程中,每個相關方都可以表達他們的觀點和擔憂,而最終的決策則是基于共同商定的規則和流程。
2、WHAT:數據治理是什么?數據治理意味著“對數據相關事務的決策權和權威行使。”更具體地說,數據治理是“一個決策權和信息相關過程的責任制度,根據商定的模型執行,這些模型描述誰可以在何時、在什么情況下、使用什么方法對哪些信息采取什么行動。”
基于這個定義,數據治理的內涵包括五個方面:
建立組織架構
明確決策權和責任
制定/收集/協調規則
監控/執行合規性
解決問題
“決策權和責任”的舉例:假設一個公司要決定是否將客戶數據共享給第三方廣告公司。這個決策涉及到數據的隱私和商業利用。在這里,“決策權”意味著確定誰有權做出這個決定。在數據治理框架中,可能是一個特定的委員會(如數據治理委員會)或特定的高級管理人員(如首席數據官)負責這個決策。他們會評估與數據共享相關的風險、收益和合規性問題,然后做出是否共享數據的決定。如果公司決定共享數據,那么數據保護和合規性的責任就是一個重要議題。在這種情況下,數據治理團隊可能需要確保數據共享過程符合數據保護法規(如歐盟的一般數據保護條例GDPR)。這可能包括確保數據在傳輸前得到適當的加密,以及確保與第三方簽訂的合同中包含數據保護的條款。“制定/收集/協調規則”的舉例:為了保護用戶數據,某銀行制定了一系列內部數據管理規則。這包括數據加密標準、對敏感信息的訪問控制政策、數據存儲和備份程序等。例如,它可能規定所有客戶數據都必須加密存儲,并且只有授權員工才能訪問;其次,由于銀行在不同國家運營,它需要收集并理解這些國家的數據保護法律,銀行需要確保它的操作符合所有這些不同的法律要求,最后,銀行需要確保其內部規則與外部法規保持一致。這可能涉及修改內部政策以符合最嚴格的國際標準,確保全球操作的統一性。例如,如果《數據安全法》要求的數據隱私保護措施比其他國家的法律要求更為嚴格,銀行可能會選擇將《數據安全法》的標準作為其全球操作的基準。“監控/執行合規性”舉例:假設金融服務公司處理大量的個人和交易數據,為了確保遵守《數據安全法》,其需要實施一個數據監控系統,這個系統定期自動檢查和分析數據處理活動,以確保所有的數據收集、存儲和處理活動都符合《數據安全法》要求,在監控到可能的合規問題時,比如發現某些個人數據沒有得到適當的處理,金融服務公司會采取必要的執行措施,這可能包括調查違規情況的原因,采取糾正措施來解決問題,以及必要時向監管機構報告違規情況。此外,公司可能還會定期對員工進行數據保護和合規性培訓,確保回到合規狀態。
3、WHEN:什么時候組織需要正式的數據治理?DGI談到,當以下四種情況之一發生時,組織需要從非正式治理轉向正式數據治理:
組織變得如此龐大以至于傳統管理無法解決數據相關的跨職能活動。
組織的數據系統變得如此復雜以至于傳統管理無法解決數據相關的跨職能活動。
組織的數據架構師、SOA團隊或其他橫向聚焦的團隊需要跨職能項目的支持,這些項目采用企業(而非孤立)視角來考慮數據關注點和選擇。
法規、合規性或合同要求正式數據治理。
“組織過于龐大”需要數據治理的舉例:想象一家國際銀行,它在全球有數百家分支機構。隨著業務擴展到不同國家和地區,它需要處理來自不同分支的各種客戶數據、交易數據和合規數據。由于規模龐大,數據在不同部門和地區間的協調變得復雜。因此,銀行實施正式的數據治理框架,建立了一個集中的數據管理團隊和統一的數據標準,以確保全球范圍內的數據一致性和準確性。“數據系統過于復雜”需要數據治理的舉例:考慮一家擁有多種業務線(如在線零售、數字內容和云計算服務)的大型科技公司。隨著業務的發展,公司內部使用了多種不同的數據存儲和處理系統。這些系統之間的數據整合變得日益困難,影響了運營效率和客戶體驗。為此,公司建立了一個統一的數據平臺,通過正式的數據治理程序來協調不同系統間的數據流和數據標準。“跨職能項目”需要數據治理的舉例:一個制造企業正試圖通過實施全新的供應鏈管理系統來提升效率。這個項目需要集成來自財務、采購、生產和物流等多個部門的數據。由于這些部門之前在數據管理上各自為政,導致數據不一致和流程斷裂。因此,公司成立了一個由數據架構師和業務分析師組成的跨職能團隊,通過正式的數據治理流程確保項目的順利實施。“合規性”需要數據治理的舉例:一家全球性制藥公司,因為其產品在不同國家銷售,需要遵守各地的藥品安全和患者隱私相關法規。為了合規,公司不僅需要對患者數據進行安全管理,還必須確保在全球范圍內對這些數據的處理遵循嚴格的標準。因此,公司實施了一個正式的數據治理框架,包括數據加密、訪問審計和定期的合規性評估。因此,如果企業的規模不大,或者復雜度不夠高,那么做數據治理的必要性就不會很大。但即使滿足了以上所有條件,也不代表企業就能夠啟動數據治理,因為除了業務需求驅動因素,數據治理還受限于企業一把手的認知、數據文化等諸多因素。
4、WHERE:數據治理由組織中的哪個部門負責?
數據治理職責可能設在業務運營、IT部門、合規與隱私保護部門,或是數據管理部門。關鍵在于這些部門能否獲得領導層的充分支持和數據相關方的配合。
需要指出,將數據治理職責置于應用開發部門,通常會降低成功率。其原因在于開發團隊在滿足其他利益相關者需求時通常需要做出妥協,難以同時扮演運動員和裁判員的角色。同樣地,歸屬于項目管理辦公室的數據治理項目可能也會受影響。這是因為,負責確保項目按時、預算內完成的項目經理可能會回避揭露需要治理關注的數據問題。另一方面,若將數據治理職責安置于非開發部門,例如讓一個缺乏實際操作經驗的純管理部門負責,可能會因其能力限制導致項目難以實際落地,導致過多的PPT式數據治理。一種可行的方法是,在開發部門內新增一個二級管理中心,利用原部門的力量實現快速推進。或者更激進地,可以考慮成立一個融合開發和管理人員的新組織。
5、WHY:為何采用正式的數據治理框架?
數據治理框架是指組織中管理數據資產的一系列政策、程序、標準和指標。框架有助于我們整理和表達復雜或不明確的概念。通過實施正式的數據治理框架,業務、IT、數據管理和合規等各個領域的相關方能夠更有效地集思廣益,并明確共同的思路和目標。此外,數據治理框架可幫助管理層和員工做出合適且具有長期影響的決策。它有助于就“決策的決策方式”達成共識,使得規則的制定更高效,確保規則的遵守,并有效處理違規行為、模糊事項和各種問題。
舉例:一家跨國零售企業在全球范圍內運營,擁有龐大的客戶數據和復雜的供應鏈管理系統。企業面臨的挑戰包括數據孤島、數據質量不一以及跨國合規性問題。該企業成立了一個包括業務、IT、數據管理、法務和合規等部門代表的數據治理委員會。該委員會負責制定統一的數據治理策略和標準;委員會確定了共同的目標,即提高數據的可用性、質量和合規性。為此,他們制定了一系列數據標準和管理流程。委員會還制定了“決策的決策方式”,即如何處理數據相關的決策,包括誰來做決策、如何評估決策的影響,以及如何監控和執行這些決策。依據此數據治理框架,企業通過跨部門協作,不同領域的專家能夠集思廣益,形成了統一的數據治理視角;有了清晰的決策框架,管理層和員工在數據相關的問題上做出了更加恰當且具有長遠影響的決策。通過有效的規則制定和執行,企業不僅提高了操作效率,還確保了在不同國家的業務符合當地的數據保護法規。
6、HOW:組織如何實施數據治理?
首先,數據治理應由業務需求驅動,以明確工作的重點和方向。接著,進行價值聲明,以界定工作范圍并設定具體、可衡量、可實現、相關、時限明確(SMART)的目標,以及成功評估標準和度量指標。然后,制定一個行動路線圖,以便通過該圖獲得利益相關方的支持。一旦獲得支持,即可開始設計和部署數據治理項目,處理各項數據治理流程,并監控、測量和報告數據、項目及其狀態。數據治理項目通常最初專注于特定問題,之后逐漸擴展范圍以涵蓋更多關注點。因此,建立數據治理通常是逐步迭代的過程。新的關注領域可能經歷上述所有步驟,而已穩定運行的數據治理領域則繼續運作。
舉例:這里以一家金融機構為例說明其如何實施數據治理。該機構首先確定數據治理的關鍵點是提升數據保護水平和確保符合行業法規。接著,他們制定了一份價值聲明,比如“通過保證數據安全和合規性來增強客戶信任”。然后,他們設定了具體的SMART目標,如在一年內對所有客戶數據實現全面加密,并圍繞這些目標建立成功評估標準和度量指標。隨后,他們制定了一個行動計劃,涉及升級安全系統、定期進行數據審計和對員工進行合規培訓等方面。為了獲得內部支持,他們向管理層和員工展示計劃的好處。在得到支持之后,他們開始部署數據治理項目,這包括加強數據加密措施和監控數據處理流程。項目的最后階段,他們會定期檢查數據的安全性和合規性,以確保達成項目目標。
7、HOW:我們如何評估是否準備好進行數據治理?
這個問題其實是問題3的另一種問法,可以讓我們從更多的角度思考當前是否是啟動數據治理的合適時機。即在從當前狀態過渡到更正式的數據治理和管理之前,評估組織是否已做好數據治理的準備是非常重要的。為何如此?因為可能存在合理的理由來解釋當前模式的適用性,即存在即合理。同樣,也可能有充分的理由表明,變更可能對企業、特定項目或個人的職業生涯產生負面影響,一些警示信號包括:
業務部門拒絕參與數據治理
領導層不支持數據治理工作
在必須由組織高層決策和制定規則的情況下,選擇實施自下而上的程序
授權一個團隊(外包商、合作伙伴或團隊)負責數據相關工作的數據決策,而這個團隊在以下情況下可能不會受益:
考慮到整個企業的視角。
讓數據利益相關者參與其中。
糾正數據問題。
承認數據問題存在。
大量的數據治理項目由于業務部門不配合、數據治理團隊未主動爭取獲得領導層支持或者利益問題而導致失敗,下面是兩個典型失敗案例:
案例1:某公司采購物資在入庫的時候靠人工錄入物資信息,錯漏錄入的情況時有發生,公司數據治理團隊認為這會導致嚴重的賬實不一致,從而帶來經營風險。因此數據治理團隊試圖實施一個數據治理項目,希望通過優化物資錄入流程來解決問題,比如采取掃碼等形式提高物資信息的錄入質量,然而,業務團隊視數據治理為額外的負擔,并認為它會干擾他們的日常工作,拒絕參與項目的規劃和實施階段,也不愿意適應新的數據處理規則和流程,最終該項目因為缺乏跨部門協作和支持而失敗。
案例2:一家制造企業將數據治理項目委托給其IT部門,目標是提升數據質量和運營效率。IT部門實施了更新數據存儲系統和優化數據處理流程等措施。但在項目執行中,出現了數據不一致和錯誤的問題。在這種情況下,IT部門可能不愿承認存在數據問題,因為這可能意味著他們的工作存在缺陷或項目管理不當。他們可能會選擇忽略這些問題,或把問題歸咎于用戶輸入錯誤或過時的硬件等外部因素。由于沒有及時識別和處理這些數據問題,這些問題最終影響了整個公司的數據質量和決策效率。該案例中,體現了做數據治理的團隊既做治理又做運營的風險,可能得情況下,還是要把運動員和裁判員的職責分開。
8、加分問題:數據治理中最常被忽視的方面是什么?
數據治理工作中最容易被忽視的方面是直接處理數據相關問題和決策的員工的溝通能力。這些員工需要能夠清晰地表達各方利益相關者的需求和擔憂,并通過多種溝通方式和媒介有效地傳達信息。由于這些員工往往缺乏寫作或公共演講經驗,他們需要掌握針對數據領域的特定溝通技巧,制定溝通計劃,并創建電子郵件模板,確保所有利益相關者及時、有序地接收必要信息,以避免潛在的政治問題。DGI強調溝通能力的重要性,這一點我非常認同:首先,數據治理的定義是“對數據相關事務的決策權和權威行使”,這本身就蘊含強烈的溝通特質。如果你的日常工作不涉及溝通,那么它可能與決策和權威行使無關,也就不屬于治理工作。其次,啟動數據治理的動因常在于“組織規模龐大到使得傳統管理無法解決數據相關的跨職能活動”。橫向協調工作越多,就越需要清晰有效的溝通。數據治理團隊尤其需要像“外交部長”這樣的人物。第三,根據我的經驗,數據治理的前期約80%的時間花在溝通和匯報上。但值得注意的是,不僅員工需要具備溝通能力和意識,管理者自身更需以身作則,身體力行。
關于這八個問題的回答就好比是學習DGI數據治理的開胃菜,在下一篇中,我將解讀DGI數據治理框架涉及的基本概念,這不僅是理解DGI數據治理框架的前提,也是深入理解數據治理的關鍵。