江湖傳言:
數字化轉型,
數據治理先行。
如今很多企業都將數據治理作為數字化戰略的一項必要舉措,但大家對數據治理有著一個普遍的共識,那就是:“數據治理說起來容易,做起來難”。
那么,如何實現一個數據治理項目成為大家最關心的話題,今天小億將圍繞數據治理項目的實施步驟、工具平臺的功能應用,基于多年來的實踐經驗,總結出數據治理實施成功的要素。全文干貨過多,建議收藏。
一、什么數據治理
數據治理(Data Governance)是組織中涉及數據使用的一整套管理行為。由企業數據治理部門發起并推行,關于如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。國際數據管理協會給出的定義:數據治理是對
數據資產管理行使權力和控制的活動集合。
二、數據治理的關注點
(一)數據來源
這是數據生命周期的起點。數據來源決定了數據治理的基礎。例如數據集的大小就由數據來源所決定。是從目標市場、現存用戶和社交媒體收集數據?還是使用第三方收集數據或者分析你收集的數據?輸入數據流是什么?數據治理必須關注這些問題,并制定策略來管理數據的采集,引導第三方處理他們收集的數據或者分析你收集的數據,控制數據的路徑和生命周期。
(二)數據驗證
通常數據源都是非常龐大且多樣的,這是一個讓數據管理者非常頭疼的問題。將數據噪音和重要數據進行區分僅僅只是開始,如果你正從關聯公司收集數據,你必須確保數據是可靠的,如果你從社交媒體收集數據,那就要保證你有驗證重要數據的方法。總之,你要確保你所獲得的數據是合法和原始真實的,這個問題在并行計算環境中尤其令人擔心,因為并行計算常常被用來收集大量數據,這往往會使用云服務,故而增加了安全隱患。
(三)存儲問題
數據存儲和數據集的大小有密切關系,大數據的存儲必須是在安全的冗余系統之中。常常利用層次體系,根據使用頻率來存儲數據。這樣一來,昂貴的在線系統提供的是被頻繁請求的數據,而請求頻率較低的數據則存儲在便宜,可用率較低的系統上。當然,一些請求頻率低但是敏感的數據如果存儲于安全性較低的系統上,風險會大大提升。因此,在制定數據存儲方案時,良好的數據治理策略必須考慮到方方面面的因素。
(四)數據管理
明確訪問者的權限,只能訪問他們對應權限包含的數據。只有合法請求才能夠訪問數據,而敏感的數據需要更高的權限和更嚴密的驗證才可以被訪問。只向具有特定安全級別的用戶開放。應該對用戶和數據本身設置訪問級別,管理賬戶時,應與人力資源部和采購部緊密互動,這一點非常重要,因為這樣可以及時地使離職員工和停止合作的供應商不再擁有訪問權限。處理好這些細節以及確保數據所有權和責任,這是構成完整的數據治理策略的一部分。
(五)數據使用
如何使用數據是數據治理之后一項重要的內容,數據可能會用于客戶管理,提高客戶體驗,投放定向廣告,提供市場分析,和關聯公司共享數據。必須仔細界定哪些數據可用于共享或者用于營銷,并保護它們免遭攻擊和泄露,因為數據本來就應該被用于純粹的內部用途。讓用戶知悉采集數據的所有公司都會遵守數據安全和保證的規定。能夠確保數據被合理合規的使用,也是數據治理重要的一項內容。
(六)數據安全
收集、驗證、存儲、訪問和使用都是數據安全計劃的必要組成部分,必須要有一個全面的策略來解決這些問題以及其他安全問題。數據安全計劃必須是有效且可用性高,但是數據生命周期的所有部分都很容易受到攻擊和由于粗心造成的破壞。你必須在數據治理中確定數據安全計劃,包括訪問控制,靜態數據,數據傳輸之后的加密等。
三、成功的數據治理步驟
數據治理可參考按照“統籌規劃→管理實施→稽核檢查→資產運營”四個階段的方法策略執行,每個階段對應的管理職能如圖所示。以業務應用目標為指引,企業可以按照自身數據及管理情況制定不同的實施步驟順序。

(一)統籌規劃
第一階段是統籌規劃過程,制定數據治理戰略規劃,明確數據治理目標,涉及建立數據治理組織和制度作為保障措施,盤點數據資產,制定數據資產標準規范等,該階段成果是后續工作的基礎。
一般情況下,數據治理的第一步是建立組織責任體系,根據自身情況,制定數據治理制度規范。需要建立一套獨立完整的關于數據治理的組織機構,明確各級角色和職責,確定兼職專職人員,保障數據治理的各項管理辦法、工作流程的實施,推進工作的有序開展,并逐步打造管理及技術的專業人才團隊。第一步的主要交付物包括:《數據治理規劃》、《數據治理認責機制》、《數據治理工作指引》、《數據治理考核評價辦法》。
第二步是結合業務盤點數據資產,評估當前數據管理能力。對基礎數據的盤點是開展數據治理工作的前提之一,需要分析企業戰略及業務現狀,結合當前大數據現狀及未來發展,盤點企業內外部數據現狀,確立數據治理的目標,并逐漸實施需求調研、盤點資產、采集匯聚等專題任務。與此同時,了解企業數據來源、
數據采集手段和硬件設備情況,以定位自身數據治理能力,規劃未來數據治理成熟度提升方案。第二步的主要交付物包括:《數據資產盤點清單》、《數據資產管理現狀評估》。
第三步是制定數據資產相關的標準規范。在企業組織架構、制度體系和數據資產盤點的基礎上,結合國際標準和行業標準,圍繞數據資產全生命周期管理,制定相關的數據規范體系,包括元
數據標準、核心業務指標數據標準、業務系統數據模型標準、
主數據標準、關鍵業務稽核規則等,使得數據管理人員在工作中有明確的規則可依,同時,建立參考數據和主數據標準、元數據標準(比如元模型標準)、公共代碼標準、編碼標準等基礎類數據標準,以及基礎指標標準、計算指標標準等指標類數據標準和關鍵業務稽核規則。企業應逐步推動相關數據規范和標準的工作建設,使數據有效匯聚和應用,切實保障數據治理的流暢實現。第三步的主要交付物包括:《數據標準管理辦法》。
(二)管理實施
如果說第一階段重點還在于對數據資產的定義、規劃、梳理,第二階段就是對第一階段成果的落地實施。
首先,在搭建大數據管理平臺、完成數據匯聚工作的基礎上,根據企業自身存量數據基礎和增量數據預估,建設或采購必要的
數據治理平臺或引入第三方工具以支撐管理工作,切實建立起企業數據治理能力。(下文會細講)
其次,要建立安全管理體系,防范數據安全隱患,執行數據安全管理職能。再次,還需要制定和管理主數據,以明確企業核心業務實體的數據,如客戶、合作伙伴、員工、產品、物料單、賬戶等,從而自動、準確、及時地分發和分析整個企業中的數據,并對數據進行驗證。
在第二階段里,需要從數據治理的相關業務、技術部門日常工作流程入手,切實建立起企業數據資產管控能力,包括從業務角度梳理企業
數據質量規則,檢測數據標準實施情況,保證數據標準規范在企業信息系統生產環境中真正得到執行。針對關鍵性數據治理工作,可以借助管理工具,建立數據資產的管理流程,保證相關事情都有專人負責。
同時,企業應加強數據資產服務和應用的創新,可以圍繞降低數據使用難度、擴大數據覆蓋范圍、增加數據供給能力等幾個方面開展。通過
數據可視化、搜索式分析、數據產品化等降低數據使用難度;通過數據“平民化”(如打造
數據應用商店)擴大數據覆蓋范圍,讓一線業務人員接觸到更多的數據,讓數據分布更加均衡;通過數據消費者、數據生產者之間靈活的角色轉變,增加數據的供給能力(如形成數據眾籌眾享模式)。
第二階段的工作目標主要是為企業打造核心的管理數據資產的能力,同時為企業內數據治理部門形成數據管理的工作環境,概括起來,就是企業數據資產可管理、可落地。第二階段主要交付物包括:《數據治理辦法》、《數據治理實施細則》(包括數據標準管理、數據質量管理、
元數據管理、主數據管理、數據安全管理、數據應用管理等)。
(三)稽核檢查
稽核檢查階段是保障數據治理實施階段涉及各管理職能有效落地執行的重要一環。這個階段包括檢查數據標準執行情況、稽核數據質量、監管數據生命周期等具體任務。這個階段需要抓好四個“常態化”:
數據標準執行情況檢查的常態化
數據標準管理的檢查主要從標準制定和標準執行兩個方面檢查。標準制定的檢查主要圍繞同國家標準、行業標準的一致性,同時參考與本地標準、數據模型的結合性,包括數據命名規范、數據類別等。標準執行的檢查主要圍繞標準的落地情況,包括數據標準的創建和更改流程的便捷性、數據標準使用的廣泛性、數據標準與主數據的動態一致性等。
數據質量稽核的常態化
應對數據質量問題,首先要提升數據質量意識。其次,建立一套良性循環、動態更新的數據質量管理流程,制定符合業務目標的數據質量稽核規則,明確在數據全生命周期管理各環節的數據質量提升關鍵點,持續評估和監督數據質量與數據質量服務水平。
靈活配置數據存儲策略的常態化
數據生命周期管理,其目標是以完全支持企業業務目標和服務水平的需求,根據數據對企業的價值進行分類分級,形成數據資產目錄,然后制定相應的策略,確定最優服務水平和最低成本,將數據轉移到相應的存儲介質上,爭取以最低的成本提供適當級別的保護、復制和恢復。
數據資產安全檢查的常態化
企業應通過建立對數據資產及相關信息系統進行保護的體系,合規采集數據、應用數據,依法保護客戶隱私,提高數據安全意識,定期進行數據資產安全檢查,保證數據的完整性、保密性、可用性。
第三階段主要交付物包括:《數據治理稽核辦法》、《數據治理問題管理辦法》。
(四)資產運營
通過前三個階段,企業已經能夠建立基本的數據治理能力,在此基礎上,還需要具備以實現業務價值為導向,以用戶為中心,為企業內外部不同層面用戶提供
數據價值的能力。資產運營階段是數據治理實現價值的最終階段,該階段包括開展
數據資產價值評估、數據資產內部共享和運營流通等。
數據資產價值評估能夠以合理的方式管理內部數據和提供對外服務。在大數據時代,數據運營企業關于數據價值的實現是體現在
數據分析、數據交易層面。只有對數據資產價值進行合理的評估,才能以更合理的方式管理內部數據和提供數據對外服務。
數據資產內部共享和運營流通需要加強管理運營手段和方式方法,促進數據資產對內支撐業務應用,對外形成數據服務能力,打造數據資產綜合運營能力。
第四階段主要交付物包括:《數據資產價值評估方法》、《數據資產成本管理方法》、《數據資產共享流通管理辦法》。
四、億信華辰睿治平臺簡介
數據治理實踐離不開軟件工具,數據治理實踐實施過程中,需要依托具體的軟件工具來執行。而且隨著技術的發展,軟件工具的自動化、智能化程度不斷地提高,在數據治理中的作用越來越大。
睿治數據治理平臺由億信華辰自主研發,融合
數據集成、數據交換、實時大數據管理、元數據管理、數據標準管理、數據質量管理、主數據管理、數據資產管理、數據安全管理、數據生命周期管理十大產品模塊,各產品模塊可獨立或組合使用,打通數據治理全過程,適應各類不同的數據治理場景應用。
億信華辰睿治數據治理平臺功能全解:
(一)數據集成管理
數據集成面向數據遷移、交換、匯集、處理、建模等需求,集數據建模與ETL設計于一體,支持廣泛的數據源,內置多種成熟數據處理引擎,可為政府或企業提供更快捷、更高效、更安全的數據集成解決方案。
(二)數據交換管理
數據交換面向數據遷移、交換、匯集、處理等需求,內置多種交換組件,容納多種多樣數據格式,提供豐富數據處理與交換任務設計,提供可視化數據交換監控,幫助用戶建立統一、安全、高效的全局數據共享交換平臺。
(三)實施大數據管理
實時大數據管理基于開源Hadoop框架開發,融合MPP、SQL on Hadoop、流處理等大數據技術,支持海量數據的高效儲存和統一管理,為企業決策提供實時的數據支撐。
(四)元數據管理
元數據管理分析數據來龍去脈,致力于處理技術元數據、業務元數據、管理元數據,幫助各行各業用戶獲得更多的數據洞察力,進而挖掘出隱藏在資源中的價值。
(五)數據標準管理
數據標準管理建立規范的數據應用標準,消除數據的不一致性,從根本上改善和解決系統的數據質量問題,實現數據有效共享,并為后續質量檢查提供依據。
(六)數據質量管理
數據質量管理以數據標準為數據檢核依據,以元數據為數據檢核對象,通過向導化、可視化等簡易操作手段,將質量評估、質量檢核、質量整改與質量報告等工作環節進行流程整合,形成完整的數據質量管理閉環。
(七)主數據管理
主數據管理平臺保證各個系統間共享數據的一致性、完整性、可控性、通用性、正確性,幫助企業創建并維護主數據的單一視圖,從而提高數據質量,統一商業實體定義,簡化改進商業流程并提高業務的響應速度。
(八)數據資產管理
數據資產管理通過元數據對信息資產特征進行描述,并以目錄形式分類管理,形成統一規范的目錄內容和數據資產服務,豐富服務接口的拓展,支撐數據資產的多渠道應用,如數據共享服務、分析決策支持等,最終實現數據資產價值最大化。
(九)數據生命周期管理
數據生命周期記錄數據從創建和初始存儲,到它過時被刪除的整個流動過程,對數據進行近線歸檔、離線歸檔、銷毀和全生命周期監控。
(十)數據安全管理
貫穿于數據治理全過程,保證數據的安全。提供對隱私數據的加密、脫敏、模糊化處理、及對數據庫授權監控。
億信華辰睿治數據治理平臺的十大產品模塊可靈活組合使用,通過有型的產品支撐和實施方法論,解決大企業面臨的數據孤島、數據維護混亂、數據價值利用低的問題,依據企業特有的業務和架構,構建一套源源不斷地把數據變成資產并服務于業務的、可持續讓企業數據用起來的機制,讓數據可見、可懂、可用、可運營。
結語
無論企業大小,在使用數據上都面臨相似的數據挑戰。企業越大,數據越多,而數據越多,越發需要制定一個有效的,正式的數據治理策略。規模較小的企業也許只需要非正式的數據治理策略就足夠了,但這只限于那些規模很小且對數據依賴度很低的公司。即便是非正式的數據治理策略也需要盡可能考慮用戶數據的采集、存儲、管理、使用。
當企業規模擴大,數據需求跨越多個部門時;當數據系統和數據集太大,難以駕馭時;當業務發展需要企業級的數據治理時,或者當法律或監管提出需求時,就必須進行更為正式的數據治理了。如果你發現,有部門在制定自己的數據管理策略,就是時候了。一旦有足夠多的數據讓你成為黑客的攻擊目標,就是時候了。
簡而言之,如果你不得不問“是時候了嗎?”,那么可以肯定,是時候開始正式的數據治理了。
(部分內容來源網絡,如有侵權請聯系刪除)