現代企業的各項決策和管理都建立在高質量數據的基礎之上,而這依賴于數據清洗、數據連通與業務融合等多方面的協同。成熟的數據治理模式和工具能夠有效提升數據質量和安全性,確保數據資產的有序存儲于共享,為深度推進信息資源整合和對接提供良好基礎。
一、數據治理背景介紹
數據治理是對數據的全生命周期進行管理,包含數據采集、清洗、轉換等傳統數據集成和存儲環節的工作、同時還包含數據資產目錄、數據標準、質量、安全、數據開發、數據價值、數據服務與應用等,整個數據生命期而開展開的業務、技術和管理活動都屬于數據治理范疇。有的專家干脆把廣義的數據治理稱為數據資產管理。
二、數據治理意義:發掘數據資產的商業價值
數據治理能夠消除數據的不一致性,建立規范的數據應用標準,提高組織數據質量,實現數據廣泛共享,并能夠將數據作為組織的寶貴資產應用于業務、管理、戰略決策中,發揮數據資產的商業價值。同時,數據治理將幫助組織更好的遵從內外部有關數據使用和管理的監管法規,如SOX法案,Basel II協議等。良好的數據治理必將為信息化時代的企業帶來不可替代的競爭優勢。
三、數據治理平臺三要素
1、數據準備:數據準備是清理、標準化、轉換或豐富數據的過程。數據驅動型團隊依賴于數據準備平臺,這些平臺過去由數據專家完成任務,現在由最了解數據的運營人員完成。數據治理平臺需要具有類似Excel的UI和智能指導的工作流驅動,需要功能直觀且、易于使用。
2、數據剖析:衡量整個企業以各種形式存儲的數據的特征和狀況的過程。數據剖析通常被認為是獲得對團隊數據的控制權的重要第一步。此步驟的關鍵是深入了解數據,包括單個數據源和特定記錄。憑借對數據的深入了解,統計數據剖析得以執行,并應用自定義規則和對不符合團隊標準的數據進行修改。
3、數據管理:管理從策劃到退役的數據生命周期全過程。數據管理是定義和維護數據模型、記錄數據、清理數據以及定義其規則和策略的過程。它支持實施定義明確的數據治理流程,涵蓋多項活動,包括監控、協調、優化、重復數據刪除、清理和聚合,以幫助向應用程序和最終用戶提供高質量的數據。
四、數據治理平臺搭建流程
1、制定數據標準,優化流程
對企業來說,數據有很多來源。金融、人力、供應鏈、生產、銷售等內部數據;政策、經濟、社會、科技、產業、市場、競爭者等外部數據。盡管數據來源廣泛,數據量大是其優勢,但如果不加以整理,混亂的數據不但不利于分析應用,而且會造成不必要的財產損失。所以企業應建立統一的數據標準、數據管理流程和系統,以規范數據生產與供應過程。
2、搭建平臺
對于數據治理平臺的搭建,企業需要考慮用戶的不同需求,從而建立不同的模塊。數據治理平臺的內容主要包括數據質量管理、數據標準管理、數據安全管理、數據模型工具、元數據管理、主數據管理等功能模塊。我們所說的數據治理項目不是為治理數據而構建,而是與大數據平臺、數據倉庫、數據分析挖掘等項目相結合,通過提高數據質量、控制數據安全性,使數據發揮最大效益。
3、優化模型,確保數據安全
數據安全管理是從數據資產整理開始的。將數據資產進行整理分類,可以明確敏感數據在系統內的分布情況,判斷敏感數據是如何被訪問的,以及確定當前賬號和授權的狀態。依據數據價值和數據特性,對企業的核心數據資產進行分類,利用數據治理工具將其模型化,確定敏感數據的位置、描述和處理方法,確保數據的合法合規地使用。