隨著企事業單位人們對數據治理的認知不斷加深、各種技術持續的發展以及信息化不斷的深入,
數據治理成為挖掘數據價值的重要手段和工具。數據治理工具在過去的20年也不斷的發展。由于數據治理涉及的領域眾多,目前主要有兩種形式的數據治理工具產品:一是將幾個相關數據管理工具功能整合到一起,打通數據連接,形成互相之間有接口的工具平臺,比如由元數據、數據標準、數據質量集成起來形成的數據治理平臺。二是基于傳統數據管理方法,在某個業務領域精耕細作形成的完善產品,比如獨立的主數據管理工具、元數據管理工具、數據建模工具、數據質量管理工具等。
什么是數據治理
廣義上講,數據治理也被稱為數據資產管理,是對數據采集、清洗、轉換等數據的全生命周期進行傳統數據集成和存儲環節的工作,對整個數據生命期開展的業務、技術和管理活動都屬于數據治理范疇。同時還包含數據標準、數據資產目錄、安全、質量、數據價值、數據服務與應用、數據開發等。狹義上講,數據治理是指對數據質量的管理、專注在數據本身。
數據治理的作用
數據治理能夠消除數據的不一致性,建立規范的數據應用標準,提高數據質量,實現數據內外部共享,將數據作為企事業單位數據資產進行應用和管理的一套管理機制,作為組織的寶貴資產應用于業務、管理、戰略決策中,發揮數據資產價值。數據治理的最終目標是提高數據的及時性、準確性、唯一性、完整性、有效性、一致性,確保數據的完整性、可用性及保密性,推進數據資源的整合、服務和共享,實現數據資源在各組織機構部門的共享,從而充分發揮數據資產作用、提升企事業單位信息化水平。
數據治理工具的功能
下面以目前國內功能齊全的數據治理工具——億信華辰睿治數據治理平臺為例講解整體架構。億信華辰睿治數據治理平臺用于實現數據管理自動化,落實數據管理體系,確保數據質量、提高數據管理效率,實現安全數據共享。主要包括數據標準管理、元數據管理、數據集成管理、主數據管理、數據質量管理、數據交換管理、數據資產管理、數據生命周期管理、數據安全管理和實時計算存儲十大功能模塊。
數據標準管理:數據標準建設提供全面完整的數據標準管理流程及辦法,用于決定和建立單一、準確、權威的事實來源,實現大數據平臺數據的完整性、有效性、一致性、規范性、開放性和共享性管理,并為數據質量檢查、數據安全管理提供標準依據。
元數據管理:元數據管理內置豐富的采集適配器,端到端的自動化采集,一鍵元數據分析,快速理清數據資源,了解數據來龍去脈,構建數據地圖,為數據標準建設和數據質量提供基礎支撐。
數據集成:數據集成管理可實現跨部門數據的傳輸、加載、清洗、轉換和整合,支持自定義調度和圖形化監控,實現統一調度、統一監控,滿足運維可視化需求,提高運維管理工作效率。
主數據管理:主數據管理對需要共享的數據建立統一視圖和集中管理,為各業務系統數據調用提供黃金數據。
數據質量管理:數據質量管理以數據標準為數據檢核依據,以元數據為數據檢核對象,通過向導化、可視化等簡易操作手段,將質量評估、質量檢核、質量整改與質量報告等工作環節進行流程整合,形成完整的數據質量管理閉環。
數據交換:數據交換服務將若干個業務子系統之間進行數據或者文字的傳輸和共享,提高信息資源的利用率,集數據采集、處理分發、交換傳輸于一體,輕松玩轉企業級數據交換作業。
數據資產管理:數據資產服務可以幫助我們更好的支撐各種數據的應用,豐富的服務接口拓展,支撐數據資產的多渠道應用,如數據共享、決策支持等,最終實現數據資產價值最大化。
數據生命周期管理:數據生命周期記錄數據從創建和初始存儲,到它過時被刪除的整個流動過程,對數據進行近線歸檔、離線歸檔、銷毀和全生命周期監控。
數據安全管理:數據安全管理貫穿于數據治理全過程,提供對隱私數據的加密、脫敏、模糊化處理、數據庫授權監控等多種數據安全管理措施,全方位保障數據的安全運作。
實時計算存儲:實時計算存儲基于開源Hadoop框架開發,融合MPP、SQL on Hadoop、流處理等大數據技術,支持海量數據的高效儲存和統一管理,為企業決策提供實時的數據支撐。