隨著云時代的來臨,大數據也吸引了越來越多的關注。大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。
數據治理是一個長期、復雜的系統工程,企業各層級的數據管理人員必須不斷的溝通、教育和推廣數據資產價值的重要性以及數據治理職能的業務貢獻。提升數據使用者對數據治理的意識及對數據治理效益的認可程度,是持續改進企業
數據管理機制,充分挖掘企業數據價值,提升企業核心競爭力。
一、何為數據治理
治為整治,關注數據質量,保障數據穩定性、準確性,合理控制數據的生命周期,降低成本。理為梳理和管理,數據的基本信息、狀態、關聯關系等,目標是搞清有哪些數據、從哪來到哪去,最終用到什么地方。所以,數據治理是一個過程,是一個從混亂到有序的過程。以服務組織戰略目標為基本原則,通過組織成員的協同努力,流程制度的制定,以及數據資產的梳理、采集清洗、結構化存儲、可視化管理和多維度分析,實現數據資產價值獲取、業務模式創新和經營風險控制的過程。數據治理的目的在于確保數據的質量,可用性,可集成性,安全性和易用性。
二、數據治理的重點與難點
1、確定主數據對象范圍
數據分為基礎數據、主數據、條件數據、事務型數據、結果型數據和報表數據,識別主數據的標準為是否最終用戶使用、數據的穩定性、數據被重復使用或參考的頻率等。明確了主數據對象,以及其應用的業務范圍和系統范圍后,主數據對象范圍基本確定。
2、訂數據標準規范
在該階段,最大的捷徑是在企業內部明確各個主數據對象的專家,由專家牽頭,相關部門配合來梳理數據標準和制定主數據標準規范。主數據的標注規范一般包括主數據對象的數據分類、數據字典、數據描述規則、數據編碼規則,確定主數據對象的主數據對象的唯一性規則(確保一物一碼)、主數據對象的規范性規則(確定每一個輸入框的值符合標準規范)、完整性規則(必輸、可選、隱藏、顯示)。
3、確定主數據維護流程
主數據維護流程一般定義為主數據修改流程、主數據新建流程、主數據歸檔流程、主數據凍結/解凍流程。為何要使用流程呢?因為不論是否搭建主數據管理系統(MDM系統),主數據都是由使用者提需求,相關部門做審核控制后編碼。
4、歷史主數據清洗
數據清理的最大難點是人的問題,需要抽調大量的人力將不符合規范要求的數據洗白,從而符合主數據管理標準規范的要求。那么,是否一定要這么做呢?答案是肯定的,唯一可以減少工作量的技巧就是對幾年之內沒有發生過業務的主數據不清理,這些主數據在經營或生產系統中不允許做業務,如果將來該主數據要發生,那么需要先修改成符合標準規范的數據后,再允許做業務。
5、主數據應用跟蹤和分析
對活躍度的分析,可以定期清理非動態的主數據;對主數據采標率的分析,可以逐步清理干凈非采標數據;對數據應用質量的監控,可以確保在主數據標準規范調整后(唯一性、完整性和規范性)的數據清洗;對數據編碼進度的監控,可以提高編碼效率。