日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

數據治理——數據質量管理淺談

時間:2022-03-16來源:互聯網瀏覽數:911

什么是數據治理
數據治理在系統層面主要包括數據標準、元數據、數據質量、生命周期管理、數據安全、數據資產等模塊;在管理層面需要通過數據治理組織、數據治理流程進行支撐保障。

企業數據治理項目的背景和目標
背景:從當前大多數企業現狀調研發現,大量冗余數據散落在多個復雜的、毫無關聯的信息孤島中,使數據的業務過程缺少統一的數據框架、一致的數據規范,導致跨部門的合作的變得重復和紊亂,并進一步導致風險的顯著提升和更為低劣的數據質量。
目標:支持企業數字化轉型、支持企業運營合規、風險可控、價值創造以及運營創新等。

數據治理要素:數據治理準則、數據治理域、數據治理的實施方法論

數據治理內容包含太多,下面簡單聊一下數據質量管理:

如何進行數據質量管理?有兩條路徑:一是發現問題+解決問題(事后管理);二是預判問題+杜絕(事前管理)。

1、先介紹一下數據質量評估標準(完整性、一致性、準確性、及時性等):
1).完整性:完整性是指數據信息是否存在缺失的情況,數據缺失可能是整個數據的缺失,也可能是數據中某個字段信息的缺失。數據完整性是數據質量最為基礎的一項評估標準。一般可以通過數據統計中的記錄值和唯一值進行評估。例如,統計地域分布情況時,每一個地區名就是一個唯一值,我國包括32個省和直轄市,如果統計得到的唯一值總數小于32,則可以判斷數據有可能存在缺失。
2).一致性:一致性是指數據是否遵循了統一的規范,數據之間的邏輯關系是否正確和完整。規范是指一項數據存在它特定的格式,例如,手機號碼一定是13位的數字,IP地址一定是由4個0~255間的數字加上“.”組成的。邏輯是指,多項數據間存在著固定的邏輯關系,例如百分率一定是在0~1之間的。
3).準確性:準確性是指數據中記錄的信息和數據是否準確,數據記錄的信息是否存在異常或錯誤。與一致性不同,存在準確性問題的數據不只是規則上的不一致。導致一致性問題的原因可能是數據記錄的規則不一,但不一定存在錯誤;而準確性關注的是數據記錄中存在的錯誤,如字符型數據的亂碼現象就存在著準確性的問題,還有就是異常的數值:異常大或者異常小的數值、不符合有效性要求的數值等。
4).及時性:及時性是指數據從產生到可以查看的時間間隔,也稱數據的延遲時長,是數據世界與客觀世界的同步程度。數據的及時性主要與數據的同步和處理過程的效率相關。

2、再分析一下影響數據質量的因素主要來源(信息因素、技術因素、流程因素和管理因素):
1).信息因素:產生這部分數據質量問題的原因主要有:元數據描述及理解錯誤、數據度量的各種性質(如:數據源規格不統一)得不到保證和變化頻度不恰當等。
2).技術因素:主要是指由于具體數據處理的各技術環節的異常造成的數據質量問題。數據質量問題的產生環節主要包括數據創建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方面的內容。
3).流程因素:是指由于系統作業流程和人工操作流程設置不當造成的數據質量問題,主要來源于系統數據的創建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環節。
4).管理因素:是指由于人員素質及管理機制方面的原因造成的數據質量問題。如人員培訓、人員管理、培訓或者獎懲措施不當導致的管理缺失或者管理缺陷。

3、解決方案淺談
1).事后管理:
通過數據質量評估標準,對目標數據進行質量問題發現,然后進行全鏈分析(血緣分析、影響分析),找到問題出現的環節及具體的原因。如果引入了專業的數據治理系統(工具),則可以按如下圖所示流程推進,主要流程包括質量問題定義、檢核監控、發現分析、跟蹤反饋及知識庫沉淀等(循環、持續)。

2).事前管理(包含但不限于)
第一:成立數據治理委員會(根據實際情況而定,或叫數據治理領導小組,自上而下,在管理線上能夠大力支持)
第二:制定數據標準管理體系,例如:國標、行標、企業內部標準,各業務系統需要根據制定的標準,在業務系統建設時進行準確的落標動作。
第三:制定嚴格明確的規章制度,比如:數據庫等系統運維流程(作業上線/下線流程、數據變更、數據備份(歸檔)/恢復、數據脫敏/加密、數據訪問安全等)。
第四:業務數據開發落地的邏輯準確性(多輪測試、試運行等)。
第五:保障運行腳本(SQL)的健壯性。保障數據庫、表及字段等的合理性創建和準確性設計。

小結:數據治理是一項長期且復雜的體系化工程,它需要通過一系列流程規范、制度、IT能力以及持續運營等機制來保障治理工作的持續推進。
(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢