智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一，入選IDC企業數據治理實施部署指南。同時，在IDC發布的《中國數據治理市場份額》報告中，連續四年蟬聯數據治理解決方案市場份額第一。

在線免費試用 DEMO體驗視頻介紹

睿治智能數據治理平臺

IDC蟬聯數據治理解決方案市場第一

數據質量管理的碎碎念

時間：2022-01-14來源：互聯網瀏覽數：284次

數據質量一直是數據倉庫領域一個比較令人頭疼的問題，因為數據倉庫上層對接很.? ? 多業務系統，業務系統的臟數據，業務系統變更，都會直接影響數據倉庫的數據質.? ? 量。因此數據倉庫的數據質量建設是一些公司的重點工作。

一、數據質量
數據質量管理是指對數據從產生、獲取、存儲、共享、維護、應用等各個階段可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使數據質量獲得進一步提高。
"數據質量管理是對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。數據質量管理的終極目標是通過可靠的數據提升數據在使用中的價值，并最終為企業贏得經濟效益。"——以上內容摘自百度百科。
筆者觀點："數據質量管理不單純是一個概念，也不單純是一項技術、也不單純是一個系統，更不單純是一套管理流程，數據質量管理是一個集方法論、技術、業務和管理為一體的解決方案。通過有效的數據質量控制手段，進行數據的管理和控制，消除數據質量問題進而提升企業數據變現的能力。在數據治理過程中，一切業務、技術和管理活動都圍繞這個目標和開展"。
數據質量管理的目的是解決企業內部數據使用過程中遇到的數據質量問題，提升數據的完整性、準確性和真實性，為企業的日常經營、精準營銷、管理決策、風險管控等提供堅實、可靠的數據基礎。

二、數據質量維度
1、準確性：數據不正確或描述對象過期
2、合規性：數據是否以非標準格式存儲
3、完備性：數據不存在
4、及時性：關鍵數據是否能夠及時傳遞到目標位置
5、一致性：數據沖突
6、重復性：記錄了重復數據

三、數據質量問題
數據真實性：數據必須真實準確的反映客觀的實體存在或真實的業務，真實可靠的原始統計數據是企業統計工作的靈魂，是一切管理工作的基礎，是經營者進行正確經營決策必不可少的第一手資料。

數據準確性：準確性也叫可靠性，字段值缺失，空值。是用于分析和識別哪些是不準確的或無效的數據，不可靠的數據可能會導致嚴重的問題，會造成有缺陷的方法和糟糕的決策。

數據唯一性：用于識別和度量重復數據、冗余數據。重復數據是導致業務無法協同、流程無法追溯的重要因素，也是數據治理需要解決的最基本的數據問題。

數據完整性：數據完整性問題包括：模型設計不完整，例如：唯一性約束不完整、參照不完整；數據條目不完整，例如：數據記錄丟失或不可用；數據屬性不完整，例如：數據屬性空值。不完整的數據所能借鑒的價值就會大大降低，也是數據質量問題最為基礎和常見的一類問題。

數據一致性：多源數據的數據模型不一致，例如：命名不一致、數據結構不一致、約束規則不一致。數據實體不一致，例如：（數據量條數）數據編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相同的數據有多個副本的情況下的數據不一致、數據內容沖突的問題。

數據關聯性：數據關聯性問題是指存在數據關聯的數據關系缺失或錯誤，例如：函數關系、相關系數、主外鍵關系、索引關系等。存在數據關聯性問題，會直接影響數據分析的結果，進而影響管理決策。

數據及時性：數據的及時性(In-time)是指能否在需要的時候獲到數據，數據的及時性與企業的數據處理速度及效率有直接的關系，是影響業務處理和管理效率的關鍵指標。

四、數據質量檢測和量化
有效性
字段長度有效
字段內容有效
字段數值范圍有效
枚舉值集合有效

唯一性
對主鍵是否存在重復數據的監控指標

完整性
字段是否為空或NULL

記錄數是否丟失
記錄數環比波動
錄數波動范圍
記錄數方差檢驗

準確性
數值同比

數值環比

數值方差檢驗

表邏輯檢查

一致性
表級別一致性檢查

時效性
表級別質量監控指標，數據是否按時產出

數據剖析
最大值檢查
最小值檢查
平均值檢查
匯總值檢查

自定義規則檢查
用戶寫自定義SQL實現的監控規則

從有效性、唯一性、完整性、準確性、一致性、時效性、數據剖析和自定義規則檢查等幾個維度對數據質量進行測量，但對于現在超級大的數據量級監控所有的數據是不符合成本效率的。因此，知道哪些數據為最關鍵的，對這些關鍵數據進行全鏈路的數據質量，這樣有助于防止錯誤或揭示改進的機會。
數據質量問題的量化

對于數據質量的檢測結果進行分析和量化，查找出現質量問題的數據鏈環節，定位數據問題，實行問責機制。

（部分內容來源網絡，如有侵權請聯系刪除）

立即申請數據分析/數據治理產品免費試用我要試用

上一篇：數據質量管理：6個維度，50個檢查項！...

下一篇：企業如何解決數據質量問題...