蒲公渶

2023-01-12

1、數據質量管理流程
數據質量管理是一個閉環管理流程，包括業務需求定義、數據質量測量、根本原因分析、實施改進方案、控制數據質量，如下圖所示。

1、業務需求定義
筆者的一貫主張是：企業不會為了治理數據而治理數據，背后都是為了實現業務和管理的目標，而數據質量管理的目的就是更好地實現業務的期望。
第一將企業的業務目標對應到數據質量管理策略和計劃中。
第二讓業務人員深度參與甚至主導數據質量管理，作為數據主要用戶的業務部門可以更好地定義數據質量參數。
第三將業務問題定義清楚，這樣才能分析出數據數量問題的根本原因，進而制定出更合理的解決方案。

2、數據質量測量
數據質量測量是圍繞業務需求設計數據評估維度和指標，利用數據質量管理工具完成對相關數據源的數據質量情況的評估，并根據測量結果歸類數據問題、分析引起數據問題的原因。

第一數據質量測量以數據質量問題對業務的影響分析為指導，清晰定義出待測量數據的范圍和優先級等重要參數。

第二采用自上而下和自下而上相結合的策略識別數據中的異常問題。自上而下的方法是以業務目標為出發點，對待測量的數據源進行評估和衡量；自下而上的方法是基于數據概要分析，識別數據源問題并將其映射到對業務目標的潛在影響上。

第三形成數據治理評估報告，通過該報告清楚列出數據質量的測量結果。

3、根本原因分析
產生數據質量問題的原因有很多，但是有些原因僅是表象，并不是根本原因。要做好數據質量管理，應抓住影響數據質量的關鍵因素，設置質量管理點或質量控制點，從數據的源頭抓起，從根本上解決數據質量問題。

4、實施改進方案
沒有一種通用的方案來保證企業每個業務每類數據的準確性和完整性。企業需要結合產生數據問題的根本原因以及數據對業務的影響程度，來定義數據質量規則和數據質量指標，形成一個符合企業業務需求的、獨一無二的數據質量改進方案，并立即付諸行動。

5、控制數據質量
數據質量控制是在企業的數據環境中設置一道數據質量“防火墻”，以預防不良數據的產生。數據質量“防火墻”就是根據數據問題的根因分析和問題處理策略，在發生數據問題的入口設置的數據問題測量和監控程序，在數據環境的源頭或者上游進行的數據問題防治，從而避免不良數據向下游傳播并污染后續的存儲，進而影響業務。