一、什么是數據質量管理
數據質量管理（Data Quality Management），是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。數據質量管理的目標是通過數據分析、數據評估、數據清洗、數據監控、錯誤預警等內容，解決數據質量問題，使數據的質量得以改善，使其滿足數據需求方對數據質量的規則要求。
二、為什么企業需要數據質量管理
企業開始意識到數據質量管理的重要性。推動數據質量需求的共同點有：將新數據源，尤其是非結構化數據與現有系統集成；利用所有可用的企業數據所需的財務投資和競爭壓力：以及從數據所在的孤島中提取數據的難度等。哈佛商學院發布一項研究顯示，47% 的新創建數據記錄至少包含一個嚴重錯誤。麻省理工學院斯隆進行的一項驚人研究指出，不良數據的處理成本可能高達總收入的 15-25%，且是長期的無用成本損耗。一個可靠的數據質量管理計劃將確保數據的高度完整性，并且任何需要它的人都可以以安全和受監管的方式隨時獲得數據。
數據質量管理就是找到正確的組合，讓合適的人員按照正確的方法配備正確的工具。
三、數據質量評估標準
1、一致性
多源數據的數據模型不一致，例如：命名不一致、數據結構不一致、約束規則不一致。數據實體不一致，例如：數據編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相同的數據有多個副本的情況下的數據不一致、數據內容沖突的問題。
2、準確性
準確性也叫可靠性，是用于分析和識別哪些是不準確的或無效的數據，不可靠的數據可能會導致嚴重的問題，會造成有缺陷的方法和糟糕的決策。
3、唯一性
用于識別和度量重復數據、冗余數據。重復數據是導致業務無法協同、流程無法追溯的重要因素，也是
數據治理需要解決的最基本的數據問題。
4、完整性
數據完整性問題包括：模型設計不完整，例如：唯一性約束不完整、參照不完整；數據條目不完整，例如：數據記錄丟失或不可用；數據屬性不完整，例如：數據屬性空值。不完整的數據所能借鑒的價值就會大大降低，也是數據質量問題最為基礎和常見的一類問題。
5、及時性
數據的及時性(In-time)是指能否在需要的時候獲到數據，數據的及時性與企業的數據處理速度及效率有直接的關系，是影響業務處理和管理效率的關鍵指標。
6、關聯性
數據關聯性問題是指存在數據關聯的數據關系缺失或錯誤，例如：函數關系、相關系數、主外鍵關系、索引關系等。存在數據關聯性問題，會直接影響數據分析的結果，進而影響管理決策。
7、真實性
數據必須真實準確的反映客觀的實體存在或真實的業務，真實可靠的原始統計數據是企業統計工作的靈魂，是一切管理工作的基礎，是經營者進行正確經營決策必不可少的第一手資料。
四、數據質量管理建設方案
1、建立質量管控流程和規范
明確質量管控的角色、職責，建立可執行的工作流程、可量化的工作評估等關于數據質量管控辦法，同時也應具備績效考核、沖突解決與管控方式等。
2、執行管理工作
1)數據剖析
進行已知數據問題的評估，評估的范圍控制在本輪管控的目標范圍內。通過對數據進行剖析，發現數據問題，具體規則又可通過標準或業務調研進行提取。
2)設計數據質量控制操作程序
獲得已知數據問題后，就應設計數據質量控制操作程序。主要包括制定質量問題評估方式和整改方式、制定質量報告內容及對象以及制定檢查和監控的頻率及方式。
3)定義數據質量需求
根據剖析的質檢規則和控制操作程序，對數據質量需求進行定義。
4)確定數據質量水平
數據質量需求定義完畢之后，我們就需要確定在此需求下，目前數據質量的水平處于什么位置。明確反應質量水平的并最直觀的就是錯誤數據的詳情情況。
5)管理數據質量問題
問題找到后，針對根據不同的質量問題，進行不同的質量整改方案。比如：源頭修改、補錄、技術修復以及遺留問題管控等。
3、檢查數據質量
首先確定整改質量，對處理后的數據進行再次質檢，出具數據質量的報告;然后，對比處理前后效果，總結改進措施;最后，檢查數據質量是否合格，分析不合格原因并下一輪管控中進行技術上或者操作程序上的改進。
4、監控數據質量，控制管理程序和績效
根據既定的操作程序，對質量管控過程中各個環節參與者進行績效評估。還可以根據不同時期的重點制定不同的評分標準，有針對性的進行評價和管控，如整改初期數據缺失嚴重，則可對完整性規則權重調大，以期更快看到成效或者達到更好的效果。
