數據質量管理是所有數據類項目重點關注的領域，從20多年前的數據倉庫到如今的數據湖、數據中臺，企業都試圖將通過對改善數據質量來提升數據的價值。?

然而遺憾的是，我們看到很多企業的數據項目都是建了拆、拆了建，數據倉庫還沒有搞明白，就開始搞數據中臺了。?

當然，我并不是排斥通過新的技術、新的理念。?

相反，我是非常樂意看到企業用嘗試用新的技術和理念去創新，以提升管理和業務上的效率。?

但是，追求新技術、新概念的過程中不能盲目，更不能過度迷信平臺和工具。?

數據項目還是應該回歸到其本質上來，那就是提高數據質量，提升數據價值。?

數據質量管理需要的是工匠精神，需要不斷地對您擁有的數據進行反復“打磨”，循環迭代，將數據治理“常態化”，而不是指望實施一個項目就能實現數據質量的百分百提升。?

關于如何做好數據質量的管理，我們給出以下10條最佳實踐，希望對您有所啟發。

一、對其業務目標

筆者經常說：企業的數據治理不是為治理數據而治理數據，背后都是為了支持業務和管理目標的實現。提升數據質量的主要目的是推動業務發展：?

第一，將企業的業務目標映射到數據質量管理計劃中來。?

第二，讓業務人員深度參與甚至主導數據質量管理，作為該數據主要用戶的業務部門可以更好地定義數據質量參數。?

第三，將業務問題定義清楚，只有在業務問題定義清楚之后，才能分析出數據數量問題的根本原因，以及制定出更合理的解決方案。

二、評估數據質量

數據質量評估，是一種了解數據問題如何影響業務流程方式。從相關數據源提取數據，圍繞已定義的業務需求，設計數據評估維度并利用相關工具完成評估，將數據質量評估結果以圖表或報告形式準確的表達出來，使相關領導和業務人員能夠直觀、清晰地了解企業的數據質量情況，確保數據問題是與業務需求相關的，并能夠得到相關領導或業務人員的重視與支持。

第一，數據質量評估以數據質量問題對業務的影響分析為指導，清楚的定義出待評估數據的范圍和優先級等重要參數。?

第二，采用自上而下和自下而上相結合的策略識別數據中的異常問題。自上而下是以業務目標為出發點，對待評估的數據集進行評估和衡量。自下而上的方法是基于基于數據概要分析，識別數據問題并將其映射到對業務目標的潛在影響。?

第三，形成數據治理評估報告，通過該報告清楚列出數據質量的評估結果，該報告可以在利益相關者，決策者之間分發，從而推動數據質量改進行動。?

從本質上講，數據質量評估意味著對企業的數據環境進行全面普查，以便能夠確定其環境中的數據質量問題，并識別數據質量問題對業務目標的影響程度。它為數據質量改進計劃和衡量后續改進的結果，提供了一個重要的參考。

三、分析根本原因

產生數據質量問題的原因有很多，但是有些問題的發生僅是表象，并不一定是導致錯誤數據的根本原因。?

要做好數據質量的管理，應抓住影響數據質量的關鍵因素，設置質量管理點或質量控制點，從數據的源頭抓起，從根本上解決數據質量問題。?

對于數據質量問題采用量化管理機制，分等級和優先級進行管理，嚴重的數據質量問題或數據質量事件可以升級為故障，并對故障進行定義、等級劃分、預置處理方案和Review。?

量化的數據質量使得我們可以通過統計過程控制對數據質量進行監測。一旦發現異常值或者數據質量的突然惡化，便根據數據產生的邏輯順藤摸瓜找到產生數據的業務環節。所以在根因分析的過程中，要不斷的去追蹤數據進行問題定位，確定問題最早出現的根本原因進而使問題得到有效解決，達到治標又治本的效果。?

我們在數據問題根因分析章節中已經詳細描述了數據質量問題的根因分析步驟和方法，這里就不再加以重復描述了。

四、制定解決方案

事實上，沒有一種“一刀切”的方法來保證企業每種業務的每種數據的準確性和完整性。

企業數據質量的治理需要結合數據問題對業務的影響程度以及數據問題發生的根本原因制定數據質量管理的解決方案。?

明確數據質量的改進目標，制定數據質量問題處理策略，并立即付諸行動。?

隨著大數據的發展，企業用數需求與日俱增，直接解決數據質量問題變得比以往任何時候都更加重要。?

技術的發展、業務的變化、數據的增加也讓企業的數據環境變更日益復雜和多變。?

因此，企業的數據質量管理是一個持續的過程，永遠也不會出現所謂的“最佳時機”，換句話說，企業數據質量管理的最佳時機就是“JUST DO IT！”

五、控制數據質量

數據質量控制是在企業的數據環境中設置一道數據質量的“防火墻”，以預防不良數據的發生。 數據質量“防火墻”就是根據數據問題的根因分析和問題處理策略，在發生數據問題的入口點設置的數據問題測量和監控程序，在數據環境的源頭或者上游進行數據問題的防治，從而避免不良數據向下游傳播并污染后續的存儲，進而影響業務。 數據質量的測量和控制需要將數據質量目標集成到系統開發的生命周期中，將數據質量控制納入業務流程，徹底遍歷每個應用程序中的數據流并深入了解數據檢查和控制程序的可能插入點。 這些要求必須添加到系統的功能要求中，以便無縫地集成到開發周期中，從而在數據進入系統時進行驗證，避免不良數據的發生。 數據質量“防火墻”能夠自動檢測到的數據問題并將其發送到原始數據源以進行糾正，或者在將其傳遞到企業環境之前進行糾正和調整，極大地減少了數據質量問題對后續業務的影響。

六、糾正數據問題

盡管有效數據質量控制可以在很大程度上起到控制和預防不良數據發生的作用，但事實上，再嚴格的質量控制也無法做到100%數據問題防治，甚至有時候嚴格的數據質量控制還會引出其他更多的數據問題。 因此，企業還需要不時進行主動的數據清理和處理補救，以糾正現有的數據問題。 糾正數據問題涉及數據的生產方、消費方，這一步驟需要企業數據環境中的前中后臺共同開展數據糾錯。 數據質量管理方案要與企業的特定的業務目標緊密匹配，使各方對數據質量管理目標和糾正方案達成共識，這對數據質量目標的最終達成至關重要。

七、組織體系保障

企業需要建立一種文化，以讓更多的人認識到數據質量的重要性，這離不開組織體系的保障。建立數據質量管理的組織體系并為具有適當技能的人員分配角色以確保數據質量。在整個企業中實施數據質量管理時，應考慮以下角色： 數據治理委員會：為數據質量定下基調，制定有關數據基礎架構和流程的決策。數據治理委員會確保在整個企業范圍內采用與數據質量相關的類似方法和政策，并在組織的所有職能部門之間進行橫向調整。數據治理委員會定期開會以定義新的數據質量目標，推動測量并分析各個業務部門內數據質量的狀態。 數據分析師：數據分析師負責數據問題的根因分析，以便為數據質量解決方案的制定提供決策依據。 數據管理員：數據管理員負責將數據作為公司資產進行管理，操作數據質量，例如，定期數據清理，刪除重復數據或解決其他一些數據問題。

八、數據治理目標和3個相結合原則

數據質量考核建立數據質量KPI，通過專項考核計分的方式對各企業各業務域、各部門的數據質量管理情況進行評估。 以數據質量的評估結果為依據，并將問題數據歸結到相應的分類，并按所在分類的權值進行量化。總結發生數據質量問題的規律，利用數據質量管理工具定期對數據質量進行監控和測量，及時發現存在的數據質量問題，并督促落實改正。 考核實行獎懲結合制，每次根據各業務域、各部門數據質量KPI的檢核情況，分別給予相應的獎罰分值，作為各業務域、各部門年終考核的內容，并將數據質量專項考核結果納入對于人員、部門的整體績效考核體系中。 通過評價相關數據質量KPI水平，督促各方在日常工作中重視數據質量，在發現問題時能夠追根溯源地主動解決，對于高水平的數據質量工作成果進行激勵、表彰，提升企業的數據質量管理意識。

九、先進技術賦能

數據質量管理的速度必須與數據生成的速度相匹配才能保證干凈、完整、可靠、一致的數據。傳統的數據質量方法很難實現這一結果，但先進的現代技術為數據質量管理提供了更好的解決方案。 我們可以利用機器學習技術來進行數據質量的監控，評分和改善數據質量，以應對不斷增加的數據速度和日趨復雜的數據環境等挑戰。 機器學習在數據質量管理中的應用包括： 更好的了解和量化數據質量 更好的進行數據質量問題分析 更好的數據匹配和刪除重復數據 更好的豐富企業的數據 數據管理系統中的機器學習功能不斷提高數據質量，以確保所有運營團隊和面向客戶的團隊始終使用準確一致的數據。

十、在數據生命周期中關注數據質量

數據的生命周期從數據規劃開始，中間是一個包括設計、創建、處理、部署、應用、監控、存檔、銷毀這幾個階段并不斷循環的過程。企業的數據質量管理應貫穿數據生命周期的全過程。?

數據規劃。從企業戰略的角度不斷完善企業數據模型的規劃，把數據質量管理融入到企業戰略中，建立數據治理體系，并融入企業文化中。?

數據設計。推動數據標準化制定和貫徹執行，根據數據標準化要求統一建模管理，統一數據分類、數據編碼、數據存儲結構，為數據的集成、交換、共享、應用奠定基礎。?

數據創建。利用數據模型保證數據結構完整、一致，執行數據標準、規范數據維護過程，加入數據質量檢查，從源頭系統保證數據的正確性、完整性、唯一性。?

數據使用。利用元數據監控數據使用；利用數據標準保證數據正確；利用數據質量檢查加工正確。元數據提供各系統統一的數據模型進行使用，監控數據的來源去向，提供全息的數據地圖支持；企業從技術、管理、業務三個方面進行規范，嚴格執行數據標準，保證數據的規范化輸入，標準化。