熱力學第二定律熵增定律為我們揭示了一個孤立系統它的總混亂度（熵）是不會減小的，也就是說如果不做任何管控，事物往往會不斷的向無序發展。我們的數據也是一個不斷熵增的過程，隨著時間的推移會出現無效數據、錯誤數據、冗余數據、不規范數據、相沖突數據等。不好好進行管控，去減少我們數據中的“熵”，我們最后會得到一些無序低價值的數據。

因此今天為大家分享一下數據質量控制的一般流程。通過有效的管控手段，提升數據質量，釋放數據價值。
數據質量控制流程分為4個階段，啟動、執行、檢查、處理。在管控過程中這4個階段需不斷循環，螺旋上升。

第一階段：啟動
在這個階段我們需要根據所在機構的現行組織架構和工作規范基礎上，建立一套質量管控流程和規范。如建立質量管控委員會、制定質量管控管控辦法等。質量管控委員會不必是全職，可由現有組織中如信息中心相關人員兼任。數據質量管控辦法，則應明確質量管控的角色、職責，建立可執行的工作流程、可量化的工作評估方法，同時也應具備績效考核、沖突解決與管控方式等。

有了流程和規范后，相應的責任人就應明確本輪質量管控的目標。如：數據質量提升范圍，或者是滿足一些業務的預期。目標制定完成后我們就可以進入下一個執行階段了。

第二階段：執行
進入執行階段，我們就要開始具體的質量管控工作，整個工作應該圍繞啟動階段制定的目標進行。這時我們應該適當引入一些質量管控工具來幫助我們更高效的完成我們的工作。

首先應該進行已知數據問題的評估，這里評估的范圍也應控制本輪管控的目標范圍內。

第一步，數據剖析
通過對數據進行剖析，發現數據問題。具體規則又可通過標準或業務調研進行提取。

1、根據標準，提出標準規則
比如，我們可以根據標準，提煉出如下圖所示的編碼規則，并進行檢驗。

2、調研業務，提取業務規則
我們可以從業務規則中提取，如大中小微企業貸款當年累放額計算口徑：大中小微企業貸款當年累計發放額=大型企業貸款當年累計發放額+中型企業貸款當年累計發放額+小型企業貸款當年累計發放額+微型企業貸款當年累計發放額+個人經營性貸款當年累計發放額，這樣的指標計算規則，并進行檢查管控。

當然業務規則也可以是圍繞我們既定的業務預期展開。目標不同，業務剖析的方向也應隨之調整。
第二步，設計數據質量控制操作程序
獲知已知數據問題后，就應設計數據質量控制操作程序。主要包括以下3個方面：

制定檢查和監控的頻率及方式
制定質量問題評估方式和整改方式
制定質量報告內容及對象
第三步，定義數據質量需求

根據剖析的質檢規則和控制操作程序，對數據質量需求進行定義，這里又可拆分成以下3個步驟。
1.梳理數據模型
梳理數據模型的主要工作是確定檢查對象實體之間的關系，關鍵字、主外鍵關系梳理、字段類型、長度等。

2.建立質量規則
這一步是將我們剖析的數據檢驗業務規則，轉化成可執行、有結果的技術規則。

3.建立質檢方案
將可同時評價且主責部門劃分一致的規則集合起來，建立質檢方案。也可根據業務或者是評價規范再對規則進行細分建立方案。

第四步，確定數據質量水平
數據質量需求定義完畢之后，我們就需要確定在此需求下，目前數據質量的水平處于什么位置。

明確反應質量水平的，最直觀的就是錯誤數據的詳情情況，如下圖所示。

根據匯報的對象的不同，一般也需要出具質檢情況的統計報告。

第五步，管理數據質量問題
問題找到，下一步我們就應該進行問題的管理了。跟據不同的質量問題，進行不同的質量整改方案。一般方式有以下4種：

源頭修改，即問題數據生產系統中進行修改。
補錄，即在數據中心，建立一個新的倉庫，爭對數據問題進行補充錄入，一般情況為源系統升級或其他原因導致無法從源系統進行修改，而采取的變通方案。
技術修復，即通過如ETL工具等技術手段，對問題數據進行清洗、轉換。

4.遺留問題管控，即對一些無法修復處理的數據進行特殊處理，一般情況下進行標記或者例外處理。

第三階段：檢查
檢查階段，主要是對執行階段的成果進行檢查并分析原因，包括以下3個方面。

1）確定整改質量
對處理后的數據進行再次質檢，出具數據質量的報告。

2）對比整改效果
對比處理前后效果，總結改進措施。

3）檢查數據質量是否合格，分析不合格原因
這里找到了不合格的原因，會在下一輪管控中進行技術上或者操作程序上的改進。

第四階段：處理
本環節一般包括以下2個方面：

1）監控數據質量，控制管理程序和績效
根據既定的操作程序，對質量管控過程中各個環節參與者進行績效評估。還可以根據不同時期的重點的制定不同的評分標準，有針對性的進行評價和管控，如整改初期數據缺失嚴重，則可對完整性規則權重調大，以期更快看到成效或者達到更好的效果。

2）建立質量控制意識與文化
在這里溝通與推廣是重點，要讓所有參與者了解數據質量問題和其實質影響，宣貫系統化的數據質量管控方法，同時挖掘對各個環節參與者的價值，尤其是業務方，傳達一種“數據質量問題不能只靠技術手段解決”的意識。最終形成一種數據質量的管理的文化。

數據質量管控在數據治理體系中占據了十分重要的地位，也是看見實質成效最快的一環。且無論從流程還是工具上，質量管控是長期且動態的過程，需要我們企業上下不斷的探索和思考。他也是數據治理過程中的重要一環，億信華辰睿治智能數據治理平臺，是一款融合數據治理十大產品模塊，覆蓋數據全生命周期管理的應用平臺，其中也包括了數據質量模塊。有需求的用戶可以繼續咨詢了解更多方案和案例。