“熵”是熱力學(xué)第二定律的核心概念，熵其實就是指的“混亂程度”，簡單來說熵是衡量我們這個世界中事物混亂程度的一個指標(biāo)。在一個孤立系統(tǒng)中它的總混亂度（熵）是不會減小的，也就是說如果不做任何管控，事物往往會不斷的向無序發(fā)展。

其實數(shù)據(jù)也是一個不斷熵增的過程，隨著時間的推移會出現(xiàn)無效數(shù)據(jù)、錯誤數(shù)據(jù)、冗余數(shù)據(jù)、不規(guī)范數(shù)據(jù)、相沖突數(shù)據(jù)等。如果不好好進行管控，去減少我們數(shù)據(jù)中的“熵”，我們最后會得到一些無序低價值的數(shù)據(jù)。

如何化“熵增”為“熵減”，數(shù)據(jù)質(zhì)量管理尤為重要。
下定義：解讀數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理是對數(shù)據(jù)從計劃、獲取、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其終極目標(biāo)是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值，并最終為企業(yè)贏得經(jīng)濟效益。

所以，數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)應(yīng)用的基礎(chǔ)，而要評估數(shù)據(jù)是否達(dá)到預(yù)期設(shè)定的質(zhì)量要求，需要有專業(yè)權(quán)威的評價標(biāo)準(zhǔn)來約束。目前為止，最權(quán)威的標(biāo)準(zhǔn)是由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會提出的數(shù)據(jù)質(zhì)量評價指標(biāo)（GB/T36344-2018 ICS 35.24.01），它包含以下幾個方面：

理框架：數(shù)據(jù)質(zhì)量管理系統(tǒng)框架
數(shù)據(jù)質(zhì)量很重要，我們知道數(shù)據(jù)存在的問題，我們也知道數(shù)據(jù)質(zhì)量要符合6大評價標(biāo)準(zhǔn)，但是我們要怎么系統(tǒng)化建設(shè)和管理呢？數(shù)據(jù)質(zhì)量管理一般以數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)檢核依據(jù)，以元數(shù)據(jù)為數(shù)據(jù)檢核對象，將質(zhì)量評估、質(zhì)量檢核、質(zhì)量整改與質(zhì)量報告等工作環(huán)節(jié)進行流程整合，形成完整的數(shù)據(jù)質(zhì)量管理閉環(huán)。

▲數(shù)據(jù)質(zhì)量管理架構(gòu)圖

方法論：數(shù)據(jù)質(zhì)量管理的四個階段
然而，我們需要按照什么流程來對數(shù)據(jù)質(zhì)量進行有效的管控，從而提升數(shù)據(jù)質(zhì)量，釋放數(shù)據(jù)價值？一般來講，數(shù)據(jù)質(zhì)量控制流程分為4個階段：啟動、執(zhí)行、檢查、處理。在管控過程中這4個階段需不斷循環(huán)，螺旋上升。

第一階段：啟動
在這個階段我們需要根據(jù)所在機構(gòu)的現(xiàn)行組織架構(gòu)和工作規(guī)范基礎(chǔ)上，建立一套質(zhì)量管控流程和規(guī)范，如建立質(zhì)量管控委員會、制定質(zhì)量管控辦法等。質(zhì)量管控委員會不必是全職，可由現(xiàn)有組織中如信息中心相關(guān)人員兼任。而關(guān)于數(shù)據(jù)質(zhì)量管控辦法則應(yīng)明確質(zhì)量管控的角色、職責(zé)，建立可執(zhí)行的工作流程、可量化的工作評估方法，同時也應(yīng)具備績效考核、沖突解決與管控方式等。

有了流程和規(guī)范后，相應(yīng)的責(zé)任人就應(yīng)明確本輪質(zhì)量管控的目標(biāo)。如：數(shù)據(jù)質(zhì)量提升范圍，或是滿足一些業(yè)務(wù)的預(yù)期。目標(biāo)制定完成后我們就可以進入下一個執(zhí)行階段。

第二階段：執(zhí)行
進入執(zhí)行階段，我們就要開始具體的質(zhì)量管控工作，整個工作應(yīng)該圍繞啟動階段制定的目標(biāo)進行。適當(dāng)引入一些質(zhì)量管控工具可幫助我們更高效的完成工作。

第一步、數(shù)據(jù)剖析
首先應(yīng)該進行已知數(shù)據(jù)問題的評估，這里評估的范圍也應(yīng)控制本輪管控的目標(biāo)范圍內(nèi)。其次，通過對數(shù)據(jù)進行剖析，發(fā)現(xiàn)數(shù)據(jù)問題，具體規(guī)則又可通過標(biāo)準(zhǔn)或業(yè)務(wù)調(diào)研進行提取。

1）根據(jù)標(biāo)準(zhǔn)，提出標(biāo)準(zhǔn)規(guī)則
比如，我們可以根據(jù)標(biāo)準(zhǔn)，提煉出如下圖所示的編碼規(guī)則，并進行檢驗。

2）調(diào)研業(yè)務(wù)，提取業(yè)務(wù)規(guī)則
接著，我們可以從業(yè)務(wù)調(diào)研中提取規(guī)則，如金融業(yè)的大中小微企業(yè)貸款當(dāng)年累放額計算口徑：大中小微企業(yè)貸款當(dāng)年累計發(fā)放額=大型企業(yè)貸款當(dāng)年累計發(fā)放額+中型企業(yè)貸款當(dāng)年累計發(fā)放額+小型企業(yè)貸款當(dāng)年累計發(fā)放額+微型企業(yè)貸款當(dāng)年累計發(fā)放額+個人經(jīng)營性貸款當(dāng)年累計發(fā)放額，這樣的指標(biāo)計算規(guī)則，并進行檢查管控。

當(dāng)然業(yè)務(wù)規(guī)則也可以是圍繞我們既定的業(yè)務(wù)預(yù)期展開。目標(biāo)不同，業(yè)務(wù)剖析的方向也應(yīng)隨之調(diào)整。
第二步、設(shè)計數(shù)據(jù)質(zhì)量控制操作程序

獲得已知數(shù)據(jù)問題后，就應(yīng)設(shè)計數(shù)據(jù)質(zhì)量控制操作程序。主要包括以下3個方面：
1）制定檢查和監(jiān)控的頻率及方式
2）制定質(zhì)量問題評估方式和整改方式
3）制定質(zhì)量報告內(nèi)容及對象

第三步、定義數(shù)據(jù)質(zhì)量需求
根據(jù)剖析的質(zhì)檢規(guī)則和控制操作程序，對數(shù)據(jù)質(zhì)量需求進行定義，這里又可拆分成以下三步。

1）梳理數(shù)據(jù)模型
梳理數(shù)據(jù)模型的主要工作是確定檢查對象實體之間的關(guān)系，如關(guān)鍵字、主外鍵關(guān)系梳理、字段類型、長度等。

2）建立質(zhì)量規(guī)則
這一步是將我們剖析的數(shù)據(jù)檢驗業(yè)務(wù)規(guī)則，轉(zhuǎn)化成可執(zhí)行、有結(jié)果的技術(shù)規(guī)則。

3）建立質(zhì)檢方案
將可以同時評價且主責(zé)部門劃分一致的規(guī)則集合起來，建立質(zhì)檢方案。也可根據(jù)業(yè)務(wù)或者評價規(guī)范再對規(guī)則進行細(xì)分并建立方案。

第四步、確定數(shù)據(jù)質(zhì)量水平
數(shù)據(jù)質(zhì)量需求定義完畢之后，我們就需要確定在此需求下，目前數(shù)據(jù)質(zhì)量的水平處于什么位置。明確反應(yīng)質(zhì)量水平的并最直觀的就是錯誤數(shù)據(jù)的詳情情況，如下圖所示。

根據(jù)匯報的對象不同，一般也需要出具質(zhì)檢情況的統(tǒng)計報告。

第五步、管理數(shù)據(jù)質(zhì)量問題
問題找到，下一步我們就應(yīng)該進行問題的管理了。根據(jù)不同的質(zhì)量問題，進行不同的質(zhì)量整改方案。一般方式有以下4種：

1）源頭修改，即問題數(shù)據(jù)生產(chǎn)系統(tǒng)中進行修改。
2）補錄，即在數(shù)據(jù)中心，建立一個新的倉庫，針對數(shù)據(jù)問題進行補充錄入，一般情況為源系統(tǒng)升級或其他原因?qū)е聼o法從源系統(tǒng)進行修改，而采取的變通方案。

3）技術(shù)修復(fù)，即通過如ETL工具等技術(shù)手段，對問題數(shù)據(jù)進行清洗、轉(zhuǎn)換。

4）遺留問題管控，即對一些無法修復(fù)處理的數(shù)據(jù)進行特殊處理，一般情況下進行標(biāo)記或者例外處理。

第三階段：檢查
檢查階段，主要是對執(zhí)行階段的成果進行檢查并分析原因，包括以下3個方面。

1）確定整改質(zhì)量
對處理后的數(shù)據(jù)進行再次質(zhì)檢，出具數(shù)據(jù)質(zhì)量的報告。

2）對比整改效果
對比處理前后效果，總結(jié)改進措施。

3）檢查數(shù)據(jù)質(zhì)量是否合格，分析不合格原因
在這輪管控中檢查數(shù)據(jù)質(zhì)量是否合格，并找到不合格的原因，在下一輪管控中進行技術(shù)上或者操作程序上的改進。

第四階段：處理
1）監(jiān)控數(shù)據(jù)質(zhì)量，控制管理程序和績效
根據(jù)既定的操作程序，對質(zhì)量管控過程中各個環(huán)節(jié)參與者進行績效評估。還可以根據(jù)不同時期的重點制定不同的評分標(biāo)準(zhǔn)，有針對性的進行評價和管控，如整改初期數(shù)據(jù)缺失嚴(yán)重，則可對完整性規(guī)則權(quán)重調(diào)大，以期更快看到成效或者達(dá)到更好的效果。

2）建立質(zhì)量控制意識與文化
在這一步中溝通與推廣是重點，要讓所有參與者了解數(shù)據(jù)質(zhì)量問題和其實質(zhì)影響，宣貫系統(tǒng)化的數(shù)據(jù)質(zhì)量管控方法，同時挖掘各個環(huán)節(jié)參與者的價值，尤其是業(yè)務(wù)方，傳達(dá)一種“數(shù)據(jù)質(zhì)量問題不能只靠技術(shù)手段解決”的意識。最終形成一種數(shù)據(jù)質(zhì)量管理的文化。

數(shù)據(jù)質(zhì)量管控在數(shù)據(jù)治理體系中占據(jù)了十分重要的地位，是看見實質(zhì)成效最快的一環(huán)，也是數(shù)據(jù)治理過程中的重要一環(huán)，億信華辰睿治智能數(shù)據(jù)治理平臺，是一款融合數(shù)據(jù)治理十大產(chǎn)品模塊，覆蓋數(shù)據(jù)全生命周期管理的應(yīng)用平臺，其中也包括了數(shù)據(jù)質(zhì)量模塊，可幫助政企有效提升數(shù)據(jù)質(zhì)量，挖掘數(shù)據(jù)價值。

質(zhì)量管控是長期且動態(tài)的過程，需要企業(yè)上下不斷的探索思考，有了睿治的助力相信這個過程會變得順利并快捷的多。