這篇文章主要講數(shù)據(jù)治理中的重要內(nèi)容：數(shù)據(jù)質(zhì)量管理。數(shù)據(jù)治理的理論和實(shí)踐不斷向前發(fā)展，但數(shù)據(jù)質(zhì)量管理始終是數(shù)據(jù)治理的初衷，也是最重要的目的。我會(huì)從數(shù)據(jù)質(zhì)量管理的目標(biāo)，質(zhì)量問(wèn)題產(chǎn)生的根源，質(zhì)量評(píng)估標(biāo)準(zhǔn)，質(zhì)量管理流程，質(zhì)量管理的取與舍幾個(gè)方面進(jìn)行闡述。

一、數(shù)據(jù)質(zhì)量管理的目標(biāo)
數(shù)據(jù)質(zhì)量管理主要解決“數(shù)據(jù)質(zhì)量現(xiàn)狀如何，誰(shuí)來(lái)改進(jìn)，如何提高，怎樣考核”的問(wèn)題。

為什么這篇文章的標(biāo)題中有“不忘初心方得始終”這幾個(gè)字呢。因?yàn)樽铋_(kāi)始的關(guān)系型數(shù)據(jù)庫(kù)時(shí)代，做數(shù)據(jù)治理最主要的目的，就是為了提升數(shù)據(jù)質(zhì)量，讓報(bào)表、分析、應(yīng)用更加準(zhǔn)確。時(shí)至今日，雖然數(shù)據(jù)治理的范疇擴(kuò)大了很多，我們開(kāi)始講數(shù)據(jù)資產(chǎn)管理、知識(shí)圖譜、自動(dòng)化的數(shù)據(jù)治理等等概念，但是提升數(shù)據(jù)的質(zhì)量，依然是數(shù)據(jù)治理最重要的目標(biāo)之一。

為什么數(shù)據(jù)質(zhì)量問(wèn)題如此重要？

因?yàn)閿?shù)據(jù)要能發(fā)揮其價(jià)值，關(guān)鍵在于其數(shù)據(jù)的質(zhì)量的高低，高質(zhì)量的數(shù)據(jù)是一切數(shù)據(jù)應(yīng)用的基礎(chǔ)。

如果一個(gè)組織根據(jù)劣質(zhì)的數(shù)據(jù)分析業(yè)務(wù)、進(jìn)行決策，那還不如沒(méi)有數(shù)據(jù)，因?yàn)橥ㄟ^(guò)錯(cuò)誤的數(shù)據(jù)分析出的結(jié)果往往會(huì)帶來(lái)“精確的誤導(dǎo)”，對(duì)于任何組織來(lái)說(shuō)，這種“精確誤導(dǎo)”都無(wú)異于一場(chǎng)災(zāi)難。

根據(jù)統(tǒng)計(jì)，數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析員每天有30%的時(shí)間浪費(fèi)在了辨別數(shù)據(jù)是否是“壞數(shù)據(jù)”上，在數(shù)據(jù)質(zhì)量不高的環(huán)境下，做數(shù)據(jù)分析可謂是戰(zhàn)戰(zhàn)兢兢?？梢?jiàn)數(shù)據(jù)質(zhì)量問(wèn)題已經(jīng)嚴(yán)重影響了組織業(yè)務(wù)的正常運(yùn)營(yíng)。通過(guò)科學(xué)的數(shù)據(jù)質(zhì)量管理，持續(xù)地提升數(shù)據(jù)質(zhì)量，已經(jīng)成為組織內(nèi)刻不容緩的優(yōu)先任務(wù)。

二、數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的根源
做數(shù)據(jù)質(zhì)量管理，首先要搞清楚數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的原因。原因有多方面，比如在技術(shù)、管理、流程方面都會(huì)碰到。但從根本上來(lái)時(shí)，數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的大部分原因在于業(yè)務(wù)上，也就是管理不善。許多表面上的技術(shù)問(wèn)題，深究下去，其實(shí)還是業(yè)務(wù)問(wèn)題。

我在給客戶做數(shù)據(jù)治理咨詢的時(shí)候，發(fā)現(xiàn)很多客戶認(rèn)識(shí)不到數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的根本原因，局限于只想從技術(shù)角度來(lái)解決問(wèn)題，希望通過(guò)購(gòu)買某個(gè)工具就能解決質(zhì)量問(wèn)題，這當(dāng)然達(dá)不到理想的效果。經(jīng)過(guò)和客戶交流以及雙方共同分析之后，大部分組織都能認(rèn)識(shí)到數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的真正根源，從而開(kāi)始從業(yè)務(wù)著手解決數(shù)據(jù)質(zhì)量問(wèn)題了。

從業(yè)務(wù)角度著手解決數(shù)據(jù)質(zhì)量問(wèn)題，重要的是建立一套科學(xué)、可行的數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)和管理流程。

三、數(shù)據(jù)質(zhì)量評(píng)估的標(biāo)準(zhǔn)
當(dāng)我們談到數(shù)據(jù)質(zhì)量管理的時(shí)候，我們必須要有一個(gè)數(shù)據(jù)質(zhì)量評(píng)估的標(biāo)準(zhǔn)，有了這個(gè)標(biāo)準(zhǔn)，我們才能知道如何評(píng)估數(shù)據(jù)的質(zhì)量，才能把數(shù)據(jù)質(zhì)量量化，并知道改進(jìn)的方向，比較改進(jìn)后的效果。

目前業(yè)內(nèi)認(rèn)可的數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)有：

準(zhǔn)確性: 描述數(shù)據(jù)是否與其對(duì)應(yīng)的客觀實(shí)體的特征相一致。
完整性: 描述數(shù)據(jù)是否存在缺失記錄或缺失字段。
一致性: 描述同一實(shí)體的同一屬性的值在不同的系統(tǒng)是否一致。
有效性: 描述數(shù)據(jù)是否滿足用戶定義的條件或在一定的域值范圍內(nèi)。
唯一性: 描述數(shù)據(jù)是否存在重復(fù)記錄。
及時(shí)性: 描述數(shù)據(jù)的產(chǎn)生和供應(yīng)是否及時(shí)。
穩(wěn)定性: 描述數(shù)據(jù)的波動(dòng)是否是穩(wěn)定的，是否在其有效范圍內(nèi)。
以上數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)只是一些通用的規(guī)則，這些標(biāo)準(zhǔn)是可以根據(jù)數(shù)據(jù)的實(shí)際情況和業(yè)務(wù)要求進(jìn)行擴(kuò)展的，如交叉表校驗(yàn)等。

四、數(shù)據(jù)質(zhì)量管理的流程
要提升數(shù)據(jù)質(zhì)量，需要以問(wèn)題數(shù)據(jù)為切入點(diǎn)，注重問(wèn)題的分析、解決、跟蹤、持續(xù)優(yōu)化、知識(shí)積累，形成數(shù)據(jù)質(zhì)量持續(xù)提升的閉環(huán)。

首先需要梳理和分析數(shù)據(jù)質(zhì)量問(wèn)題，摸清楚數(shù)據(jù)質(zhì)量的現(xiàn)狀；然后針對(duì)不同的質(zhì)量問(wèn)題選擇適合的解決辦法，制定出詳細(xì)的解決方案；接著是問(wèn)題的認(rèn)責(zé)，追蹤方案執(zhí)行的效果，監(jiān)督檢查，持續(xù)優(yōu)化；最后形成數(shù)據(jù)質(zhì)量問(wèn)題解決的知識(shí)庫(kù)，以供后來(lái)者參考。上述步驟不斷迭代，形成數(shù)據(jù)質(zhì)量管理的閉環(huán)。

很顯然，要管理好數(shù)據(jù)質(zhì)量，僅有工具支撐是遠(yuǎn)遠(yuǎn)不夠的，必須要組織架構(gòu)、制度流程參與進(jìn)來(lái)，做到數(shù)據(jù)的認(rèn)責(zé)，數(shù)據(jù)的追責(zé)。

億信華辰的數(shù)據(jù)治理產(chǎn)品---睿治是是億信華辰自主研發(fā)的由多個(gè)產(chǎn)品組成的數(shù)據(jù)全生命周期管理應(yīng)用平臺(tái)，也是目前國(guó)內(nèi)功能齊全的數(shù)據(jù)治理工具，助力數(shù)據(jù)標(biāo)準(zhǔn)落地，提升數(shù)據(jù)質(zhì)量。