要體現(xiàn)數(shù)據(jù)價(jià)值，前提就是數(shù)據(jù)質(zhì)量的保障，質(zhì)量沒有得到 100% 保證的數(shù)據(jù)是很難體現(xiàn)出業(yè)務(wù)價(jià)值的，如果基于這些有問題的數(shù)據(jù)做決策支持，或做業(yè)務(wù)辦理，將會(huì)得到災(zāi)難性的結(jié)果，讓領(lǐng)導(dǎo)層和數(shù)據(jù)使用方對(duì)大數(shù)據(jù)失去信心。

根據(jù)哈工大王志宏先生在科技導(dǎo)報(bào)發(fā)表的研究表明，如果沒有良好的數(shù)據(jù)質(zhì)量，大數(shù)據(jù)將會(huì)對(duì)決策產(chǎn)生誤導(dǎo)，甚至產(chǎn)生有害的結(jié)果。
在數(shù)倉(cāng)建設(shè)上，50% 的數(shù)據(jù)倉(cāng)庫(kù)因數(shù)據(jù)質(zhì)量而被取消或延遲。
在經(jīng)濟(jì)損失上，數(shù)據(jù)錯(cuò)誤每年對(duì)美國(guó)工業(yè)界造成的經(jīng)濟(jì)損失約占 GDP 的 6%。
在醫(yī)療事故上，根據(jù)美國(guó)醫(yī)療委員會(huì)的統(tǒng)計(jì)，由于數(shù)據(jù)錯(cuò)誤引起的醫(yī)療事故僅在美國(guó)每年就導(dǎo)致高達(dá) 98000 名患者喪生。
在電信產(chǎn)業(yè)上，數(shù)據(jù)錯(cuò)誤經(jīng)常導(dǎo)致故障排除的延誤、多余設(shè)備租用和服務(wù)費(fèi)收取錯(cuò)誤，損害了企業(yè)信譽(yù)甚至?xí)虼耸ズ芏嘤脩簟?br> 在商業(yè)上，美國(guó)零售業(yè)每年僅因標(biāo)價(jià)錯(cuò)誤就損失 25 億美元。
在金融企業(yè)中：因數(shù)據(jù)質(zhì)量問題導(dǎo)致的信用卡欺詐失察在 2008 年即造成 48 億美元的損失。
被譽(yù)為“數(shù)據(jù)博士”的 Jim barker，用一個(gè)簡(jiǎn)單的醫(yī)學(xué)概念來定義兩種類型的數(shù)據(jù)質(zhì)量問題：
第一類數(shù)據(jù)質(zhì)量問題是比較簡(jiǎn)單而明顯的問題，我們可以使用自動(dòng)化工具檢測(cè)到。
第二類數(shù)據(jù)質(zhì)量問題是非常隱秘的問題，大家都知道它是存在的，但它看不見摸不著，更處理不了，因?yàn)樗枰旁谔厥馇榫巢拍鼙粰z測(cè)到。

它們之間的區(qū)別簡(jiǎn)而言之可歸納為如下幾點(diǎn)：
第一類數(shù)據(jù)質(zhì)量問題首先需要“know what”才能來檢測(cè)數(shù)據(jù)的完整性、一致性、唯一性和有效性。這些屬性靠數(shù)據(jù)質(zhì)量軟件甚至手動(dòng)很好地找到。你不需要有很多的背景知識(shí)，或者數(shù)據(jù)分析經(jīng)驗(yàn)。只要按照 4 個(gè)屬性驗(yàn)證它的存在，就可以判定它錯(cuò)誤的。例如，如果我們?cè)谛詣e領(lǐng)域插入一個(gè) 3，我們就可以判定它到底是不是一個(gè)有效值。
第二類數(shù)據(jù)質(zhì)量問題需要“know why”來檢測(cè)時(shí)效性、一致性和準(zhǔn)確性屬性。需要研究能力、洞察力和經(jīng)驗(yàn)，而不是簡(jiǎn)簡(jiǎn)單單就可以找得出來的。這些數(shù)據(jù)集經(jīng)常從表面上看起來沒有問題。但是問題往往存在于細(xì)節(jié)中，需要時(shí)間去發(fā)現(xiàn)。Jim 舉的例子就是一份退休人員的雇傭記錄，如果我們不知道他們?cè)缫淹诵莸脑挘强床怀鰜磉@個(gè)數(shù)據(jù)是錯(cuò)的。
所以，解決這些數(shù)據(jù)質(zhì)量問題的關(guān)鍵就是需要一個(gè)復(fù)雜的、策略化的方法，而非孤立的、片面的來看問題。一旦數(shù)據(jù)質(zhì)量不好，我們就需要尋求自動(dòng)化與人工的雙重方式才能解決這個(gè)問題了。

根據(jù) Jim barker 的經(jīng)驗(yàn)：
第一類基本涵蓋了 80% 的數(shù)據(jù)質(zhì)量問題，但只消耗了我們 20% 的經(jīng)費(fèi)成本。
第二類數(shù)據(jù)問題往往需要多方的輸入，以便發(fā)現(xiàn)、標(biāo)記和根除。雖然我們客戶關(guān)系管理系統(tǒng)中的每個(gè)人都有購(gòu)買日期，但購(gòu)買日期可能不正確，或者與發(fā)票或發(fā)貨清單不符。只有專家才能通過仔細(xì)核查其內(nèi)容來解決問題并手動(dòng)改進(jìn)客戶關(guān)系管理系統(tǒng)。
第一類數(shù)據(jù)質(zhì)量的挑戰(zhàn)可以快速解決，但第二類問題提出了一個(gè)挑戰(zhàn)，必須依靠人類的專業(yè)知識(shí)才可以解決。事實(shí)上，我們可以簡(jiǎn)單地通過引入一些工具和規(guī)則就可以解決 80% 的問題，也可以引入一個(gè)復(fù)雜的系統(tǒng)工程來解決 100% 的質(zhì)量問題，取決于我們希望達(dá)到什么樣的質(zhì)量標(biāo)準(zhǔn)。