今年上半年，企查查發(fā)誤導(dǎo)信息判賠螞蟻金服60萬。這是公共數(shù)據(jù)和數(shù)據(jù)質(zhì)量的判決第一案。

同樣是今年，中國銀行保險(xiǎn)監(jiān)督管理委員會(huì)因監(jiān)管標(biāo)準(zhǔn)化數(shù)據(jù)（EAST）系統(tǒng)數(shù)據(jù)質(zhì)量及數(shù)據(jù)報(bào)送存在違法違規(guī)行為對(duì)包括四大行在內(nèi)的8家大型商業(yè)銀行開出1970萬元罰單。

越來越多的處罰案例，在提醒我們要重視數(shù)據(jù)治理，強(qiáng)調(diào)高質(zhì)量的數(shù)據(jù)在發(fā)揮數(shù)據(jù)價(jià)值中的重要性。
是什么因素導(dǎo)致上面這些處罰呢？筆者認(rèn)為這受兩個(gè)因素的影響：一個(gè)是不注意的、人為所導(dǎo)致的；另一種因素，是因?yàn)槠髽I(yè)沒有能力和手段來對(duì)合規(guī)性進(jìn)行監(jiān)管，頻頻觸礁，最后嚴(yán)重影響了企業(yè)聲譽(yù)。由于缺乏數(shù)據(jù)質(zhì)量管理會(huì)導(dǎo)致臟數(shù)據(jù)、重復(fù)數(shù)據(jù)、冗余數(shù)據(jù)、數(shù)據(jù)丟失、數(shù)據(jù)不一致、無法整合、責(zé)任缺失，糟糕用戶體驗(yàn)等等低劣數(shù)據(jù)質(zhì)量問題。然而這些問題其實(shí)是可以避免的，合理利用數(shù)據(jù)治理平臺(tái)，則會(huì)讓你打卡一個(gè)新天地。具體說來，就是需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行測(cè)量，而提升數(shù)據(jù)質(zhì)量則需要數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)。

工欲善其事，必先利其器。億信數(shù)據(jù)質(zhì)量管理平臺(tái)（EsDataClean）提供從標(biāo)準(zhǔn)定義、質(zhì)量監(jiān)控、績(jī)效評(píng)估、質(zhì)量分析、質(zhì)量報(bào)告、重大問題及時(shí)告警、流程整改發(fā)起、系統(tǒng)管理等數(shù)據(jù)質(zhì)量管理全過程的功能。讓企業(yè)能夠一站式輕松搞定質(zhì)檢全過程，其內(nèi)置質(zhì)檢規(guī)則已多達(dá)16種，靈活滿足各種質(zhì)檢需求。以常見的幾個(gè)質(zhì)檢維度來舉例說明：

完整性（Completeness）
字段是否為空或NULL可使用空值檢查，可以判斷一個(gè)或多個(gè)字段是否非空。數(shù)據(jù)是否丟失可使用記錄缺失檢查，根據(jù)比照表字段檢查目標(biāo)字段是否缺少數(shù)據(jù)。

唯一性（Uniqueness）
檢查數(shù)據(jù)是否唯一可使用重復(fù)數(shù)據(jù)檢查。檢查一張表內(nèi)的重復(fù)數(shù)據(jù)，重復(fù)依據(jù)的定義不限于單一字段。若僅添加一個(gè)字段，將檢查該字段內(nèi)是否有重復(fù)數(shù)據(jù)；若添加了多個(gè)字段，將聯(lián)合檢查多個(gè)字段內(nèi)是否有重復(fù)數(shù)據(jù)。

及時(shí)性（Timeliness）
檢查數(shù)據(jù)填報(bào)是否在允許時(shí)間范圍內(nèi)可使用及時(shí)性檢查。用來檢查數(shù)據(jù)抽取、上報(bào)是否及時(shí)。

有效性（Validity）
檢查數(shù)據(jù)是否符合其定義的語法（格式、類型、范圍），場(chǎng)景包括不限于字段長度有效、字段內(nèi)容有效、字段數(shù)據(jù)范圍有效、枚舉值個(gè)數(shù)有效、枚舉值集合有效。這些場(chǎng)景下可使用值域檢查、規(guī)范檢查、波動(dòng)檢查、平衡性檢查、離群值檢查。

準(zhǔn)確性（Accuracy）
數(shù)值同比波動(dòng)監(jiān)測(cè)、數(shù)值環(huán)比波動(dòng)監(jiān)測(cè)、表邏輯檢查。可使用邏輯檢查、值域檢查、波動(dòng)檢查、平衡性檢查。

一致性（Consistency）
檢查數(shù)據(jù)項(xiàng)的多個(gè)數(shù)據(jù)是否一致，可使用引用完整性檢查、數(shù)據(jù)集檢查。

自定義（Customize）
支持用戶自定義寫質(zhì)檢規(guī)則，可使用SQL腳本檢查、JAVA腳本、R腳本檢查、Python腳本檢查。

億信數(shù)據(jù)質(zhì)量管理平臺(tái)（EsDataClean）從完整性、唯一性、及時(shí)性、有效性、準(zhǔn)確性、一致性、自定義等幾個(gè)維度對(duì)數(shù)據(jù)質(zhì)量進(jìn)行測(cè)量。通過圖形化的界面，事先定義好的規(guī)則、調(diào)度時(shí)間、工作流程，自動(dòng)完成數(shù)據(jù)的質(zhì)量檢查，極大的減少人力的投入和過程干預(yù)，提升效率，減少誤差。對(duì)于數(shù)據(jù)質(zhì)量的檢測(cè)結(jié)果進(jìn)行分析和量化，查找出現(xiàn)質(zhì)量問題的數(shù)據(jù)鏈環(huán)節(jié)，定位數(shù)據(jù)問題，實(shí)行問責(zé)機(jī)制。

近年來越來越多的企業(yè)認(rèn)識(shí)到了數(shù)據(jù)的重要性，數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)的建設(shè)如雨后春筍。人們也越來越重視數(shù)據(jù)的管理和治理，而數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理的核心，因此，擁有一個(gè)優(yōu)秀數(shù)據(jù)質(zhì)量平臺(tái)，能夠改善整個(gè)企業(yè)的數(shù)據(jù)的一下問題，讓它在協(xié)助我們企業(yè)在提升生產(chǎn)力方面、效能方面、合規(guī)管理方面等等之中發(fā)揮的重要作用。

億信華辰旗下不光有數(shù)據(jù)治理管理平臺(tái)，還有一整套的數(shù)據(jù)治理系統(tǒng)——睿治，可以有效幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)的有效治理，提高效率支撐決策。