1.數(shù)據(jù)質(zhì)量管理框架
數(shù)據(jù)質(zhì)量閉環(huán)管理機(jī)制以制定規(guī)則、問題發(fā)現(xiàn)、質(zhì)量剖析、數(shù)據(jù)清理、評(píng)估驗(yàn)證、持續(xù)監(jiān)控為核心活動(dòng)（圖2），又結(jié)合銀行的數(shù)據(jù)實(shí)踐進(jìn)行了定制和優(yōu)化。通常戴明環(huán)的四個(gè)活動(dòng)是計(jì)劃-實(shí)施-檢查-行動(dòng)，從質(zhì)量管理角度出發(fā)執(zhí)行循環(huán)工作機(jī)制。目前銀行數(shù)據(jù)需求情況復(fù)雜多樣，通過分析數(shù)據(jù)質(zhì)量問題級(jí)別進(jìn)行分類，有大規(guī)?？绮块T的系統(tǒng)級(jí)建設(shè)或改造需求，也有業(yè)務(wù)口徑、技術(shù)口徑確定等中等問題，還有小范圍的標(biāo)準(zhǔn)代碼值修改等輕微問題，為此閉環(huán)機(jī)制在設(shè)計(jì)和實(shí)踐中要充分考慮多種需求。

分解管理框架中的各項(xiàng)活動(dòng)，首先是根據(jù)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)質(zhì)量校驗(yàn)的業(yè)務(wù)和技術(shù)規(guī)則，以及對(duì)應(yīng)的數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)及管理；然后按照數(shù)據(jù)質(zhì)量維度對(duì)抽樣或全局?jǐn)?shù)據(jù)進(jìn)行剖析，并結(jié)合評(píng)估驗(yàn)證進(jìn)行數(shù)據(jù)清理；最后通過數(shù)據(jù)質(zhì)量持續(xù)監(jiān)控，以數(shù)據(jù)質(zhì)量報(bào)告的形式匯報(bào)并反映數(shù)據(jù)質(zhì)量的狀況及問題。數(shù)據(jù)全過程質(zhì)量管理框架以改進(jìn)數(shù)據(jù)質(zhì)量為目標(biāo)，確保數(shù)據(jù)的準(zhǔn)確、完整、一致和及時(shí)性。通過制定數(shù)據(jù)質(zhì)量關(guān)鍵性能指標(biāo)或積分卡，評(píng)估數(shù)據(jù)質(zhì)量的改善情況，并形成常態(tài)化數(shù)據(jù)質(zhì)量管理閉環(huán)機(jī)制，以凸顯數(shù)據(jù)質(zhì)量管理的長(zhǎng)效機(jī)制。

2.數(shù)據(jù)質(zhì)量管理策略
從數(shù)據(jù)管理能力角度分析，數(shù)據(jù)質(zhì)量管理策略主要負(fù)責(zé)質(zhì)量剖析、評(píng)估、清理三項(xiàng)管理內(nèi)容。在具體實(shí)踐中，數(shù)據(jù)質(zhì)量管理主要分為事件式驅(qū)動(dòng)與主動(dòng)管理兩種模式。事件式驅(qū)動(dòng)適合所有的應(yīng)用場(chǎng)景，根據(jù)實(shí)際應(yīng)用產(chǎn)生的各種數(shù)據(jù)質(zhì)量需求均可納入數(shù)據(jù)質(zhì)量管理機(jī)制，通過相對(duì)固定的流程來(lái)解決。主動(dòng)管理適用的范圍相對(duì)嚴(yán)格一些，必須有明確的目標(biāo)導(dǎo)向，以充分利用資源和能力。

目前適合銀行的數(shù)據(jù)質(zhì)量主動(dòng)管理主要偏重基礎(chǔ)數(shù)據(jù)和監(jiān)管報(bào)送數(shù)據(jù)，二者都有明確的要求，能夠清晰的制定度量規(guī)則，并且整個(gè)管理過程也滿足數(shù)據(jù)治理的現(xiàn)狀。在數(shù)據(jù)應(yīng)用流程中的數(shù)據(jù)服務(wù)、分析、挖掘等工作中，應(yīng)將數(shù)據(jù)質(zhì)量剖析、評(píng)估活動(dòng)納入正常工作流程，將其中不滿足要求的數(shù)據(jù)問題反饋給數(shù)據(jù)質(zhì)量管理人員，納入閉環(huán)工作機(jī)制進(jìn)行處理。

分析數(shù)據(jù)質(zhì)量管理對(duì)象，首先要重點(diǎn)監(jiān)控企業(yè)現(xiàn)有數(shù)據(jù)資產(chǎn)的情況，結(jié)合數(shù)據(jù)質(zhì)量剖析、驗(yàn)證、清理等活動(dòng)，結(jié)合數(shù)據(jù)分析應(yīng)用保障數(shù)據(jù)價(jià)值實(shí)現(xiàn)；其次，還要充分考慮新數(shù)據(jù)源的加入，結(jié)合元數(shù)據(jù)相關(guān)內(nèi)容探測(cè)數(shù)據(jù)變化，及時(shí)揭示數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)并納入管理機(jī)制。

3.數(shù)據(jù)質(zhì)量指標(biāo)定義
低質(zhì)量的數(shù)據(jù)會(huì)影響業(yè)務(wù)目標(biāo)的完成，數(shù)據(jù)質(zhì)量管理人員必須找到并使用數(shù)據(jù)質(zhì)量指標(biāo)，報(bào)告數(shù)據(jù)缺陷與受影響業(yè)務(wù)目標(biāo)之間的關(guān)系。定義數(shù)據(jù)質(zhì)量指標(biāo)的過程存在著挑戰(zhàn)，識(shí)別并管理業(yè)務(wù)相關(guān)的數(shù)據(jù)質(zhì)量指標(biāo)，可以與監(jiān)控業(yè)務(wù)活動(dòng)績(jī)效相類比，數(shù)據(jù)質(zhì)量指標(biāo)應(yīng)該合理地反映數(shù)據(jù)質(zhì)量情況，為數(shù)據(jù)質(zhì)量管理提供量化依據(jù)。

在定義數(shù)據(jù)質(zhì)量指標(biāo)的過程中，需要充分考慮可度量性、業(yè)務(wù)相關(guān)性、可接受程度、可控性、可追蹤性等特性，并與數(shù)據(jù)認(rèn)責(zé)制度充分結(jié)合。首先需要分析業(yè)務(wù)影響，并評(píng)估相關(guān)的數(shù)據(jù)元素以及數(shù)據(jù)生命周期流程；其次針對(duì)每個(gè)數(shù)據(jù)元素，列出與之相關(guān)的數(shù)據(jù)需求，并定義數(shù)據(jù)質(zhì)量維度以及業(yè)務(wù)規(guī)則；最后針對(duì)業(yè)務(wù)規(guī)則，描述度量需求滿足度的流程，并定義可接受程度的閾值。

4.數(shù)據(jù)質(zhì)量剖析方法
企業(yè)數(shù)據(jù)質(zhì)量的剖析方法主要包括三種，具體為字段剖析、記錄剖析和表間剖析，通常能夠覆蓋所有的數(shù)據(jù)資產(chǎn)。實(shí)際管理中數(shù)據(jù)質(zhì)量剖析用于判斷質(zhì)量情況，為后續(xù)的數(shù)據(jù)質(zhì)量驗(yàn)證及數(shù)據(jù)質(zhì)量清理提供依據(jù)，并且數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則的制定提供技術(shù)口徑。

字段剖析用于分析數(shù)據(jù)記錄中的字段，將提供諸如完整性、數(shù)據(jù)類型、大小、長(zhǎng)度、唯一值和頻率分布列表、模式、最大和最小范圍。字段剖析可用于發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，核實(shí)數(shù)據(jù)與預(yù)期值的符合性，并比較實(shí)際數(shù)據(jù)和目標(biāo)需求。

記錄剖析用于分析表格或文件內(nèi)部字段之間的關(guān)聯(lián)關(guān)系，進(jìn)而能夠發(fā)現(xiàn)實(shí)際數(shù)據(jù)結(jié)構(gòu)、函數(shù)依賴關(guān)系、主鍵和數(shù)據(jù)結(jié)構(gòu)中存在的質(zhì)量問題，也可用于預(yù)測(cè)預(yù)期用戶對(duì)數(shù)據(jù)的依賴關(guān)系。

表間分析用于比較表格或文件之間的數(shù)據(jù)，確定重疊的或相同的數(shù)值集，識(shí)別重復(fù)值或指出外鍵，判斷數(shù)據(jù)的一致性等。表間剖析的結(jié)果可以幫助標(biāo)準(zhǔn)化數(shù)據(jù)模型，在模型中消除無(wú)用的冗余。

5.數(shù)據(jù)質(zhì)量監(jiān)控技術(shù)
在數(shù)據(jù)質(zhì)量監(jiān)控環(huán)節(jié)將數(shù)據(jù)質(zhì)量控制和測(cè)量流程嵌入到信息處理流程，從而實(shí)現(xiàn)可持續(xù)的質(zhì)量監(jiān)控。依據(jù)數(shù)據(jù)粒度分布情況，采用兩種形式來(lái)監(jiān)控?cái)?shù)據(jù)質(zhì)量滿足業(yè)務(wù)要求的情況。結(jié)合數(shù)據(jù)質(zhì)量剖析方法，有字段、記錄、表間三種粒度數(shù)據(jù)質(zhì)量監(jiān)控方法，對(duì)應(yīng)的評(píng)價(jià)指標(biāo)對(duì)應(yīng)覆蓋字段數(shù)據(jù)值、數(shù)據(jù)記錄以及完整的數(shù)據(jù)集。

根據(jù)監(jiān)控目標(biāo)，數(shù)據(jù)質(zhì)量監(jiān)控分為常規(guī)閉環(huán)監(jiān)控以及批量運(yùn)動(dòng)式兩種，這與數(shù)據(jù)質(zhì)量的需求來(lái)源保持對(duì)應(yīng)關(guān)系。企業(yè)整體數(shù)據(jù)質(zhì)量要求通過閉環(huán)機(jī)制進(jìn)行持續(xù)監(jiān)控推進(jìn)，支持業(yè)務(wù)運(yùn)營(yíng)和基礎(chǔ)的數(shù)據(jù)應(yīng)用；對(duì)于數(shù)據(jù)分析、挖掘探索對(duì)應(yīng)的質(zhì)量需求，以及系統(tǒng)建設(shè)的需求，可以通過批量式以項(xiàng)目重要環(huán)節(jié)的形式完成質(zhì)量監(jiān)控。

提高數(shù)據(jù)質(zhì)量的方法
要想真正解決數(shù)據(jù)質(zhì)量問題，明確業(yè)務(wù)需求并從需求開始控制數(shù)據(jù)質(zhì)量，并建立數(shù)據(jù)質(zhì)量管理機(jī)制。從業(yè)務(wù)出發(fā)做問題定義，由工具自動(dòng)、及時(shí)發(fā)現(xiàn)問題，明確問題責(zé)任人，通過郵件、短信等方式進(jìn)行通知，保證問題及時(shí)通知到責(zé)任人。跟蹤問題整改進(jìn)度，保證數(shù)據(jù)質(zhì)量問題全過程的管理。

正所謂，工欲善其事，必先利其器。億信華辰睿治數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)質(zhì)量管理模塊以全面質(zhì)量管理PDCA循環(huán)管理方法為指導(dǎo)，充分結(jié)合國(guó)內(nèi)數(shù)據(jù)質(zhì)量管理工作的特點(diǎn)，運(yùn)用元數(shù)據(jù)管理、數(shù)據(jù)挖掘、數(shù)據(jù)分析、工作流、評(píng)分卡、可視化等技術(shù)最終幫助企業(yè)和政府建立數(shù)據(jù)質(zhì)量管理體系，全面提升數(shù)據(jù)的完整性、規(guī)范性、及時(shí)性、一致性、邏輯性等，降低數(shù)據(jù)管理成本，減少因數(shù)據(jù)不可靠導(dǎo)致的決策偏差和損失。

1、構(gòu)建數(shù)據(jù)質(zhì)量規(guī)則庫(kù)
定義數(shù)據(jù)驗(yàn)證方法，內(nèi)嵌空值檢查、值域檢查等13種檢查規(guī)則，基本覆蓋目前數(shù)據(jù)質(zhì)量相關(guān)問題。

2、發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題
靈活定義多模型質(zhì)檢方案，多點(diǎn)監(jiān)測(cè)、多模型質(zhì)檢方案，高效調(diào)度，并發(fā)和串行處理相結(jié)合，性能高效，只需2分30秒，便可完成20條規(guī)則百萬(wàn)級(jí)數(shù)據(jù)的質(zhì)量檢查。

3、出具全面的“體檢報(bào)告”
內(nèi)置常規(guī)質(zhì)檢分析報(bào)告，實(shí)時(shí)可視化呈現(xiàn)質(zhì)檢結(jié)果，質(zhì)檢結(jié)果模型靈活擴(kuò)展，充分利用了BI工具的分析展現(xiàn)能力，提供圖文并茂的質(zhì)量檢查結(jié)果報(bào)告。

4、數(shù)據(jù)質(zhì)量全流程管理
提供從標(biāo)準(zhǔn)定義、質(zhì)量監(jiān)控、績(jī)效評(píng)估、質(zhì)量分析、質(zhì)量報(bào)告、重大問題及時(shí)告警、流程整改發(fā)起、系統(tǒng)管理等數(shù)據(jù)質(zhì)量管理全過程的功能，不僅能發(fā)現(xiàn)問題、還能將問題分發(fā)給數(shù)據(jù)負(fù)責(zé)人、管理者，在線跟蹤問題處理進(jìn)展。