數(shù)據(jù)是組織最具價(jià)值的資產(chǎn)之一。企業(yè)的數(shù)據(jù)質(zhì)量與業(yè)務(wù)績(jī)效之間存在著直接聯(lián)系,高質(zhì)量的數(shù)據(jù)可以使公司保持競(jìng)爭(zhēng)力并在經(jīng)濟(jì)動(dòng)蕩時(shí)期立于不敗之地。有了普遍深入的數(shù)據(jù)質(zhì)量,企業(yè)在任何時(shí)候都可以信任滿足所有需求的所有數(shù)據(jù)。一個(gè)戰(zhàn)略性和系統(tǒng)性的方法能幫助企業(yè)正確研究企業(yè)的數(shù)據(jù)質(zhì)量項(xiàng)目,業(yè)務(wù)部門(mén)與 IT 部門(mén)的相關(guān)人員將各自具有明確角色和責(zé)任,配備正確的技術(shù)和工具,以應(yīng)對(duì)數(shù)據(jù)質(zhì)量控制的挑戰(zhàn)。
一、數(shù)據(jù)質(zhì)量評(píng)估
準(zhǔn)確性:準(zhǔn)確性用于度量哪些數(shù)據(jù)和信息是不正確的,或者數(shù)據(jù)是超期的;
一致性:一致性用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的;
規(guī)范性:規(guī)范性用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲(chǔ);
完整性:完整性用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用;
關(guān)聯(lián)性:關(guān)聯(lián)性用于度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引;
唯一性:唯一性用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的。
二、如何解決數(shù)據(jù)質(zhì)量問(wèn)題
建立全鏈路的監(jiān)控
我們需要對(duì)數(shù)據(jù)模型的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量監(jiān)控,也就是對(duì)鏈路中的表增加了一些稽核校驗(yàn)規(guī)則,如果結(jié)果數(shù)據(jù)出現(xiàn)問(wèn)題,可以快速排查鏈路上的相關(guān)表的質(zhì)量報(bào)告,快速定位到問(wèn)題所在然后進(jìn)行修復(fù)。
添加稽核校驗(yàn)任務(wù)
通過(guò)預(yù)先設(shè)置好的一些規(guī)則來(lái)驗(yàn)證當(dāng)前調(diào)度任務(wù)執(zhí)行結(jié)果表的質(zhì)量,如果觸發(fā)規(guī)則就自動(dòng)發(fā)送預(yù)警給到相關(guān)的開(kāi)發(fā)人員。規(guī)則可以劃分重要等級(jí),不同登記的規(guī)則可以采取不同的預(yù)警方式和處理方式,比如重要規(guī)則的,就停止調(diào)度任務(wù)的執(zhí)行,同時(shí)通知運(yùn)維人員對(duì)當(dāng)前任務(wù)進(jìn)行處理。如果是一些不那么重要的規(guī)則,就可以通過(guò)短信或者推送的方式告知。
規(guī)范化管理制度
設(shè)計(jì)規(guī)范化的管理制度,比如評(píng)審機(jī)制,從而確保依賴關(guān)系的完整配置,同時(shí)對(duì)稽核規(guī)則也要進(jìn)行評(píng)審,確保規(guī)則的完備性。
智能預(yù)警功能
通過(guò)分析過(guò)去任務(wù)運(yùn)行的時(shí)間以及任務(wù)需要輸出的時(shí)間節(jié)點(diǎn),然后根據(jù)當(dāng)前物理資源的情況,自動(dòng)判斷這個(gè)調(diào)度任務(wù)是否可以在規(guī)定的時(shí)間節(jié)點(diǎn)前完成計(jì)算,如果不行的話就發(fā)起預(yù)警,讓開(kāi)發(fā)人員暫停一些低級(jí)別的任務(wù)或者說(shuō)對(duì)時(shí)效性不高的任務(wù),釋放資源給重要任務(wù)使用。