無論是任何行業(yè)或者何種背景下的企業(yè)，在步入信息化數(shù)字化階段后，都會面臨數(shù)據(jù)質(zhì)量問題。沒有一個組織擁有完美的業(yè)務(wù)流程、完美的技術(shù)流程或完美的數(shù)據(jù)管理實踐，所有組織都會遇到與數(shù)據(jù)質(zhì)量相關(guān)的問題。相比那些不開展數(shù)據(jù)質(zhì)量管理的組織，實施正式數(shù)據(jù)質(zhì)量管理的組織碰到的問題會更少。
數(shù)據(jù)質(zhì)量常見問題及原因
1、數(shù)據(jù)延遲，導(dǎo)致業(yè)務(wù)無法在正常時效內(nèi)獲得數(shù)據(jù)結(jié)果。
2、數(shù)據(jù)錯誤，導(dǎo)致數(shù)據(jù)結(jié)果完全不可信，以致無法使用。
3、數(shù)據(jù)恢復(fù)慢，問題發(fā)生后，排查分析耗時長，數(shù)據(jù)恢復(fù)時間慢。
4、發(fā)現(xiàn)滯后，數(shù)據(jù)開發(fā)晚于業(yè)務(wù)人員發(fā)現(xiàn)數(shù)據(jù)異常，導(dǎo)致影響已傳導(dǎo)到數(shù)據(jù)應(yīng)用端。
想要解決這些質(zhì)量問題、保證數(shù)據(jù)的高質(zhì)量交付，我們需要了解這些質(zhì)量問題產(chǎn)生的根本原因。通過對歷次數(shù)據(jù)質(zhì)量問題進行復(fù)盤、總結(jié)，發(fā)現(xiàn)質(zhì)量問題主要由下面幾類原因引發(fā)：
1、數(shù)據(jù)平臺問題：平臺不穩(wěn)定、隊列資源不足等，導(dǎo)致作業(yè)運行延遲、報錯。
2、數(shù)據(jù)開發(fā)問題：數(shù)據(jù)開發(fā)人員的任務(wù)腳本性能太差，計算嚴重耗時，導(dǎo)致數(shù)據(jù)延遲；或是代碼邏輯設(shè)計有問題，導(dǎo)致數(shù)據(jù)計算有誤。
3、上游系統(tǒng)異常：上游源系統(tǒng)異常，數(shù)據(jù)文件晚到，導(dǎo)致下游依賴作業(yè)延遲。
數(shù)據(jù)質(zhì)量管理的關(guān)鍵步驟
1、配置監(jiān)控規(guī)則
對高價值分的作業(yè)，強制配置基礎(chǔ)監(jiān)控規(guī)則，如：主鍵唯一性校驗、數(shù)據(jù)非空校驗。另外還可以根據(jù)業(yè)務(wù)場景需要，配置對應(yīng)的業(yè)務(wù)規(guī)則監(jiān)控，如：字段總值環(huán)比校驗、字段極值校驗等。
2、監(jiān)控告警
當(dāng)校驗規(guī)則識別異常時，通知負責(zé)人跟進處理；收到告警后，需及時地處理和關(guān)閉告警，否則告警將一直掛在那，在后面的告警響應(yīng)度中會被稽核到，上報領(lǐng)導(dǎo)。
3、全鏈路數(shù)據(jù)監(jiān)控
根據(jù)作業(yè)的價值分級，針對高價值作業(yè)，開發(fā)人員可根據(jù)數(shù)據(jù)血緣，對上游作業(yè)依次配上監(jiān)控，實現(xiàn)全鏈路的數(shù)據(jù)質(zhì)量監(jiān)控。
