數(shù)據(jù)質(zhì)量人人有責，這不僅僅只是一句口號，更是數(shù)據(jù)工作者的生命線！數(shù)據(jù)質(zhì)量的好壞直接決定著數(shù)據(jù)價值高低。

數(shù)據(jù)質(zhì)量管理是指在數(shù)據(jù)創(chuàng)建、加工、使用和遷移等過程中，通過開展數(shù)據(jù)質(zhì)量定義、過程控制、監(jiān)測、問題分析和整改、評估與考核等一系列管理活動，提高數(shù)據(jù)質(zhì)量以滿足業(yè)務要求。

可按照“誰創(chuàng)建、誰負責；誰加工、誰負責；誰提供、誰負責”的原則界定數(shù)據(jù)質(zhì)量管理責任，由數(shù)據(jù)流轉(zhuǎn)環(huán)節(jié)的各責任方對管轄范圍內(nèi)的數(shù)據(jù)質(zhì)量負責。對數(shù)據(jù)質(zhì)量規(guī)則優(yōu)先采取系統(tǒng)程序的自動化控制措施，并盡可能前移管控點，從源頭上控制數(shù)據(jù)質(zhì)量。

01 ?數(shù)據(jù)治理問題場景

在日常工作中，業(yè)務領導經(jīng)常會通過報表看板等數(shù)據(jù)產(chǎn)品來了解各項業(yè)務的發(fā)展趨勢以及KPI的達成情況。倘若某天，他打開某張核心報表，發(fā)現(xiàn)當日的數(shù)據(jù)一直是空白的，詢問報表開發(fā)人員，開發(fā)經(jīng)排查分析，發(fā)現(xiàn)是依賴的上游有延遲，上游數(shù)據(jù)預計要下午才能到達，導致業(yè)務領導在正常時點無法查看業(yè)務數(shù)據(jù)情況。又或某天，業(yè)務人員點開報表發(fā)現(xiàn)當日AUM規(guī)模暴增，數(shù)據(jù)增長當然開心，但仔細推敲，發(fā)現(xiàn)這波動有點不合常理，于是通知數(shù)據(jù)負責人驗證下數(shù)據(jù)是否存在異常。經(jīng)過幾個小時的排查分析，數(shù)據(jù)負責人報告說數(shù)據(jù)確實算的有些問題，業(yè)務業(yè)務以后對該報表數(shù)據(jù)的準確性將會打上問號。若類似的數(shù)據(jù)問題經(jīng)常出現(xiàn)，估計迎接你的不是美好明天，而是你的職業(yè)生涯的最后一天。

02? 數(shù)據(jù)質(zhì)量的重要性

數(shù)據(jù)質(zhì)量為什么至關(guān)重要？因為擁有高質(zhì)量的數(shù)據(jù)可以讓您更好地了解任何情況，從而更精準地執(zhí)行任何事情。反之亦然。伴隨著技術(shù)的進步，組織或者企業(yè)能夠收集大量的數(shù)據(jù)，用好這些數(shù)據(jù)已成為焦點。然而，由于以下原因，很多組織或者企業(yè)并沒有實施數(shù)據(jù)質(zhì)量計劃： 沒有業(yè)務部門負責數(shù)據(jù)質(zhì)量問題 數(shù)據(jù)質(zhì)量需要跨職能合作 它要求組織認識到數(shù)據(jù)質(zhì)量是一個重要問題 它需要數(shù)據(jù)質(zhì)量準則 它需要投入財力和人力資源 它被認為是非常人力密集的 投資回報往往難以量化 看起來，挑戰(zhàn)大于好處。但是，數(shù)據(jù)質(zhì)量務必重視，原因有三。數(shù)據(jù)質(zhì)量差，是IT項目失敗的主要原因，也是客戶流逝背后的驅(qū)動因素之一。質(zhì)量差的數(shù)據(jù)會帶來重大的法律或者聲譽風險。一些例子如下：

• 數(shù)據(jù)缺失導致信用風險不準確
• 信用記錄不完整致使風險評估錯誤
• 監(jiān)管違規(guī)

質(zhì)量好的數(shù)據(jù)意味著有準確及時的信息來管理從研發(fā)到銷售的產(chǎn)品和服務。質(zhì)量差的數(shù)據(jù)導致錯誤的洞察力，從而做出錯誤的決策。決策的錯誤，公司會付出沉重的代價。在企業(yè)，數(shù)據(jù)服務的方式有報表看板、標簽指標和數(shù)據(jù)接口等，而這些數(shù)據(jù)服務要想為業(yè)務帶來價值的，其首要前提就是要保證數(shù)據(jù)的準確性，輸出高質(zhì)量的數(shù)據(jù)。低質(zhì)量的數(shù)據(jù)會誤導業(yè)務做出錯誤的決定，致使行動方向發(fā)生偏離。特別是在數(shù)據(jù)驅(qū)動的組織中，是否有準確的、可用的高質(zhì)量的數(shù)據(jù)，將直接影響領導層能否做出正確的決策和戰(zhàn)略目標的實現(xiàn)。因此需要特別重視數(shù)據(jù)的質(zhì)量問題，針對數(shù)據(jù)質(zhì)量進行專項治理。

03? 數(shù)據(jù)質(zhì)量常見問題

在前面的場景案例中，我們可以發(fā)現(xiàn)有如下幾個數(shù)據(jù)質(zhì)量問題：

• 數(shù)據(jù)延遲，導致業(yè)務無法在正常時效內(nèi)獲得數(shù)據(jù)結(jié)果。
• 數(shù)據(jù)錯誤，導致數(shù)據(jù)結(jié)果完全不可信，以致無法使用。
• 數(shù)據(jù)恢復慢，問題發(fā)生后，排查分析耗時長，數(shù)據(jù)恢復時間慢。

發(fā)現(xiàn)滯后，數(shù)據(jù)開發(fā)晚于業(yè)務人員發(fā)現(xiàn)數(shù)據(jù)異常，導致影響已傳導到數(shù)據(jù)應用端。

04? 數(shù)據(jù)質(zhì)量問題原因

那應該如何解決這些質(zhì)量問題，保證數(shù)據(jù)的高質(zhì)量交付呢？首先，我們需要了解這些質(zhì)量問題產(chǎn)生的根本原因，了解問題才能更好地去解決問題。通過對歷次數(shù)據(jù)質(zhì)量問題進行復盤、總結(jié)，發(fā)現(xiàn)質(zhì)量問題主要由下面幾類原因引發(fā)： 數(shù)據(jù)平臺問題：平臺不穩(wěn)定、隊列資源不足等，導致作業(yè)運行延遲、報錯。 數(shù)據(jù)開發(fā)問題：數(shù)據(jù)開發(fā)人員的任務腳本性能太差，計算嚴重耗時，導致數(shù)據(jù)延遲；或是代碼邏輯設計有問題，導致數(shù)據(jù)計算有誤。 上游系統(tǒng)異常：上游源系統(tǒng)異常，數(shù)據(jù)文件晚到，導致下游依賴作業(yè)延遲。

05? 數(shù)據(jù)質(zhì)量治理

出現(xiàn)問題不可怕，可怕的是出現(xiàn)問題后，我們毫無感知，不能做到“早發(fā)現(xiàn)、早處理、早恢復”，以致問題直接傳導到業(yè)務方，影響業(yè)務的開展工作。在大數(shù)據(jù)產(chǎn)品矩陣中，我們使用數(shù)據(jù)質(zhì)量監(jiān)控平臺來支持數(shù)據(jù)質(zhì)量的監(jiān)控、治理。數(shù)據(jù)質(zhì)量監(jiān)控平臺，主要是對Hive數(shù)倉中的庫表數(shù)據(jù)的質(zhì)量進行監(jiān)控，包括表級別和字段級別的數(shù)據(jù)進行監(jiān)控，以減少或避免由數(shù)據(jù)質(zhì)量引起的事故和損失。借助數(shù)據(jù)質(zhì)量監(jiān)控平臺，我們通過實施下面幾個關(guān)鍵步驟來進行數(shù)據(jù)質(zhì)量的治理：

（1）配置監(jiān)控規(guī)則對高價值分的作業(yè)，我們要求強制配置基礎監(jiān)控規(guī)則，如：主鍵唯一性校驗、數(shù)據(jù)非空校驗；另還可以根據(jù)業(yè)務場景需要，配置對應的業(yè)務規(guī)則監(jiān)控，如：字段總值環(huán)比校驗、字段極值校驗等，監(jiān)控平臺內(nèi)置了約17種字段級校驗規(guī)則、5種表級校驗規(guī)則，供直接配置使用；除內(nèi)置了豐富的校驗規(guī)則，質(zhì)量監(jiān)控平臺還支持SQL自定義監(jiān)控規(guī)則，極大地滿足各種數(shù)據(jù)監(jiān)控場景。

（2）監(jiān)控告警當校驗規(guī)則識別異常時，需要通知負責人進行跟進處理，質(zhì)量監(jiān)控平臺支持以電話、郵件和短信等方式通知作業(yè)屬主。作業(yè)屬主收到告警后，需及時地處理和關(guān)閉告警，否則告警將一直掛在那，在后面的告警響應度中會被稽核到，上報其領導。

（3）全鏈路數(shù)據(jù)監(jiān)控根據(jù)作業(yè)的價值分級，針對高價值作業(yè)，開發(fā)人員可根據(jù)數(shù)據(jù)血緣，對上游作業(yè)依次配上監(jiān)控，實現(xiàn)全鏈路的數(shù)據(jù)質(zhì)量監(jiān)控。

06? 數(shù)據(jù)質(zhì)量評價體系

在執(zhí)行了一系列的舉措來提高數(shù)據(jù)質(zhì)量后，如何來驗證數(shù)據(jù)質(zhì)量的治理效果呢？根據(jù)企業(yè)本身的數(shù)據(jù)特點，設計并構(gòu)建了一個數(shù)據(jù)質(zhì)量七維評價模型，如下圖所示：數(shù)據(jù)質(zhì)量評價模型，分別從數(shù)據(jù)完整性、監(jiān)控覆蓋率、告警響應度、作業(yè)準確性、作業(yè)穩(wěn)定性、作業(yè)時效性、作業(yè)性能分等七個維度來考量平臺的數(shù)據(jù)質(zhì)量，基于該模型，還設計了“數(shù)據(jù)質(zhì)量分”這個指標，來直觀地反映平臺數(shù)據(jù)質(zhì)量的建設水平及健康狀況。數(shù)據(jù)質(zhì)量七維模型的評價視角及其計算口徑：1

數(shù)據(jù)完整性

☆ ?考量數(shù)據(jù)項信息是否全面、完整、無缺失?★ ?指標公式：表完整性和字段完整性的平均值2

監(jiān)控覆蓋率

☆ ?確保數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)標準或規(guī)范要求?★ ?指標公式：監(jiān)控的高價值作業(yè)個數(shù)/高價值作業(yè)總個數(shù)?????其中，高價值作業(yè)是指作業(yè)價值分在80分以上的作業(yè)3

告警響應度

☆ ?通過日常管理、應急響應，降低或消除問題影響，避免數(shù)據(jù)損毀、丟失?★ ?指標公式：已處理告警個數(shù)(本周)/告警總個數(shù)(本周)4

作業(yè)準確性

☆ ?考量數(shù)據(jù)是否符合預設的質(zhì)量要求，如唯一性約束、記錄量校驗等?★ ?指標公式：1 -?告警作業(yè)個數(shù)(本周)/監(jiān)控作業(yè)總個數(shù)5

作業(yè)穩(wěn)定性

☆ ?考量作業(yè)的運行穩(wěn)定性，是否經(jīng)常報錯，導致數(shù)據(jù)事故?★ ?指標公式：1 -?錯誤作業(yè)個數(shù)(本周)/作業(yè)總個數(shù)6

作業(yè)時效性

☆ ?考量數(shù)據(jù)項信息可被獲取和使用的時間是否滿足預期要求?★ ?指標公式：1 -?延遲的高價值作業(yè)個數(shù)(本周)/高價值作業(yè)總個數(shù)?????其中，基準時間為作業(yè)近30天平均完成時間加30分鐘，作業(yè)晚于基準即延遲7

作業(yè)性能分

☆ ?考量作業(yè)的執(zhí)行效率和健康度，診斷作業(yè)是否傾斜等性能問題?★ ?指標公式：1 - ?危急作業(yè)個數(shù)(本周)/作業(yè)總個數(shù)從各質(zhì)量維度的評價視角和指標公式可以發(fā)現(xiàn)，雖然數(shù)據(jù)質(zhì)量監(jiān)控的是表及字段的質(zhì)量情況，但我們的質(zhì)量分是設定在庫這個層級。這么設計主要是為了更好地責任劃分、統(tǒng)籌治理。比如在銀行業(yè)，每個庫都有其對應的所屬分層（如明細層、匯總層、應用層等），且每個庫都有對應的庫負責人，所以到庫這個層級，我們能更好的分而治之，由庫負責人對庫的質(zhì)量水平負責。基于數(shù)據(jù)質(zhì)量模型，我們還配套對應的數(shù)據(jù)質(zhì)量監(jiān)控報告。在報告中我們不僅能看到數(shù)據(jù)平臺的整體質(zhì)量評分，了解質(zhì)量發(fā)展趨勢，更能通過多維分析、單維深鉆來了解平臺的質(zhì)量問題根源。多維分析：詳細展示七個質(zhì)量維度的評分及趨勢變化，每個維度下還配有TOP榜，用來展示低質(zhì)量的庫排名，督促庫負責人進行優(yōu)化、治理；單維深鉆：每一個質(zhì)量維度都能從整體下鉆到具體庫及表，深入了解該維度質(zhì)量評分低的具體原因，以便針對性地解決問題、提高質(zhì)量；綜上，就是在數(shù)據(jù)質(zhì)量治理方面的一些具體實踐。數(shù)據(jù)質(zhì)量治理是一個長期的、持續(xù)性的工作，不可能期望一蹴而就。在治理過程中，需要不斷優(yōu)化質(zhì)量短板，夯實質(zhì)量基石。設目標、定責任，積極配合與行動，充分利用平臺工具，共同建設一個數(shù)據(jù)烏托邦，讓數(shù)據(jù)價值發(fā)揮耀眼光芒。數(shù)據(jù)質(zhì)量治理僅僅是數(shù)據(jù)治理的一個小環(huán)，而企業(yè)內(nèi)部的數(shù)據(jù)質(zhì)量問題并非不治之癥，根據(jù)行業(yè)最佳實踐開展管理體系提升，配備必要的軟件，總能把這個問題解決掉，所謂企業(yè)內(nèi)部的數(shù)據(jù)質(zhì)量問題最終會消弭于無形。