本期，我們將圍繞數(shù)據(jù)質量管理的流程及如何搭建數(shù)據(jù)質量管理平臺展開闡述。可點擊下方鏈接回顧上期內容。

01 如何制定數(shù)據(jù)質量管理流程

通過分析數(shù)據(jù)質量相關理論體系，總結出“定義、測量、分析、整改、監(jiān)控”五步法的質量管理流程，并明確各環(huán)節(jié)涉及的工作。

流程一：定義

在執(zhí)行數(shù)據(jù)質量管控任務之前首先需要確定數(shù)據(jù)質量的管控范圍與檢核規(guī)則。并非所有的數(shù)據(jù)都需要進行數(shù)據(jù)質量管控，在選擇范圍時一般遵循兩大原則：

重要性原則：數(shù)據(jù)質量管控應首先應用于組織中最重要的數(shù)據(jù)。企業(yè)內部的重要數(shù)據(jù)包括主數(shù)據(jù)與基礎數(shù)據(jù)，企業(yè)外則主要關注監(jiān)管數(shù)據(jù)。此外，一些痛點問題、關鍵業(yè)務、公司變革、核心KPI所涉及的數(shù)據(jù)也符合重要性原則。

成本效益原則：任何企業(yè)活動開展均需要進行成本效益的判斷，若某類數(shù)據(jù)質量提升所帶來的效益或減少的損失低于該活動產(chǎn)生的成本，則此類數(shù)據(jù)可不優(yōu)先考慮。當然也應注意到，效益分析時經(jīng)濟效益與社會效益同等重要，例如保持高質量的客戶數(shù)據(jù)對于銀行來說是一種重要的企業(yè)社會責任。

對于監(jiān)管數(shù)據(jù)，數(shù)據(jù)質量的管控范圍已由監(jiān)管組織給定，所以數(shù)據(jù)管理團隊應側重于明確檢核內容，包括該條規(guī)則涉及的底層業(yè)務、責任部門等。在定義范圍與規(guī)則后，數(shù)據(jù)質量提升的工作才能有的放矢。

流程二：測量

測量環(huán)節(jié)主要利用專業(yè)的質量檢核工具對定義的規(guī)則進行跑批，輸出質量問題數(shù)據(jù)明細。目前逐漸由人工手動撰寫代碼跑批發(fā)展到定時自動跑批，更加及時發(fā)現(xiàn)并跟蹤質量問題整改情況，節(jié)省手動操作的人力。

流程三：分析

在獲取質量問題數(shù)據(jù)明細之后，需對產(chǎn)生的問題進行歸因分析，對癥下藥。質量問題產(chǎn)生的原因可概括為兩大類：人為操作導致的質量問題與系統(tǒng)架構設計不合理導致的質量問題。人為操作下又可分為領導力不足、員工培訓不到位等原因，系統(tǒng)架構設計不合理下又可分為業(yè)務取數(shù)邏輯錯誤、系統(tǒng)界面設計不佳、數(shù)據(jù)傳輸問題、模型設計不準確等因素。對于監(jiān)管數(shù)據(jù)來說，因監(jiān)管提出的質量規(guī)范與銀行業(yè)務實際業(yè)務不適配，或將導致新的質量問題。

流程四：整改

質量問題整改并非一蹴而就，需要持續(xù)跟蹤整改情況。定義管控范圍和檢核規(guī)則之后，針對此項問題需開展“測量-分析-整改”的循環(huán)工作以持續(xù)提升質量水平。整改方式可分為手工整改錯誤數(shù)據(jù)、系統(tǒng)開發(fā)優(yōu)化以及向監(jiān)管組織解釋等。監(jiān)管數(shù)據(jù)問題一般要求100%得到解決，對于公司內部數(shù)據(jù)問題的整改，可運用六西格瑪質量管理體系評估其數(shù)據(jù)質量。

流程五：監(jiān)控

監(jiān)控環(huán)節(jié)涉及數(shù)據(jù)質量水平監(jiān)控、質量問題整改考核、數(shù)據(jù)質量報告發(fā)布等內容，力求精確、有效的跟蹤企業(yè)內部數(shù)據(jù)質量變化，為質量問題整改的推進提供有力保障。

02 如何建立數(shù)據(jù)質量規(guī)則庫和工具平臺

如何建立數(shù)據(jù)質量規(guī)則庫？我們需要明確哪些數(shù)據(jù)的質量是銀行所關心的，因此必須要知道哪些是銀行重要系統(tǒng)，哪些數(shù)據(jù)項是重點關注的數(shù)據(jù)，哪些指標能夠反映經(jīng)營狀況。基于以上幾點，可以將以下幾類數(shù)據(jù)項作為數(shù)據(jù)質量規(guī)則庫的內容：

監(jiān)管報送涉及的系統(tǒng)以及需要報送的數(shù)據(jù)項 高管駕駛艙重點指標加工涉及的系統(tǒng)數(shù)據(jù)項 業(yè)務部門申報的重點關注數(shù)據(jù)項

客戶關鍵信息涉及的系統(tǒng)數(shù)據(jù)項

以上這些數(shù)據(jù)項不僅僅是數(shù)據(jù)質量重點關注的內容，同時也包含在基礎標準中，因此可以將基礎標準中的數(shù)據(jù)項作為數(shù)據(jù)質量規(guī)則庫的基礎。在基礎標準層面明確定義數(shù)據(jù)質量要求，并且完成源系統(tǒng)的基礎標準對標工作，就可以直接建立數(shù)據(jù)質量規(guī)則庫。質量規(guī)則責任到部門，甚至責任到人，建立可分層執(zhí)行的質量規(guī)則庫。

質量規(guī)則可以分為以下幾層：

貼源層：主要包含數(shù)據(jù)湖入湖數(shù)據(jù)，其中EAST報送以及基礎標準對應的入湖數(shù)據(jù)是質量規(guī)則重點關注的對象，針對貼源層的檢查規(guī)則大部分可以在入湖時進行檢查，一旦發(fā)現(xiàn)質量問題可及時告警；

公共模型層：主要面向計算平臺的主題模型中的數(shù)據(jù)，公共模型層是整個數(shù)據(jù)中臺核心部分，數(shù)據(jù)中臺上其他應用的數(shù)據(jù)加工都來源于此，因此公共模型層質量規(guī)則重點關注數(shù)據(jù)加工后的一致性、完整性和有效性；

領域模型層：這一層的檢核規(guī)則主要針對各類指標標簽加工結果進行檢查，重點關注加工后的數(shù)據(jù)精確性和準確性；

應用層：應用層的數(shù)據(jù)質量規(guī)則一般由應用前端設置閾值進行實時監(jiān)控，往往關注數(shù)據(jù)的異常波動。

通過實踐，我們認為將質量規(guī)則庫分層有以下幾個好處：

自上而下，規(guī)則統(tǒng)一 權責清晰，利于管理

快速部署，靈活監(jiān)控

通過建設質量檢核平臺將以上質量規(guī)則進行落地實施，就形成了統(tǒng)一管理的企業(yè)級質量規(guī)則庫，平臺內置的質量檢核規(guī)則主要有以下幾種：

完整性：例如內部機構號不允許為空或null； 有效性：例如統(tǒng)一社會信用代碼長度必須為1、9、10、18位； 唯一性：例如主鍵唯一性驗證； 一致性：例如客戶經(jīng)理工號必須在員工表里面存在； 時效性：例如根據(jù)人力資源系統(tǒng)中的員工入職日期和記錄創(chuàng)建時間判斷信息維護是否符合時效性要求； 真實性：例如將出生日期與身份證號進行校驗，判斷其真實性； 精確性：例如利率、匯率字段的精度是否滿足業(yè)務需求；

連續(xù)性：例如公共模型中大部分歷史表必須保證數(shù)據(jù)的連續(xù)性，除采用經(jīng)濟型拉鏈算法形成的歷史表。

質量檢核平臺以數(shù)據(jù)清潔為目標，以業(yè)務需求為驅動，通過質量提升任務形成質量規(guī)則庫，通過質量檢核了解數(shù)據(jù)源質量、監(jiān)控異常數(shù)據(jù)、督促質量改進，將數(shù)據(jù)質量管理作為一項持續(xù)性工作，使之“系統(tǒng)化”“持續(xù)化”“常態(tài)化”。根據(jù)質量規(guī)則形成質量度量指標，對整體數(shù)據(jù)質量水平進行綜合評價，披露數(shù)據(jù)質量問題與短板，促進問題改進。質量評測范圍包含數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標準、數(shù)據(jù)模型、數(shù)據(jù)分布、設計質量等。

數(shù)據(jù)中臺作為全行數(shù)據(jù)的中心，不僅包含全行各個源系統(tǒng)的數(shù)據(jù)，大部分數(shù)據(jù)加工工作也在數(shù)據(jù)中臺完成，是最適合進行數(shù)據(jù)質量檢查的系統(tǒng)。因此數(shù)據(jù)質量檢核工作由數(shù)據(jù)質量檢核平臺、數(shù)據(jù)治理平臺以及數(shù)據(jù)計算平臺協(xié)同完成，治理平臺負責提供元數(shù)據(jù)以及血緣信息，質量檢核平臺負責數(shù)據(jù)質量規(guī)則管理以及質量檢核任務調度，計算平臺負責執(zhí)行質量規(guī)則并保存檢核結果。

由于數(shù)據(jù)質量檢核功能涉及生產(chǎn)業(yè)務數(shù)據(jù)，考慮到生產(chǎn)數(shù)據(jù)的安全性，將數(shù)據(jù)質量檢核系統(tǒng)單獨部署，與數(shù)據(jù)治理平臺隔離。通過訪問企業(yè)級數(shù)據(jù)服務平臺API接口，連接計算平臺進行數(shù)據(jù)檢核，異步提取數(shù)據(jù)到質量平臺Hadoop集群環(huán)境。

質量檢核平臺的各項功能是依據(jù)質量管理辦法中的質量管理流程進行設計的，具體功能包括質量提升計劃、質量規(guī)則庫、質量規(guī)則執(zhí)行、質量問題跟蹤、數(shù)據(jù)質量報告等功能模塊。

1.質量提升計劃：當發(fā)現(xiàn)數(shù)據(jù)質量問題后，由數(shù)據(jù)管理部門或業(yè)務部門了解清楚質量問題出現(xiàn)的系統(tǒng)，問題影響范圍和嚴重程度，明確質量提升目標，制定計劃啟動日期；

2.質量規(guī)則庫：供質量規(guī)則配置功能，支持自定義配置、按模板配置、批量導入的方式；

3.質量規(guī)則執(zhí)行：支持按周期、按時間點配置調度作業(yè)，支持查看調度任務執(zhí)行情況以及執(zhí)行日志，可以在線調整任務優(yōu)先級，干預當前正在執(zhí)行的檢核任務，干預類型包含掛起、重跑、結束執(zhí)行等；

4.質量問題跟蹤：整個質量問題跟蹤流程主要有問題分析、問題分發(fā)、確認質量提升效果這幾個步驟。問題分析不能只停留在發(fā)現(xiàn)問題的系統(tǒng)本身，而是需要追根溯源找到數(shù)據(jù)的源頭系統(tǒng)，制定問題解決方案。在問題分發(fā)環(huán)節(jié)需要關注問題解決方案的類型，如果是數(shù)據(jù)缺失需要補錄的情況，則分發(fā)到各業(yè)務部門，由業(yè)務部門組織補錄，如果需要修改系統(tǒng)代碼，則分發(fā)到系統(tǒng)主管業(yè)務部門發(fā)起系統(tǒng)變更需求。在問題分發(fā)完成后，需要定時確認質量提升效果，系統(tǒng)將重新執(zhí)行檢核規(guī)則，將整改后的數(shù)據(jù)與整改前進行比對，確認解決狀態(tài)；

（截圖已做模糊處理）

5.數(shù)據(jù)質量報告：根據(jù)質量規(guī)則檢核結果生成數(shù)據(jù)質量報告，包括針對某個問題的專項報告或基于基礎標準檢查的綜合性報告。