數據質量是數據治理的主要目標之一，也是數據治理效果的重要校驗標準。同時，質量管理（QM）有自身的方法論和基本策略，包括業界著名的6西格瑪管理、精益管理等，都把質量的管理和提升上升到了“質量工程”的角度來看待。從數據質量的管理和持續提升來看，一方面是要注意質量管理的基本要求和原則，即成熟的方法和框架；一方面，要注意數據的特點，將質量工程和數據治理有機結合起來，形成一套有效、持續的工作機制。

01數據質量管理理論的研究情況

要研究數據質量管理，首先研究質量工程的基本思路和框架。以6西格瑪為例，質量管理的特征首先是“可度量”，其次是“閉環管理”，然后是“質量前置”。可度量，就是質量問題一定要可以量化檢測，即“無法量化度量就無法管理”，因此任何質量管理方案，落腳點一定是對質量問題的數字化度量。閉環管理，就是對質量問題的定、測、析、改、控要形成一個可持續、可迭代的閉環，不斷改進，循環往復，持續提升。質量前置，就是將質量問題從事后發現、整改向工作流程的上游推進，在產生、設計、需求、規劃節點就開始進行質量評估，從而最大限度地提升系統性質量。

就數據質量管理而言，作為質量管理的一個重要細分領域，在政策定義、理論指引等方面，有如下的基本情況：

02 建立與標準體系相適配的商業銀行質量管理體系

在推進數據治理的當下，商業銀行的數據質量管理，既要從質量工程的整體思維出發，還要結合商業銀行數據治理的基本情況和管理機制。商業銀行的數據質量問題，往往最終呈現在監管報送、業務分析、管理內審等場景，這些場景所呈現的數據質量問題，一部分是加工、傳輸過程中產生的，但更深層次的問題在于源頭業務系統的數據項，并且和業務流程、產品設計、系統設計等因素密切相關。因此，按照“可度量、閉環管理、質量前置”的工作思路，商業銀行應建立與企業級數據標準相匹配的數據質量管理體系，持續提升和不斷完善數據質量。

標準的數據質量體系一般由八大性組成，但在實踐中我們發現面對銀行幾百套系統幾十萬張物理表，質量體系無法直接落實到每張表甚至每個字段上。因此，回顧一下典型商業銀行的“兩套標準、一套規范”數據標準，其本身就對數據質量提出了相應的管理要求。按照這個思路，我們總結出了基于基礎標準、指標標準、字典規范的數據質量體系。

1.基礎數據標準的質量管理目標和要求

基礎數據標準覆蓋企業主數據和重要代碼，其質量應該按照質量管理的“完整性，有效性，唯一性，一致性，時效性，真實性，精確性，連續性”來進行管理。

(1)完整性：按照業務活動或流程需要，應采集和存儲必要的數據項，不存在缺失缺漏；

(2)有效性：數據定義符合業務規則且數據值在業務規定范圍內；

(3)唯一性：對于可識別的業務主鍵進行唯一判斷；

(4)一致性：反映同一業務實體的數據及其屬性具有一致的定義和含義，且在不同系統或同一系統內多次記錄時保持相同；

(5)時效性：能夠在數據需求的期限內獲得最新的數據，或按要求的更新頻率更新數據值；

(6)真實性：數據符合業務實際情況；

(7)精確性：數據精確程度滿足業務運行、管理決策和監管報送的要求；

(8)連續性：能夠在數據需求的期限內保持數據的不間斷。

基礎數據的質量檢核，是企業級數據質量管理的重點，其質量問題的產生主要在源系統，因此應該按照質量要求在數據源頭進行數據質量的量化監控、反饋；同時，基礎數據標準作為業務需求和系統設計的重要評審點，應該進行前置管理，更進一步的加強需求和設計層面的基礎數據質量。

2.指標數據標準的質量管理目標和要求

指標數據標準是經營管理中基本抓手，指標數據質量的產生主要是幾個方面，其一，是口徑和加工需求層面的問題，業務理解和溝通不足，造成需求和設計層面的質量缺陷；其二，是指標加工的開發實施過程，因為程序性的錯誤而產生的質量問題；其三，是指標在應用層面的誤用或歧義，造成業務應用層面的理解不一致等情況。

針對上述三個方面的質量問題，應該有不同的管理策略。對于溝通和理解層面的問題，應該通過更好的數據溯源和口徑分析來解決；而在加工過程的問題，應該通過數據驗證和測試環節來把關。同時，指標類數據質量還存在一個應用層面的波動監控問題，在初始投產階段驗證正確的指標，可能在后續因為各種擾動因素而產生質量缺陷，包括數據的異常波動等，這時候，需要針對指標數據進行波動區間的監控和預警，對于重要的經營管理報表所涉及的指標，應該加入指標波動預警的響應機制，快速介入和應急處理。

3.字典規范的質量管理目標和要求

這里的字典指數據字典，是對基礎標準、指標標準在數據庫層面上的描述和補充，是數據模型設計人員在實際開發過程中直接使用的信息。字典規范定義了物理字段英文名詞、中文名稱、字段類型、長度、精度等重要信息，針對這些內容的質量檢查通常圍繞著有效性、唯一性、精確性進行。例如，客戶表中的客戶編號是否唯一，且字段類型和長度符合基礎標準對客戶編號要求等。

03 如何建立數據質量管理制度

數據質量管理是一個涉及到跨部門的長期工作，因此需要有長效機制來保障其管理的有效性和持續性。通過建立《數據質量管理辦法》定義質量衡量標準、明確各部門的職責、提出數據質量管理要求，提供制度層面的能力保障，提升行內各部門對數據質量工作的重視程度，加強數據質量意識。

《數據質量管理辦法》明確了衡量數據質量的標準，并且從組織上確定了與數據質量相關的各部門所應該承擔的職責。對質量問題整改的各個環節的管理要求以及實施路徑進行了詳細闡述，數據質量的管理不再盲目零散，而是有體系、有支撐地進行數據質量管控。

由高級管理層下設數據治理領導小組負責對數據質量管理工作的開展進行指導、協調、決策和監督。具體數據質量責任部門包括數據管理部門、業務部門、技術實施部門、人力資源部門等。

數據管理部門負責制定數據質量相關制度規范，推動數據質量發現、分析、提升、監測、考核等各項具體工作，根據業務部門需求組織制定數據質量規則，制定全行數據質量考核方案，提出數據質量管理工具的建設需求。

業務部門分析所轄業務與管理領域相關數據質量問題，從業務層面制定數據質量問題的解決方案，提出所負責業務系統數據質量整改需求，提出本業務領域重點監控的數據質量的規則需求。

技術實施部門從技術層面參與數據質量管理工作，配合業務分析數據質量問題產生的原因，負責問題涉及系統的開發、測試、上線工作，負責開發數據質量管理工具的開發和運維，保障數據質量管理工作所需的相關軟硬件資源。

人力資源部門負責將數據質量考核納入全行考核體系。

數據質量管理主要由數據問題發現、問題提出、問題解決、質量監測、規則管理、質量考核、質量工具管理這幾個環節組成。在質量管理辦法中明確了問題發現和提出的路徑，要求業務部門在經營管理過程中需要關注數據質量問題，在發現問題后由分行向總行業務部門匯報，經總行業務部門匯總后向數據管理部門提出質量問題單，由數據管理部門負責牽頭業務部門和技術部門針對問題進行分析，制定并實施解決方案。解決方案包括但不限于業務流程優化、業務操作規范、源系統改造等。

在數據質量提升過程中遇到的最大困難是確認數據問題產生的源頭以及責任部門。以EAST為例，最終報送接口往往由多個系統加工而成，這就導致一旦最終結果出現質量問題，需要先定位錯誤數據到底是來源于哪個系統。如果是有經驗的開發人員，往往會在結果表中增加字段標識數據源，這就大大加快了問題定位的速度。因此從制度層面要求開發部門參與到數據質量管理工作中，增加數據開發人員的質量意識，提高代碼質量。

業務人員作為數據需求的提出方以及數據使用方，是對數據質量有直接影響的人。例如，客戶信息中的出生年月，以前這類信息是由客戶在柜面填寫后柜員直接錄入，由于最初業務提需求的時候對錄入數據沒有要求進行校驗，導致系統中存在很多日期非法或不真實的數據，這個字段根本無法使用。因此在管理制度中明確要求責任部門針對問題進行分析，制定并推進提升計劃，提升計劃包括但不限于優化業務流程、規范業務操作和源系統改造等。