一、引言
伴隨外部監(jiān)管要求逐步提高以及市場競爭環(huán)境的日益激勵，銀行對于數(shù)據(jù)價值的重視提升到了前所未有的高度，數(shù)據(jù)對于銀行來說已經成為一項重要的資產。銀行業(yè)務重點變化、金融業(yè)務聯(lián)動甚至企業(yè)合作都對數(shù)據(jù)管理提出了更高的要求，尤其是整合多種數(shù)據(jù)源、創(chuàng)建一致的數(shù)據(jù)副本，以及提供靈活的數(shù)據(jù)查詢需求。在這些要求中，數(shù)據(jù)質量因素對于企業(yè)數(shù)據(jù)應用有著至關重要的影響，無論是橫向的數(shù)據(jù)相關運營活動，還是縱向深入的數(shù)據(jù)分析挖掘實現(xiàn)。數(shù)據(jù)質量管理是企業(yè)數(shù)據(jù)管理中的一項關鍵內容，與數(shù)據(jù)治理、數(shù)據(jù)標準、元數(shù)據(jù)、主數(shù)據(jù)等管理職能相互交叉，并且是數(shù)據(jù)服務、數(shù)據(jù)分析、數(shù)據(jù)挖掘等活動的必備支持條件。
除支持基礎業(yè)務運營及日常經營決策之外，近年來大數(shù)據(jù)實踐應用對于企業(yè)的重要性逐步提高。大數(shù)據(jù)價值實現(xiàn)流程中會重點面臨兩個不確定性問題，首先是如何量化數(shù)據(jù)，數(shù)據(jù)化即一切皆可“量化”，如溝通變成數(shù)據(jù)，文字變成數(shù)據(jù)，方位變成數(shù)據(jù)等；其次，伴隨的數(shù)據(jù)標準、數(shù)據(jù)架構問題，以及更長的數(shù)據(jù)生命周期對應著更多的人為決策因素。不確定的人為因素反映在數(shù)據(jù)的選擇、加工、處理，模型及參數(shù)的設計和選擇，分析挖掘結果的解讀和應用，這些也是數(shù)據(jù)質量管理需要考慮的問題。
二、數(shù)據(jù)質量需求與定義
數(shù)據(jù)質量通常表現(xiàn)為一組具體的流程和技術，用于識別和修正數(shù)據(jù)中的錯誤以支持業(yè)務運行及決策支持。在銀行實際中數(shù)據(jù)質量管理的應用場景主要包括數(shù)據(jù)分析挖掘、數(shù)據(jù)標準化管理、系統(tǒng)建設以及系統(tǒng)運維(圖1)等。基于上述四個典型的應用場景，本文重點討論數(shù)據(jù)質量管理的流程方法，從需求管理和日常機制兩個維度討論數(shù)據(jù)質量處理標準過程，數(shù)據(jù)需求對應信息系統(tǒng)建設以及能夠轉化為項目形式的數(shù)據(jù)應用需求，日常機制對應數(shù)據(jù)質量問題的常規(guī)處理機制。
圖1 數(shù)據(jù)質量需求來源
數(shù)據(jù)需求是信息系統(tǒng)建設需求管理的重要部分，無論是業(yè)務角度還是技術角度，數(shù)據(jù)質量需求都是數(shù)據(jù)需求中的必備要求。數(shù)據(jù)質量需求主要有兩個來源，分別對應于業(yè)務發(fā)展和數(shù)據(jù)管理的原因，前者對應數(shù)據(jù)應用角度的要求，后者對應企業(yè)數(shù)據(jù)管理目標。業(yè)務需求包括常規(guī)的系統(tǒng)改造或建設需求，以及數(shù)據(jù)服務、數(shù)據(jù)分析、數(shù)據(jù)挖掘等數(shù)據(jù)應用性需求。數(shù)據(jù)需求中應該包括數(shù)據(jù)質量規(guī)則方面的要求，數(shù)據(jù)需求來源于信息系統(tǒng)常規(guī)性需求，以及數(shù)據(jù)應用相關的需求。
數(shù)據(jù)質量問題是指數(shù)據(jù)不滿足業(yè)務運行、管理與決策的程度，其衡量標準包括了多方面的含義。清晰的定義必然包括多個基本屬性，或者說元數(shù)據(jù)單元。數(shù)據(jù)質量需求涉及范圍和影響程度不一，較小的需求以單系統(tǒng)數(shù)據(jù)項修改為代表，處理方式簡單直接；較大的需求以跨系統(tǒng)數(shù)據(jù)不一致為代表，剖析根源甚至包括業(yè)務規(guī)則的調整。數(shù)據(jù)質量需求對應的問題及原因在數(shù)據(jù)生命周期中會包括定義、產生、加工、整合、應用等過程，覆蓋源系統(tǒng)、數(shù)據(jù)倉庫、數(shù)據(jù)集市。
三、數(shù)據(jù)質量管理方法
1.數(shù)據(jù)質量管理框架
數(shù)據(jù)質量閉環(huán)管理機制以制定規(guī)則、問題發(fā)現(xiàn)、質量剖析、數(shù)據(jù)清理、評估驗證、持續(xù)監(jiān)控為核心活動（圖2），又結合銀行的數(shù)據(jù)實踐進行了定制和優(yōu)化。通常戴明環(huán)的四個活動是計劃-實施-檢查-行動，從質量管理角度出發(fā)執(zhí)行循環(huán)工作機制。目前銀行數(shù)據(jù)需求情況復雜多樣，通過分析數(shù)據(jù)質量問題級別進行分類，有大規(guī)模跨部門的系統(tǒng)級建設或改造需求，也有業(yè)務口徑、技術口徑確定等中等問題，還有小范圍的標準代碼值修改等輕微問題，為此閉環(huán)機制在設計和實踐中要充分考慮多種需求。
分解管理框架中的各項活動，首先是根據(jù)企業(yè)數(shù)據(jù)標準制定數(shù)據(jù)質量校驗的業(yè)務和技術規(guī)則，以及對應的數(shù)據(jù)質量問題發(fā)現(xiàn)及管理；然后按照數(shù)據(jù)質量維度對抽樣或全局數(shù)據(jù)進行剖析，并結合評估驗證進行數(shù)據(jù)清理；最后通過數(shù)據(jù)質量持續(xù)監(jiān)控，以數(shù)據(jù)質量報告的形式匯報并反映數(shù)據(jù)質量的狀況及問題。數(shù)據(jù)全過程質量管理框架以改進數(shù)據(jù)質量為目標，確保數(shù)據(jù)的準確、完整、一致和及時性。通過制定數(shù)據(jù)質量關鍵性能指標或積分卡，評估數(shù)據(jù)質量的改善情況，并形成常態(tài)化數(shù)據(jù)質量管理閉環(huán)機制，以凸顯數(shù)據(jù)質量管理的長效機制。
2.數(shù)據(jù)質量管理策略
從數(shù)據(jù)管理能力角度分析，數(shù)據(jù)質量管理策略主要負責質量剖析、評估、清理三項管理內容。在具體實踐中，數(shù)據(jù)質量管理主要分為事件式驅動與主動管理兩種模式。事件式驅動適合所有的應用場景，根據(jù)實際應用產生的各種數(shù)據(jù)質量需求均可納入數(shù)據(jù)質量管理機制，通過相對固定的流程來解決。主動管理適用的范圍相對嚴格一些，必須有明確的目標導向，以充分利用資源和能力。
目前適合銀行的數(shù)據(jù)質量主動管理主要偏重基礎數(shù)據(jù)和監(jiān)管報送數(shù)據(jù)，二者都有明確的要求，能夠清晰的制定度量規(guī)則，并且整個管理過程也滿足數(shù)據(jù)治理的現(xiàn)狀。在數(shù)據(jù)應用流程中的數(shù)據(jù)服務、分析、挖掘等工作中，應將數(shù)據(jù)質量剖析、評估活動納入正常工作流程，將其中不滿足要求的數(shù)據(jù)問題反饋給數(shù)據(jù)質量管理人員，納入閉環(huán)工作機制進行處理。
分析數(shù)據(jù)質量管理對象，首先要重點監(jiān)控企業(yè)現(xiàn)有數(shù)據(jù)資產的情況，結合數(shù)據(jù)質量剖析、驗證、清理等活動，結合數(shù)據(jù)分析應用保障數(shù)據(jù)價值實現(xiàn)；其次，還要充分考慮新數(shù)據(jù)源的加入，結合元數(shù)據(jù)相關內容探測數(shù)據(jù)變化，及時揭示數(shù)據(jù)質量風險并納入管理機制。
3.數(shù)據(jù)質量指標定義
低質量的數(shù)據(jù)會影響業(yè)務目標的完成，數(shù)據(jù)質量管理人員必須找到并使用數(shù)據(jù)質量指標，報告數(shù)據(jù)缺陷與受影響業(yè)務目標之間的關系。定義數(shù)據(jù)質量指標的過程存在著挑戰(zhàn)，識別并管理業(yè)務相關的數(shù)據(jù)質量指標，可以與監(jiān)控業(yè)務活動績效相類比，數(shù)據(jù)質量指標應該合理地反映數(shù)據(jù)質量情況，為數(shù)據(jù)質量管理提供量化依據(jù)。
在定義數(shù)據(jù)質量指標的過程中，需要充分考慮可度量性、業(yè)務相關性、可接受程度、可控性、可追蹤性等特性，并與數(shù)據(jù)認責制度充分結合。首先需要分析業(yè)務影響，并評估相關的數(shù)據(jù)元素以及數(shù)據(jù)生命周期流程；其次針對每個數(shù)據(jù)元素，列出與之相關的數(shù)據(jù)需求，并定義數(shù)據(jù)質量維度以及業(yè)務規(guī)則；最后針對業(yè)務規(guī)則，描述度量需求滿足度的流程，并定義可接受程度的閾值。
4.數(shù)據(jù)質量剖析方法
企業(yè)數(shù)據(jù)質量的剖析方法主要包括三種，具體為字段剖析、記錄剖析和表間剖析，通常能夠覆蓋所有的數(shù)據(jù)資產。實際管理中數(shù)據(jù)質量剖析用于判斷質量情況，為后續(xù)的數(shù)據(jù)質量驗證及數(shù)據(jù)質量清理提供依據(jù)，并且數(shù)據(jù)質量監(jiān)控規(guī)則的制定提供技術口徑。
字段剖析用于分析數(shù)據(jù)記錄中的字段，將提供諸如完整性、數(shù)據(jù)類型、大小、長度、唯一值和頻率分布列表、模式、最大和最小范圍。字段剖析可用于發(fā)現(xiàn)數(shù)據(jù)質量問題，核實數(shù)據(jù)與預期值的符合性，并比較實際數(shù)據(jù)和目標需求。
記錄剖析用于分析表格或文件內部字段之間的關聯(lián)關系，進而能夠發(fā)現(xiàn)實際數(shù)據(jù)結構、函數(shù)依賴關系、主鍵和數(shù)據(jù)結構中存在的質量問題，也可用于預測預期用戶對數(shù)據(jù)的依賴關系。
表間分析用于比較表格或文件之間的數(shù)據(jù)，確定重疊的或相同的數(shù)值集，識別重復值或指出外鍵，判斷數(shù)據(jù)的一致性等。表間剖析的結果可以幫助標準化數(shù)據(jù)模型，在模型中消除無用的冗余。
5.數(shù)據(jù)質量監(jiān)控技術在數(shù)據(jù)質量監(jiān)控環(huán)節(jié)將數(shù)據(jù)質量控制和測量流程嵌入到信息處理流程，從而實現(xiàn)可持續(xù)的質量監(jiān)控。依據(jù)數(shù)據(jù)粒度分布情況，采用兩種形式來監(jiān)控數(shù)據(jù)質量滿足業(yè)務要求的情況。結合數(shù)據(jù)質量剖析方法，有字段、記錄、表間三種粒度數(shù)據(jù)質量監(jiān)控方法，對應的評價指標對應覆蓋字段數(shù)據(jù)值、數(shù)據(jù)記錄以及完整的數(shù)據(jù)集。
根據(jù)監(jiān)控目標，數(shù)據(jù)質量監(jiān)控分為常規(guī)閉環(huán)監(jiān)控以及批量運動式兩種，這與數(shù)據(jù)質量的需求來源保持對應關系。企業(yè)整體數(shù)據(jù)質量要求通過閉環(huán)機制進行持續(xù)監(jiān)控推進，支持業(yè)務運營和基礎的數(shù)據(jù)應用；對于數(shù)據(jù)分析、挖掘探索對應的質量需求，以及系統(tǒng)建設的需求，可以通過批量式以項目重要環(huán)節(jié)的形式完成質量監(jiān)控。定義數(shù)據(jù)質量業(yè)務規(guī)則的詳細技術如下表所示：
四、數(shù)據(jù)質量能力要求
數(shù)據(jù)質量管理活動保障數(shù)據(jù)價值變現(xiàn)，覆蓋整個數(shù)據(jù)生命周期，其綜合性和復雜性決定了對管理人員和方法的高標準要求。數(shù)據(jù)質量管理人員需要了解業(yè)務知識，還要懂得技術架構，是典型的綜合型人才。與之伴隨對管理人員的溝通協(xié)調能力要求也很高，數(shù)據(jù)質量管理覆蓋整個數(shù)據(jù)生命周期的價值實現(xiàn)，相關人員及工作任務的影響廣度和溝通深度都是數(shù)據(jù)管理各職能活動中的典型。
數(shù)據(jù)質量管理成功與否最重要是人的因素，其次還要考慮工具支持，這方面面臨的問題主要是自主研發(fā)還是購買的選擇。通常企業(yè)可以根據(jù)實際需求自己建設數(shù)據(jù)質量管理系統(tǒng)，或者購買一個成型的產品。基本功能包括支持數(shù)據(jù)質量分析、監(jiān)控、整改、報告等活動，目前新型的數(shù)據(jù)質量系統(tǒng)需要支持把功能作為服務(Data Quality As Service)的方式進行發(fā)布，這樣數(shù)據(jù)質量管理系統(tǒng)就能夠作為企業(yè)的基礎服務，提供給各個業(yè)務系統(tǒng)和各數(shù)據(jù)管理應用角色進行使用。數(shù)據(jù)質量服務整合數(shù)據(jù)質量相關的剖析、監(jiān)控、驗證等活動，以服務的形式提供給數(shù)據(jù)分析、數(shù)據(jù)挖掘人員，其應用架構如圖3所示。基于上述拓展的功能要求，長期看建議購買有效的工具為首選，這樣更有利于成本控制和快速部署。
五、信息質量管理趨勢
關注數(shù)據(jù)質量的同時，還要進一步關注覆蓋范圍更加廣泛、涉及層面更加深入的信息質量，這也是數(shù)據(jù)管理需要思考的問題。蘇聯(lián)數(shù)學家Kolmogorov對信息的定義是：“信息是在給內數(shù)據(jù)集內的對客觀事物的語義描述”。進一步信息又可分為物理信息和語義信息兩類，其中物理層面的信息反映基礎的數(shù)據(jù)結構；語義信息屬于進階有含義的語義數(shù)據(jù)結構，反映人類的視角。
目前數(shù)據(jù)質量管理方法中對于語義信息的關注較少，更多的是關注常規(guī)物理信息，以及可以轉化為物理信息的語義信息，其原因在于信息質量更為復雜。錯誤的數(shù)據(jù)能導致錯誤的信息，物理信息容易度量，語義信息相對較難用簡單的規(guī)則度量。在一個數(shù)據(jù)挖掘應用中，錯誤的語義信息會來源于知識發(fā)現(xiàn)過程中的數(shù)據(jù)集選擇、模型選擇、參數(shù)選擇、驗證方式選擇，基本上所有的過程都需要加入人為的理解因素。從傳統(tǒng)軟件開發(fā)質量保障角度，也需要對語義相關的信息質量進行考慮，確保數(shù)據(jù)價值的不被曲解或者損失。在移動計算、物聯(lián)網、大數(shù)據(jù)等新理念趨勢下，信息質量面臨的問題更加值得關注。
從整體數(shù)據(jù)管理角度來看，語義信息的質量保障依賴于整體數(shù)據(jù)管理水平，數(shù)據(jù)治理、元數(shù)據(jù)、數(shù)據(jù)標準等活動都會發(fā)揮作用。數(shù)據(jù)治理定義數(shù)據(jù)質量相關角色、職責，元數(shù)據(jù)、數(shù)據(jù)標準為一致性的語義理解提供參考作用。近年來軟件即服務（SaaS）和云計算應用（Cloud-Based）趨勢日益明顯，信息技術新趨勢的影響也促使數(shù)據(jù)質量管理從獨立的閉環(huán)機制拓展到完整的宏觀數(shù)據(jù)質量管理體系。銀監(jiān)會于2011年發(fā)布銀行監(jiān)管統(tǒng)計數(shù)據(jù)質量管理良好標準，該標準以數(shù)據(jù)質量為目標涵蓋組織、制度、系統(tǒng)和流程建設，是銀行開展全面數(shù)據(jù)質量管理的有益參考。
六、結束語
本文著重關注數(shù)據(jù)質量的管理方法和實踐，充分結合內外部因素分析了銀行實際需求以及國內外數(shù)據(jù)質量管理先進經驗，并深入討論了需求定義、管理策略、剖析方法等內容，提出了適合于銀行業(yè)的數(shù)據(jù)質量管理方法。該方法用于指導銀行數(shù)據(jù)質量管理實踐，并在實踐中不斷完善和優(yōu)化。在此基礎上，本文還討論了數(shù)據(jù)質量管理相關人員能力和技術要求，以及廣義范圍的信息質量管理內容。
數(shù)據(jù)管理方法是以解決數(shù)據(jù)質量需求為目標，實際數(shù)據(jù)質量的保障需要整體的數(shù)據(jù)管理能力，以及數(shù)據(jù)應用水平的提高。管理和應用的充分結合，涉及管理理論和數(shù)據(jù)價值實現(xiàn)的多項研究內容，這寫是本文后續(xù)將深入研究的內容。此外，數(shù)據(jù)管理方法在銀行實踐中的深化，研究量化評價準則以配合數(shù)據(jù)質量從主動管理到量化管理發(fā)展也是重要的研究方向。
（部分內容來源網絡，如有侵權請聯(lián)系刪除）
