現(xiàn)代商業(yè)銀行日常經(jīng)營活動中積累了大量數(shù)據(jù),這些數(shù)據(jù)除了支持銀行前臺業(yè)務流程運轉(zhuǎn)之外,越來越多地被用于決策支持領(lǐng)域,風險控制、產(chǎn)品定價、績效考核等管理決策過程也都需要大量高質(zhì)量數(shù)據(jù)支持。銀行日常經(jīng)營決策過程的背后,實質(zhì)是數(shù)據(jù)的生產(chǎn)、傳遞和利用過程。
此外,日益全面的和嚴格的監(jiān)管措施和信息披露要求,也對銀行數(shù)據(jù)提出了前所未有的挑戰(zhàn)。如果不能對這些數(shù)據(jù)進行有效管理,其價值就得不到很好體現(xiàn),甚至會給運營管理帶來負面作用,具體表現(xiàn)為:
一是缺乏統(tǒng)一
數(shù)據(jù)標準,難以建立全面、準確、完整地反映企業(yè)運營狀況的單一數(shù)據(jù)視圖,難以做到數(shù)據(jù)的邏輯整合而不僅僅是物理集中;
二是缺乏規(guī)范的數(shù)據(jù)質(zhì)量治理流程和考核機制,不能及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,或缺乏有效解決途徑;
三是對
數(shù)據(jù)采集、分布、流轉(zhuǎn)及應用的規(guī)劃存在不合理現(xiàn)象,數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、
數(shù)據(jù)應用等問題的管理和解決分散在不同業(yè)務和技術(shù)部門,沒有一個清晰的協(xié)調(diào)機制和統(tǒng)一的報告渠道,業(yè)務不能及時、按需獲得數(shù)據(jù)支持;
四是缺乏有效的數(shù)據(jù)安全管理機制,對敏感信息的訪問缺乏有效控制,對銀行形成潛在的聲譽和法律風險等。為使這些數(shù)據(jù)“包袱”變成“金礦”,
數(shù)據(jù)治理體系的構(gòu)建就變得尤為重要和迫切。
01 數(shù)據(jù)治理體系簡介
數(shù)據(jù)治理是為滿足企業(yè)內(nèi)部信息需求,提升企業(yè)信息服務水準而制定的相關(guān)流程、政策、標準以及相關(guān)技術(shù)手段,用于保證信息的可用性、可獲取性、高質(zhì)量、一致性以及安全性。數(shù)據(jù)治理體系建設的目的,是建立數(shù)據(jù)擁有者、使用者、數(shù)據(jù)以及支撐系統(tǒng)之間的和諧互補關(guān)系,從全企業(yè)視角協(xié)調(diào)、統(tǒng)領(lǐng)各個層面的數(shù)據(jù)管理工作,確保內(nèi)部各類人員能夠得到及時、準確的數(shù)據(jù)支持和服務。通常認為,數(shù)據(jù)治理至少應當涵蓋如下功能域:數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)標準管理數(shù)據(jù)安全管理和主數(shù)據(jù)管理,現(xiàn)對上述功能域說明如下:
1.數(shù)據(jù)質(zhì)量管理
對支持業(yè)務需求的數(shù)據(jù)進行全面質(zhì)量管理,通過數(shù)據(jù)質(zhì)量相關(guān)管理辦法、組織、流程、評價考核規(guī)則的制定,及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題,提升數(shù)據(jù)的完整性、及時性、準確性及一致性,提升業(yè)務價值。
2.元數(shù)據(jù)管理
元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù),即對數(shù)據(jù)的描述信息。根據(jù)其屬性的不同,元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)和業(yè)務元數(shù)據(jù)。元數(shù)據(jù)管理是元數(shù)據(jù)的定義、收集、管理和發(fā)布的方法、工具及流程的集合,通過完成對相關(guān)業(yè)務元數(shù)據(jù)及技術(shù)元數(shù)據(jù)的集成及應用,提供數(shù)據(jù)路徑、數(shù)據(jù)歸屬信息,并對業(yè)務術(shù)語、文檔進行集中管理,借助變更報告、影響分析以及業(yè)務術(shù)語管理等應用, 以此保證數(shù)據(jù)的完整性、控制數(shù)據(jù)質(zhì)量、減少業(yè)務術(shù)語歧義和建立業(yè)務人員之間、技術(shù)人員之間,以及雙方的溝通平臺。
3.數(shù)據(jù)標準管理
通過建立一整套數(shù)據(jù)規(guī)范、管控流程和技術(shù)工具來確保銀行各種重要信息,包括產(chǎn)品、客戶、機構(gòu)、賬戶等信息在全行內(nèi)外使用和交換的一致和準確。數(shù)據(jù)標準可分為技術(shù)標準和業(yè)務標準。
4.數(shù)據(jù)安全管理
通過建立對數(shù)據(jù)及相關(guān)信息系統(tǒng)進行保護的一系列措施, 確保數(shù)據(jù)免遭未經(jīng)授權(quán)的訪問、使用、修改或刪除,保證數(shù)據(jù)完整性、保密性和可用性,具體可分為管理和技術(shù)兩大類措施。
5.主數(shù)據(jù)管理
主數(shù)據(jù)指描述核心業(yè)務實體的數(shù)據(jù),如客戶、機構(gòu)、員工、產(chǎn)品等。這些數(shù)據(jù)變化相對緩慢并通常在企業(yè)內(nèi)跨業(yè)務重復使用。主數(shù)據(jù)管理適用于管理、協(xié)調(diào)、監(jiān)控與企業(yè)主要業(yè)務實體相關(guān)聯(lián)的主數(shù)據(jù)的一系列規(guī)則、技術(shù)、應用、策略和程序。
02 數(shù)據(jù)質(zhì)量管理簡介
業(yè)界普遍認可的數(shù)據(jù)質(zhì)量定義為數(shù)據(jù)對其期望目的的適合度,即數(shù)據(jù)質(zhì)量管理生命周期及其相關(guān)的數(shù)據(jù)質(zhì)量管理流程,都要為確保數(shù)據(jù)滿足其自身預期目標提供相應的方法和手段。
(一)數(shù)據(jù)質(zhì)量管理基礎和問題分類
下列要素是進行數(shù)據(jù)質(zhì)量管理的基礎:
1.數(shù)據(jù)質(zhì)量的好壞是由用戶以及數(shù)據(jù)使用價值所決定的。
2.數(shù)據(jù)質(zhì)量的好壞代表著數(shù)據(jù)在數(shù)據(jù)知識應用中、數(shù)據(jù)所存在的系統(tǒng)中以及數(shù)據(jù)使用過程中被應用或者有價值的程度。
3.只有當數(shù)據(jù)被下游過程(系統(tǒng)或用戶)所接收并使用時,數(shù)據(jù)質(zhì)量問題的研討才有意義。
4.數(shù)據(jù)是持續(xù)變更的,數(shù)據(jù)質(zhì)量管理是一個持續(xù)過程而不是一次性活動。
銀行關(guān)注的常見數(shù)據(jù)質(zhì)量問題可以歸成如下7類:
1.定義缺失,指缺少關(guān)鍵業(yè)務元素定義,導致對同一字段的理解偏差。例如,
什么是“一個客戶”,不同業(yè)務有不同理解,通常風險應用將組織機構(gòu)號作為對公客戶的“身份證”,一個組織機構(gòu)號代表一個客戶;而核心系統(tǒng)對客戶號的分配較為隨意,允許一個組織機構(gòu)號下存在多個客戶號。
2.數(shù)據(jù)異常,指系統(tǒng)的個別字段出現(xiàn)了異常信息,包括取值錯誤,格式錯誤、多余字符、亂碼等。
3.信息缺失或不準確,指在系統(tǒng)表中已經(jīng)設計了某些字段,但在使用過程中, 很多記錄卻沒有收集這些字段的信息,或存在信息收集不準確、信息重復登記等情況。信息缺失或不準確通常在客戶信息方面最為嚴重。
4.系統(tǒng)之間數(shù)據(jù)不一致,主要體現(xiàn)在兩個方面:
(1)系統(tǒng)間數(shù)據(jù)維護不一致。為了滿足各個系統(tǒng)內(nèi)部邏輯、提高訪問效率和減少數(shù)據(jù)傳輸,相同信息可能在不同系統(tǒng)進行冗余存放。但冗余存放的數(shù)據(jù)如果不進行同步或及時的數(shù)據(jù)維護,則必會導致這些數(shù)據(jù)的不一致。例如,銀行通常存在核心系統(tǒng)與信貸系統(tǒng)數(shù)據(jù)不一致的問題。
(2)系統(tǒng)之間數(shù)據(jù)同步時效性造成的不一致。典型案例如下:由于某些銀行的貸記卡系統(tǒng)是外包系統(tǒng),因此總賬系統(tǒng)在 T+1 日才能取到貸記卡 T 日的數(shù)據(jù),但是其他系統(tǒng)的科目余額缺失 T+1 日的數(shù)據(jù),于是此種同步時效性的差異就導致了系統(tǒng)之間數(shù)據(jù)不一致。
5.數(shù)據(jù)完整性問題。數(shù)據(jù)完整性問題主要體現(xiàn)在兩個方面:(1)參照完整性,是指一個表 A的外鍵不包含無效的鍵值,例如,借據(jù)表中記錄了合同號,但是在合同表中無法找到相關(guān)記錄;(2)數(shù)據(jù)含義沖突,如某些賬戶,從賬戶屬性、存期等字段看,應是通知存款產(chǎn)品,但從科目看,又是普通定期產(chǎn)品。
6.數(shù)據(jù)生命周期問題。銀行中的關(guān)鍵數(shù)據(jù),例如,賬戶、客戶、產(chǎn)品信息等, 都有若干日期字段記錄其生命周期,這些日期字段包括創(chuàng)建/開戶日期、關(guān)閉/
銷戶日期、最后交易日期和最后修改日期等,但是在業(yè)務系統(tǒng)中往往存在修改了記錄狀態(tài)卻并未同步更新相關(guān)日期字段的情況。此外,還有一個違反合理數(shù)據(jù)生命周期的常見做法,就是直接在物理上刪除記錄。
7.代碼問題。包括三個與代碼相關(guān)的問題:
(1)代碼不統(tǒng)一問題,即不同應用之間相同用途代碼的編碼不一致;
(2)未代碼化問題,即常見情況使用文字存儲,而非將信息代碼化,很多時候會發(fā)現(xiàn)信息存儲的不少,但卻不便于分析使用。
(3)意外代碼,即實際數(shù)據(jù)中出現(xiàn)了未定義的代碼值。
(二)數(shù)據(jù)質(zhì)量管理方法論
圖 1 描述了權(quán)威人士普遍認可的數(shù)據(jù)質(zhì)量管理方法論,共分六步。

圖1? 數(shù)據(jù)質(zhì)量提升步驟圖
第一步:定義及驗證
首先,從技術(shù)和業(yè)務兩個層面對數(shù)據(jù)應當滿足的質(zhì)量目標進行定義。表1列出了一系列數(shù)據(jù)質(zhì)量度量標準,但最終的定義應當以更規(guī)范的形式進行描述。例如,屬性 X的缺失率不超過2%。其次,對于派生數(shù)據(jù),其源數(shù)據(jù)和轉(zhuǎn)換的規(guī)則必須詳細說明。最后,上面描述的定義和規(guī)則將作為數(shù)據(jù)質(zhì)量評估計劃的輸入源。數(shù)據(jù)質(zhì)量評估計劃主要用來驗證定義和規(guī)則的正確性,并且這個計劃將詳細描述數(shù)據(jù)必須滿足的、適合它預期用途的屬性,即它定義了數(shù)據(jù)質(zhì)量。這個計劃還將指導初始的數(shù)據(jù)度量,通常也成為數(shù)據(jù)剖析。
表1 數(shù)據(jù)質(zhì)量度量標準
|
Accuracy 正確性
|
Completeness 完整性
|
|
Consistency ?一致性
|
Continuity 連續(xù)性
|
|
Precedence 先后順序
|
Precision 精確度
|
|
Granularity 數(shù)據(jù)粒度
|
Currency 當前性
|
|
Duration ?數(shù)據(jù)時間跨度
|
Retention 數(shù)據(jù)保存周期
|
|
Identity 唯一性
|
Reference 參照完整性
|
|
Cardinality 數(shù)據(jù)對應關(guān)系
|
Inheritance 繼承關(guān)系
|
|
Value ?Set 數(shù)值集合
|
Relationship 依賴關(guān)系
|
第二步:影響分析與共性分析
完成數(shù)據(jù)質(zhì)量目標定義后,需要評估一個特定的數(shù)據(jù)質(zhì)量問題在預期的數(shù)據(jù)使用適合性方面帶來的影響,并根據(jù)影響分析結(jié)果可以確定數(shù)據(jù)質(zhì)量問題的重要性與優(yōu)先級別。
所謂共性分析就是分析錯誤具有的共性,我們期望一次可以將許多錯誤歸結(jié)到某類共同原因。這個分析將為下一步追蹤根本原因做好準備。
第三步:追蹤根本原因
圖 2 所示魚骨圖是一個眾所周知的用于鑒別數(shù)據(jù)質(zhì)量背后根本原因的工具,它反映了需要達到的和實際的數(shù)據(jù)質(zhì)量之間的差距原因,通常是信息、流程、技術(shù)、人員等因素所導致。
第四步:預防/修復數(shù)據(jù)質(zhì)量問題
圖 3 描述了在追蹤數(shù)據(jù)質(zhì)量問題的根本原因時可用到的選擇。每一個選擇都有相關(guān)的優(yōu)點和弱點。
1.導致數(shù)據(jù)質(zhì)量問題的根本原因,最常見的有人員、流程、業(yè)務系統(tǒng)前端、業(yè)務系統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)抽取和加載過程等方面處理不當,這些因素都有可能產(chǎn)生數(shù)據(jù)質(zhì)量問題。對于圖3前三項(人員、流程、業(yè)務系統(tǒng)前端),重點在于預防,對于后三項(業(yè)務系統(tǒng)數(shù)據(jù)庫,抽取、加載),則通常通過修復的手段來解決。
2.每類數(shù)據(jù)質(zhì)量問題的預防/修復都有有利和不利的一面,比如,由于人員產(chǎn)生的質(zhì)量問題,有利方面是可以再源頭預防,不利方面在于人員往往會疏于管理、容易遺忘以及不同人員的差異性、專注點不同,這些都會不可避免地產(chǎn)生一定的數(shù)據(jù)質(zhì)量問題。

圖2 數(shù)據(jù)質(zhì)量根本原因圖
3.涉及的數(shù)據(jù)量。通常數(shù)據(jù)質(zhì)量問題需要修復的數(shù)據(jù)量有大致規(guī)律,如人員、流程、前端應用產(chǎn)生的質(zhì)量問題需要修復的數(shù)據(jù)量往往不大,而數(shù)據(jù)庫處理、數(shù)據(jù)抽取和加載等后臺環(huán)節(jié)導致的數(shù)據(jù)質(zhì)量問題通常設計的數(shù)據(jù)量較大。對于已經(jīng)發(fā)生的數(shù)據(jù)質(zhì)量問題,只能通過修復措施解決,但是從長遠來看,重視預防措施, 在源頭控制錯誤的產(chǎn)生更為重要。

圖 3 預防/修復數(shù)據(jù)質(zhì)量問題圖
第五步:趨勢監(jiān)控
一個已知的數(shù)據(jù)質(zhì)量問題被修復后并不意味著這個特定問題就被永遠解決了。如果沒有有效地預防措施,錯誤仍有可能再現(xiàn)。因此,對重要數(shù)據(jù)質(zhì)量問題應當持續(xù)監(jiān)控。圖 4 所示控制圖經(jīng)常被用來做質(zhì)量問題監(jiān)控,當錯誤的個數(shù)在一定范圍之內(nèi)浮動時,質(zhì)量問題被認為處于可控狀態(tài)。

圖 4 數(shù)據(jù)質(zhì)量趨勢監(jiān)控圖
第六步:識別和研究偏差
監(jiān)控流程來識別問題。例如,當一個已知數(shù)據(jù)的質(zhì)量超過了允許的控制范圍, 流程將需要從該分支返回到第三步再一次識別根本原因。

圖 5 識別和研究偏差圖
(三)數(shù)據(jù)質(zhì)量問題特征分析 根據(jù)數(shù)據(jù)質(zhì)量定義,數(shù)據(jù)的不同使用目的會導致不同的數(shù)據(jù)質(zhì)量要求,例如, 業(yè)務系統(tǒng)對數(shù)據(jù)的使用目的主要是為了保證業(yè)務流程的正常運轉(zhuǎn)和滿足一些簡單的統(tǒng)計功能,因此只要業(yè)務流程和統(tǒng)計正常,就可以認為數(shù)據(jù)質(zhì)量滿足要求;而分析型系統(tǒng)對數(shù)據(jù)的使用目的則多種多樣,而且涵蓋企業(yè)運營的方方面面,那么滿足業(yè)務流程正常運轉(zhuǎn)的需要并不一定就能保證滿足分析的需求,因此分析型應用的需求是決定數(shù)據(jù)質(zhì)量管理目標的主要因素。在這一前提下,對企業(yè)內(nèi)部數(shù)據(jù)流轉(zhuǎn)過程各環(huán)節(jié)中呈現(xiàn)出來的數(shù)據(jù)質(zhì)量問題特性作如下分析,如圖6所示,數(shù)據(jù)流轉(zhuǎn)過程被分成三個階段(環(huán)節(jié)):
1.數(shù)據(jù)生產(chǎn)環(huán)節(jié):企業(yè)內(nèi)部的原始數(shù)據(jù),絕大部分都產(chǎn)生自業(yè)務源系統(tǒng),很少量的增值數(shù)據(jù)(Value-addedata)產(chǎn)生于分析型系統(tǒng)。
2.數(shù)據(jù)集成環(huán)節(jié):在基礎數(shù)據(jù)平臺類系統(tǒng)(ODS/數(shù)據(jù)倉庫和數(shù)據(jù)集市)中,集成來自不同源系統(tǒng)的數(shù)據(jù),并按照數(shù)據(jù)模型整合。
3.數(shù)據(jù)使用環(huán)節(jié):由各類分析型應用組成,也包括隨機業(yè)務查詢、數(shù)據(jù)分析、數(shù)據(jù)挖掘等信息訪問手段。
從圖6中可以看到,數(shù)據(jù)質(zhì)量問題的產(chǎn)生主要在于數(shù)據(jù)產(chǎn)生環(huán)節(jié),其次在于數(shù)據(jù)集成環(huán)節(jié)的數(shù)據(jù)加工過程,而在數(shù)據(jù)使用環(huán)節(jié),由于原則上不再對數(shù)據(jù)作修改,因此基本上不產(chǎn)生數(shù)據(jù)質(zhì)量問題。

圖 6 數(shù)據(jù)質(zhì)量問題分析圖
數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)則不同,基本呈現(xiàn)出相反特征:一是業(yè)務源系統(tǒng)雖然是數(shù)據(jù)的主要產(chǎn)生環(huán)節(jié),但是通常只能發(fā)現(xiàn)業(yè)務流程相關(guān)的數(shù)據(jù)質(zhì)量問題,而且僅限于本系統(tǒng)內(nèi)部;二是數(shù)據(jù)集成環(huán)節(jié)由于是企業(yè)內(nèi)部數(shù)據(jù)的一個最主要會聚點,因此通常也是數(shù)據(jù)質(zhì)量問題暴露最多的環(huán)節(jié);三是數(shù)據(jù)使用環(huán)節(jié)是數(shù)據(jù)質(zhì)量問題頻繁暴露的另一個環(huán)節(jié),主要是因為對數(shù)據(jù)的使用決定了數(shù)據(jù)質(zhì)量問題的定義,所以很多質(zhì)量問題都是在使用時被首次發(fā)現(xiàn)。
基于數(shù)據(jù)質(zhì)量管理的關(guān)鍵環(huán)節(jié)和質(zhì)量問題特性,再結(jié)合業(yè)界事實數(shù)據(jù)質(zhì)量管理的最佳實踐,建議在不同流轉(zhuǎn)環(huán)節(jié)側(cè)重完成的功能點實現(xiàn)應如下:
1.數(shù)據(jù)產(chǎn)生環(huán)節(jié)。
修正——數(shù)據(jù)質(zhì)量問題必須在源頭得到修正,這是數(shù)據(jù)質(zhì)量管理的一項基本原則。預防——相對于修正,預防的意義更大,主要原因在于可以防止產(chǎn)生新的數(shù)據(jù)質(zhì)量問題。定義——由于數(shù)據(jù)質(zhì)量問題的定義主要取決于使用目的原則,因此數(shù)據(jù)質(zhì)量問題的定義主要應當結(jié)合數(shù)據(jù)使用環(huán)節(jié)來發(fā)起,但事實上常常都是基于源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)來進行定義。
2.數(shù)據(jù)集成環(huán)節(jié)。
檢查——技術(shù)數(shù)據(jù)平臺類系統(tǒng)作為銀行數(shù)據(jù)的主要會聚點,在此環(huán)節(jié)進行數(shù)據(jù)質(zhì)量問題檢查的效用最高。報告——對于數(shù)據(jù)質(zhì)量檢查結(jié)果,應當以報告形式展開,并通過一定的機制(自動工作流程或人工流程)通知相關(guān)的數(shù)據(jù)質(zhì)量問題責任人,如業(yè)務源系統(tǒng)項目組、業(yè)務部門、數(shù)據(jù)倉庫或應用項目組等。跟蹤——由于來自業(yè)務源系統(tǒng)的數(shù)據(jù)每天都會加載到基礎數(shù)據(jù)平臺類系統(tǒng)中,因此,基礎數(shù)據(jù)平臺類系統(tǒng)應當被利用來對數(shù)據(jù)質(zhì)量問題的解決進行跟蹤,并將跟蹤結(jié)果作為提升數(shù)據(jù)質(zhì)量問題治理成效的一個依據(jù)。
3.數(shù)據(jù)使用環(huán)節(jié)。
定義——如前所述,在數(shù)據(jù)使用環(huán)節(jié)就根據(jù)數(shù)據(jù)的使用目標來定義數(shù)據(jù)應當滿足的質(zhì)量標準,并作為日后上下游系統(tǒng)之間服務水平協(xié)議(Service LevelAgreement,SLA)的輸入接口。評估——作為數(shù)據(jù)的最終使用者,在使用環(huán)節(jié)應當對數(shù)據(jù)質(zhì)量治理的成效進行評估,并作為下一階段設定數(shù)據(jù)質(zhì)量管理目標的依據(jù)之一。
(四)數(shù)據(jù)質(zhì)量管理流程的關(guān)鍵點 數(shù)據(jù)質(zhì)量管理流程應當涵蓋從“數(shù)據(jù)產(chǎn)生”到“數(shù)據(jù)集成”再到“數(shù)據(jù)使用”在內(nèi)的全過程。為了在銀行全行范圍內(nèi)進行有效的數(shù)據(jù)質(zhì)量管理,數(shù)據(jù)質(zhì)量管理的不同功能點應恰當分布在個流程的相應環(huán)節(jié),在基礎數(shù)據(jù)平臺類系統(tǒng)上構(gòu)建
數(shù)據(jù)質(zhì)量管理系統(tǒng),并將源系統(tǒng)、相關(guān)應用以及相關(guān)科技和業(yè)務用戶都納入數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)——修正——跟蹤——評估的閉環(huán)流程當中,如此才是實施數(shù)據(jù)質(zhì)量管理的最佳選擇。此外,數(shù)據(jù)質(zhì)量管理成敗的關(guān)鍵在于合理有效的組織架構(gòu)和流程,而不是管理系統(tǒng)自身,因此應當更為重視數(shù)據(jù)質(zhì)量管理配套的組織架構(gòu)和管理流程建設。
在構(gòu)建數(shù)據(jù)質(zhì)量管理體系時,以下關(guān)鍵因素應當考慮:跨部門以上主管領(lǐng)導的重視和牽頭;負責解決數(shù)據(jù)質(zhì)量問題的專門和專業(yè)組織;負責解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一和專業(yè)流程;負責解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一平臺;負責偵測數(shù)據(jù)質(zhì)量問題的專業(yè)工具。
03 數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)治理體系的有機結(jié)合
數(shù)據(jù)質(zhì)量管理應當與整個企業(yè)級的數(shù)據(jù)治理體系有機結(jié)合,圖7 簡要說明了這些治理體系各主要組件之間的關(guān)系。
圖 7 反映的數(shù)據(jù)質(zhì)量管理相關(guān)治理組件的關(guān)系如下:

圖 7 數(shù)據(jù)治理主要組件之間的關(guān)系圖
1.數(shù)據(jù)標準是數(shù)據(jù)質(zhì)量管理進行質(zhì)量檢查的規(guī)則,因此數(shù)據(jù)與標準不相符,就是一個典型的數(shù)據(jù)質(zhì)量問題,通過部署數(shù)據(jù)質(zhì)量管理系統(tǒng),可以對數(shù)據(jù)標準的落地實施提供有效的監(jiān)控、檢驗和督促手段。
2.元數(shù)據(jù)管理系統(tǒng)可以作為數(shù)據(jù)質(zhì)量管理的一個輸入端,輔助數(shù)據(jù)質(zhì)量檢查 腳本的自動生成,而數(shù)據(jù)質(zhì)量管理系統(tǒng)中存儲的檢查規(guī)則等信息又是一項元數(shù)據(jù), 應當被元數(shù)據(jù)管理系統(tǒng)所采集。
3.數(shù)據(jù)安全管理中定義的數(shù)據(jù)所有者,是構(gòu)建數(shù)據(jù)質(zhì)量治理閉環(huán)流程和確定數(shù)據(jù)整改權(quán)責的重要依據(jù)。
(部分內(nèi)容來源網(wǎng)絡,如有侵權(quán)請聯(lián)系刪除)