1 范圍

本標準規定了XX公司數據質量管理內容、管理機制和工作流程。本標準適用于XX所有項目整個生命周期的數據質量管理，非項目可參照使用。

2 術語和定義

下列術語和定義適用于本文件。

數據質量data quality

客觀反映業務數據固有特性的程度。

注：“固有的”?(其反義是“賦予的”)就是指在某事或某物中本來就有的，尤其是永久的特性。

數據質量管理?data quality management

對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數據質量問題，進行識別、監控、預警、處理等一系列管理活動，并通過改善和提高管理水平使得數據質量獲得進一步提高。

技術評估?technology assessment

科技主管部門對已審批的業務需求，組織相關部門和人員進行技術可行性評估，并作出評估結論的活動。

數據質量監控?data quality control

獲取業務各環節的數據質量信息，結合有關檢查規則和采集規則，對數據質量情況進行診斷，并及時向數據質量管理實施部門報告的活動。

數據質量評估?data quality assessment

由數據質量管理實施部門根據需要發起，得到評估結果并作為依據評估指標和評估方法進行評價，數據質量改進的參考和依據。

數據質量報告?data quality report

對數據質量日常監控以及質量評估等過程累積的各種信息進行匯總、梳理、統計和分析，形成統計報告的過程。

數據質量知識?data quality knowledge

在數據質量管理活動中獲取的有關數據質量問題處理的經驗和成果。

3 數據質量管理內容與評價原則

3.1管理目標與內容 數據質量管理目標

數據質量分為絕對質量和過程質量，絕對質量是指業務數據的真實性、完備性和自洽性，過程質量指業務數據的使用質量、存儲質量和傳輸質量。數據質量管理目標包括：

a)建立穩定運行的數據質量測控體系，及時發現并改正數據質量問題；

b)建立可靠的數據質量評估流程，判斷改進趨勢,衡量數據質量改進效果；

c)建立一套改進、提升數據質量的管理機制。

數據質量管理內容

數據質量管理內容包括：

a)制定、修訂數據質量管理遵循的標準；

b)確立、修訂數據質量管理工作流程、優化部門協同機制；

c)制定數據質量管理決策機制；

d)監督日常數據質量管理的有序進行；

e)數據質量的核查。

數據質量影響要素

數據質量影響要素包括：

a)信息類要素：由于對數據本身的描述、理解及其度量標準偏差而造成數據質量問題的影響要素；b)技術類要素：由于具體數據處理的各技術環節異常而造成數據質量問題的影響要素，技術實現上的某種缺陷是其產生的主要原因；c)流程類要素：由于系統作業流程和人工操作流程設置不當造成數據質量問題的影響要素；d)管理類要素：指由于人員素質及管理機制方面的原因造成數據質量問題的影響要素。

3.2 數據質量評價原則

數據質量評價原則包括：

a)完整性：數據是充分的，任何有關操作的數據都沒有被遺漏。主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失；

b)唯一性：數據值被約束成一組獨特的條目，每個值都是唯一的。主要包括主鍵唯一和候選鍵唯一；

c)準確性 ：數據必須真實準確的反映實際發生的業務；

d)精確性：計量誤差、度量單位等方面的精確度應符合業務需求；

e)一致性：描述數據結構、數據值和他們的相互關系符合邏輯規則的程度。如統一數據來源、統一存儲和統一數據口徑；

f)及時性：數據更新、修改和提取等的快速性程度，應符合業務需求；

g)合規性：數據格式、類型、域值和業務規則的有效性。

4 相關部門職責?

4.1概述

相關部門包括以下部門：業務主管部門、技術主管部門、技術承辦單位和數據質量管理實施部門。

4.2業務主管部門職責

主要職責包括：

a)對于擬開發的應用項目，對相關業務提出數據質量約束性需求；

b)對于在開發的應用項目，從業務角度提供數據質量檢測方法和驗收標準；

c)對于已運行的應用項目，根據應用狀況提出數據質量問題和改進建議；

d)受理與本部門業務相關的數據質量管理協同通告，并作出處理反饋。

4.3技術主管部門職責

技術主管部門是數據質量的主管部門，主要職責包括：

a)組織制定、頒布數據質量管理、保障、控制和維護流程；

b)組織制定、頒布數據質量管理和技術相關標準；

c)監督數據質量問題處理的整個流程并對數據質量的監控結果進行評估；

d)組織、協調相關部門，解決數據質量管理活動中的異常問題；

e)受理、審批數據質量需求變更；

f)針對已處理的數據質量問題發起處理效能評估；

g)數據質量管理其他有關事項。

4.3技術承辦單位職責

主要職責包括：

a)協助數據質量管理實施部門解決業務應用系統數據質量問題；

b)協助業務主管部門提出數據質量管理的業務需求；

c)協助數據質量管理實施部門處理數據質量需求變更評估。

4.4數據質量管理實施部門職責

受技術主管部門委托，負責數據質量管理的具體實施。主要職責包括：

a)監控數據質量問題；

b)提出數據質量問題改進建議；

c)依據數據質量管理處理流程，負責數據質量管理系統運維；

d)處理數據質量監控系統告警，并向相關部門通告數據質量問題；

e)經主管部門授權后，負責組織解決相關的數據質量問題；

f)組織處理數據質量需求變更的評估；

g)形成報告并報技術主管部門；

h)協助業務主管部門提出數據質量管理的業務需求。

5 數據質量管理工作流程

工作流程圖

數據質量管理流程工作流程見圖?1。

圖?1：數據質量管理流程工作流程

注：圖中虛線表示為可選流程。

關鍵環節說明

業務需求提出

業務主管部門依據業務工作的實際情況，向技術主管部門提出相關業務系統的業務需求。需求提出過程中，技術承辦部門和數據管理實施部門應協助業務主管部門，就特定業務應用系統，歸納并提出業務需求。

業務需求審批

技術主管部門在受理業務主管部門提交的業務需要后，應對業務需求在規定時限內進行審批，并將審批意見告知業務需求提出部門。

技術評估

對于審批通過的業務需求，數據質量管理實施部門應在規定時限內，組織相關部門和人員，對業務需求進行技術評估，并給出評估結論。

技術承辦單位，應協助科技主管部門開展業務需求的技術評估。

系統設計開發

技術承辦單位對已完成技術評估的業務需求，應依據業務需求組織并實施應用系統的設計與開發。

測試驗收

對于技術承辦單位已完成開發的應用系統，其業務主管部門應在規定時限內組織測試與驗收。

技術承辦單位和數據質量管理實施部門應協助業務主管部門，完成測試與驗收。

系統上線運維

對業務主管部門已驗收的應用系統，數據質量管理實施部門應組織實施應用系統的上線和日常運維工作。

技術承辦單位應協助、配合數據質量管理實施部門開展應用系統的上線工作。

數據質量監控

對已上線的應用系統，數據質量管理實施部門應利用數據質量管理系統，開展數據質量監控，并定期提供數據質量監控報告。

告警分析與問題通告

在數據質量監控過程中產生的告警信息，數據質量管理實施部門應在規定的時限內開展告警信息分析，并對告警產生的原因作出判定。

對于一般性告警信息，數據質量管理實施部門可直接按照操作規程給予處理，如：系統斷電等原因產生的告警；對于嚴重告警信息，應將告警產生的問題通告技術主管部門和相關業務部門。

注：一般性告警是指系統運行環境異常或操作失誤等導致的、具有偶發性、在短期內恢復且不產生嚴重后果的數據質量監控告警。

問題處理授權

技術主管部門在受理數據質量管理實施部門通告的數據質量問題后，應組織協調問題所涉及的相關部門，協同確認并授權數據質量管理實施部門解決問題。

問題解決

數據質量管理實施部門在獲得授權后，應組織開展解決問題的工作并予以完成。

技術承辦單位應協助數據質量管理實施部門解決問題的工作。

處理結果確認

對已處理的數據質量問題，數據質量管理實施部門應將問題處理結果在規定時限內通告技術主管部門、業務主管部門和技術承辦單位。

處理結果反饋

各相關部門收到數據質量問題處理結果后，應在規定時限內對問題處理結果給予確認，并將確認結果和建議反饋數據質量管理實施部門和其他相關部門。

數據質量管理報告

數據質量管理實施部門應定期編寫數據質量監控報告，歸檔備查。

數據質量問題處理解決后應編寫數據質量問題分析報告，報送相關部門。

對數據質量監控報告和問題分析報告進行總結，編寫數據質量定期總結報告，報送相關部門。

6?數據管理管理活動

數據質量管理活動主要如下：

數據資源變更管理

數據資源變更會引起系統內部和系統外部的數據質量問題。數據資源變更管理主要是利用元數據管理的分析功能對系統變更信息進行影響評估，并將變更信息及時告知數據質量管理相關部門，協同各部門完成數據資源變更處理工作，避免變更引起的數據質量問題。

數據質量監控

數據質量管理業務應在HG業務系統數據處理相關環節采集數據，供數據質量監控分析使用并存檔。

數據質量分析

根據監控數據對象性質的不同，采用多種定性或定量預警分析方法進行數據質量評價。

告警管理

根據告警所反映的數據質量現象的嚴重程度、影響范圍，設定嚴重性程度不同的告警級別。每一級別告警信息的發送都應具備多種送達手段。從數據采集、預警分析到告警生成，每個階段都需進行程序化管理。

數據質量問題處理

指對數據質量管理中產生的各類問題進行分析，并根據分析結果，方法進行處理，選擇適當的方式、并根據處理效果歸納總結的處理過程。關鍵環節包括：問題發現、問題分析、問題通告、問題解決指派、問題處理方法設計、審評、實施和問題總結。

數據質量評估

指利用各種評估方法（如：直接評估法和間接評估法），根據數據質量問題影響程度的不同，以評估報告等形式，對數據質量的給以評價和改進建議。

數據質量報告

數據質量報告是對數據資源變更管理、數據監控、數據質量分析、問題處理以及數據質量評估等過程積累的各種信息進行匯總、梳理、統計和分析，形成統計報告的過程。數據質量報告的發布具有一定的時效性。用戶應在所賦權限范圍內查看質量報告，防止信息泄露。數據質量報告的歸檔要求將相關報告按照分類,作為后續數據質量問題處理和分析的參照。

數據質量知識管理

歷史數據質量知識的積累為數據質量問題的解決提供參考方法。數據質量知識主要來源于對數據質量問題的記錄與總結，以及對問題解決過程自身的知識評價。數據質量知識的產生與利用過程是一個互相促進改良的過程，為數據質量管理的其他活動提供重要的支撐。