數據質量管理制度設置考核 KPI,通過專項考核計分的方式對企業各業務域、各部門的數據質量管理情況進行評估。以數據質量的評估結果為依據,將問題數據歸結到相應的分類,并按所在分類的權值進行量化。總結發生數據質量問題的規律,利用數據質量管理工具定期對數據質量進行監控和測量,及時發現存在的數據質量問題,并督促落實改正。
數據質量管理制度的作用在于約束各方加強數據質量意識,督促各方在日常工作中重視數據質量,在發現問題時能夠追根溯源、主動解決。?
數據質量管理策略之事中控制
數據質量管理的事中控制是指在數據的維護和使用過程中監控和管理數據質量。通過建立數據質量的流程化控制體系,對數據的創建、變更、采集、清洗、轉換、裝載、分析等各個環節的數據質量進行控制。

一、加強數據源頭的控制
“問渠那得清如許,為有源頭活水來。”了解數據的來源對于企業的數據質量至關重要,從數據的源頭控制好數據質量,讓數據“規范化輸入、標準化輸出”是解決企業數據質量問題的關鍵所在。企業可以考慮從以下幾個方面做好源頭數據質量的管理。
1、維護好數據字典
數據字典是記錄標準數據、確保數據質量的重要工具。數據會隨著時間累積,如果數據積累在電子表格等非正式數據系統中,那么這些寶貴的數據就可能會存在一定的風險,例如可能會隨著關鍵員工的離職而丟失。通過建立企業級數據字典對企業的關鍵數據進行有效標識,并清晰、準確地對每個數據元素進行定義,可以消除不同部門、不同人員對數據可能的誤解,并讓企業在 IT 項目上節省大量時間和成本。
2、自動化數據輸入
數據質量差的一個根本原因是人為因素,手動輸入數據,很難避免數據錯誤。因此,企業應該考慮自動化輸入數據,以減少人為錯誤。一個方案,只要系統可以自動執行某些操作就值得實施,例如,根據關鍵字自動匹配客戶信息并自動帶入表單。
3、自動化數據校驗
對于疾病,預防比治療更容易,
數據治理也一樣。我們可以通過預設的數據質量規則對輸入的數據進行自動化校驗,對于不符合質量規則的數據進行提醒或拒絕保存。數據質量校驗規則包括但不限于以下幾類。
● 數據類型正確性:數字、整數、文本、日期、參照、附件等。
● 數據去重校驗:完全重復的數據項、疑似重復的數據項等。
● 數據域值范圍:最大值、最小值、可接受的值、不可接受的值。
● 數據分類規則:用來確定數據屬于某個分類的規則,確保正確歸類。
● 單位是否正確:確保使用正確的計量單位。
4、人工干預審核
數據質量審核是從源頭上控制數據質量的重要手段,采用流程驅動的數據管理模式,控制數據的新增和變更,每個操作都需要人工進行審核,只有審核通過數據才能生效。例如:供應商
主數據發生新增或變更,就可以采用人工審核的方式來控制數據質量。
二、加強流轉過程的控制
數據質量問題不止發生在源頭,如果以最終用戶為終點,那么
數據采集、存儲、傳輸、處理、分析中的每一個環節都有可能出現數據質量問題。所以,要對數據全生命周期中的各個過程都做好數據質量的全面預防。數據流轉過程的質量控制策略如下。
1、數據采集
在數據采集階段,可采用以下質量控制策略:
● 明確數據采集需求并形成確認單;
● 數據采集過程和模型的標準化;
● 數據源提供準確、及時、完整的數據;
● 將數據的新增和更改以消息的方式及時廣播到其他應用程序;
● 確保數據采集的詳細程度或粒度滿足業務的需要;
● 定義采集數據的每個數據元的可接受值域范圍;
● 確保數據采集工具、采集方法、采集流程已通過驗證。
2、
數據存儲
在數據存儲階段,可采用以下質量控制策略:
● 選擇適當的數據庫系統,設計合理的數據表;
● 將數據以適當的顆粒度進行存儲;
● 建立適當的數據保留時間表;
● 建立適當的數據所有權和查詢權限;
● 明確訪問和查詢數據的準則和方法。
3、數據傳輸
在數據傳輸階段,可采用以下質量控制策略:
● 明確數據傳輸邊界或數據傳輸限制;
● 保證數據傳輸的及時性、完整性、安全性;
● 保證數據傳輸過程的可靠性,確保傳輸過程數據不會被篡改;
● 明確數據傳輸技術和工具對數據質量的影響。
4、數據處理
在數據處理階段,可采用以下質量控制策略:
● 合理處理數據,確保數據處理符合業務目標;
● 重復值的處理;
● 缺失值的處理;
● 異常值的處理;
● 不一致數據的處理。
5、
數據分析
● 確保數據分析的算法、公式和分析系統有效且準確;
● 確保要分析的數據完整且有效;
● 在可重現的情況下分析數據;
● 基于適當的顆粒度分析數據;
● 顯示適當的數據比較和關系。
● 事中控制的相關策略
(部分內容來源網絡,如有侵權請聯系刪除)