- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2019-01-07來源:億信華辰瀏覽數:2126次
數據質量問題主要包含四個問題域:技術問題、信息問題、流程問題、管理問題。
1、技術問題
由于具體數據處理的各技術環節異常所造成的數據質量問題,它產生的直接原因是技術實現上的某種缺陷。技術類數據質量問題產生的環節主要包括:數據創建、數據獲取、數據傳遞、數據裝載、數據使用、數據維護等方面:
數據創建質量問題主要包括:創建數據默認值使用不當和數據錄入的校驗規則不當,導致指標統計結果不一致、數據無效、記錄重復等;
數據傳遞質量問題主要包括:接口數據及時率低、接口數據漏傳、網絡傳輸過程不可靠,如包丟失、文件傳輸方式錯誤、傳輸技術問題、協議使用不當導致的數據不完整等;
數據裝載質量問題主要包括:數據清洗算法、數據轉換算法和數據加載算法的錯誤;
2、信息問題
由于對數據本身的描述、理解及其度量標準的偏差而造成的數據質量問題。產生這類數據質量問題的原因主要有:元數據描述及理解錯誤、數據度量的各種性質得不到保證、變化頻度不恰當等。
元數據描述及理解錯誤中的相關元數據主要包括:
業務元數據——主要包括業務描述、業務規則、業務術語、業務指標口徑等;
技術元數據——主要包括接口規范、執行順序、依賴關系、ETL轉換、數據建模和工具等方面的內容。
數據度量和變化頻度提供了衡量數據質量好壞的手段。數據度量主要包括完整性、唯一性、一致性、準確性、合法性。變化頻度主要包括業務系統數據的變化周期和實體數據的刷新周期。
3、流程問題
由于系統作業流程和人工操作流程設置不當造成的數據質量問題,主要來源于系統數據的創建流程、傳遞流程、裝載流程、使用流程、維護流程等各環節:
創建流程質量問題主要指操作員數據錄入時缺乏審核流程;
傳遞流程質量問題主要指通信流程溝通不暢;
裝載流程質量問題主要指清洗流程缺乏/不當、調度流程邏輯錯誤、數據加載流程邏輯錯誤及數據轉換流程邏輯錯誤;
使用流程質量問題主要指數據使用流程缺乏流程管理;
維護流程質量問題主要指缺乏變更維護流程、缺乏錯誤數據維護流程、缺乏數據測試流程以及對人工后臺調整數據沒有嚴格的流程監控;
4、管理問題
由于人員素質及管理機制方面的 原因 造成的數據質量問題如:
數據庫設計原則不嚴謹,數據使用不規范導致的業務數據重復,數據不一致。
人員培訓所產生的質量問題主要指對數據質量相關人員缺少長期培訓計劃。
沒有建立管理數據質量的專門機構,出現數據質量問題后無專人負責
沒有明確的數據質量目標;
缺少管理數據質量的管理辦法等。
此對數據質量產品的問題進行了部分的描述,高質量的數據都是一致的,差質量的數據卻各有不同。可能因為行業的不同,數據的復雜程度不同,產生的問題也會各有差別。但都可以在四個問題域里找到對應的問題。所有這個總結,還是很全面的解釋了相關數據質量產生的相關問題。