日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

首頁 行業百科 如何做好數據質量管理?

如何做好數據質量管理?

|億信華辰大數據知識庫2022-07-06

如何做好數據質量管理?

數據問題的來源可能產生于從數據源頭到數據存儲介質的各個環節。在數據采集階段,數據的真實性、準確性、完整性、時效性都會影響數據質量。除此之外,數據的加工、存儲過程都有可能涉及對原始數據的修改,從而引發數據的質量問題。所以,技術、流程、管理等多方面的因素都有可能會影響到數據質量。

數據問題的來源可能產生于從數據源頭到數據存儲介質的各個環節。在數據采集階段,數據的真實性、準確性、完整性、時效性都會影響數據質量。除此之外,數據的加工、存儲過程都有可能涉及對原始數據的修改,從而引發數據的質量問題。所以,技術、流程、管理等多方面的因素都有可能會影響到數據質量。
一、數據質量與數據質量管理
1、數據質量
數據質量在業務環境下,數據符合數據消費者的使用目的,數據質量需要滿足業務場景具體的需求。數據質量包含兩個方面:數據自身的質量和數據的過程質量。
數據自身的質量很好理解,比如數據必須真實準確地反映實際發生的業務,任何業務操作的數據都沒有被遺漏,數據存在各種約束條件,這種約束條件不能自相矛盾等等。
數據的過程質量就是數據的使用過程符合標準規范,比如數據存儲:數據是否被安全的存儲到了合適的介質上,能夠保證數據不受外來因素的破壞。當然數據存儲只是數據使用過程的一個環節,除此之外還包括獲取、傳輸、應用和刪除等一系列的使用過程,這其實也是數據生命周期的各個階段。
2、數據質量管理
數據質量管理指對數據在每個階段里可能引發的各類數據質量問題進行識別、度量、監控、預警等一系列管理活動,并通過改善和提高組織的管理水平確保數據質量的提升。
換句話說,數據質量管理是一個集方法論、管理、技術和業務為一體的解決方案,不是一時的數據治理方法,是一個不斷循環的管理過程。一方面反映出企業數據很難一次性就達到使用的標準規范,畢竟數據治理是一個相對漫長的過程;另一方面也反映出數據質量的重要性以及數據質量工作的零散性和瑣碎性。
二、企業數據質量問題
1、數據準確性:準確性也叫可靠性,是用于分析和識別哪些是不準確的或無效的數據,不可靠的數據可能會導致嚴重的問題,會造成有缺陷的方法和糟糕的決策。
2、數據真實性:數據必須真實準確的反映客觀的實體存在或真實的業務,真實可靠的原始統計數據是企業統計工作的靈魂,是一切管理工作的基礎,是經營者進行正確經營決策必不可少的第一手資料。
3、數據完整性:數據完整性問題包括:模型設計不完整,例如:唯一性約束不完整、參照不完整;數據條目不完整,例如:數據記錄丟失或不可用;數據屬性不完整,例如:數據屬性空值。不完整的數據所能借鑒的價值就會大大降低,也是數據質量問題最為基礎和常見的一類問題。
4、數據唯一性:用于識別和度量重復數據、冗余數據。重復數據是導致業務無法協同、流程無法追溯的重要因素,也是數據治理需要解決的最基本的數據問題。
5、數據關聯性:數據關聯性問題是指存在數據關聯的數據關系缺失或錯誤,例如:函數關系、相關系數、主外鍵關系、索引關系等。存在數據關聯性問題,會直接影響數據分析的結果,進而影響管理決策。
6、數據及時性:數據的及時性(In-time)是指能否在需要的時候獲到數據,數據的及時性與企業的數據處理速度及效率有直接的關系,是影響業務處理和管理效率的關鍵指標。
7、數據一致性:多源數據的數據模型不一致,例如:命名不一致、數據結構不一致、約束規則不一致。數據實體不一致,例如:數據編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相同的數據有多個副本的情況下的數據不一致、數據內容沖突的問題。
三、數據質量管理方法
1、建立質量管控流程和規范
明確質量管控的角色、職責,建立可執行的工作流程、可量化的工作評估等關于數據質量管控辦法,同時也應具備績效考核、沖突解決與管控方式等。
2、執行管理工作
進行已知數據問題的評估,評估的范圍控制在本輪管控的目標范圍內。通過對數據進行剖析,發現數據問題,具體規則又可通過標準或業務調研進行提取。獲得已知數據問題后,就應設計數據質量控制操作程序。主要包括制定質量問題評估方式和整改方式、制定質量報告內容及對象以及制定檢查和監控的頻率及方式。根據剖析的質檢規則和控制操作程序,對數據質量需求進行定義。數據質量需求定義完畢之后,我們就需要確定在此需求下,目前數據質量的水平處于什么位置。明確反應質量水平的并最直觀的就是錯誤數據的詳情情況。問題找到后,針對根據不同的質量問題,進行不同的質量整改方案。比如:源頭修改、補錄、技術修復以及遺留問題管控等。
3、檢查數據質量
首先確定整改質量,對處理后的數據進行再次質檢,出具數據質量的報告;然后,對比處理前后效果,總結改進措施;最后,檢查數據質量是否合格,分析不合格原因并下一輪管控中進行技術上或者操作程序上的改進。
4、監控數據質量,控制管理程序和績效
根據既定的操作程序,對質量管控過程中各個環節參與者進行績效評估。還可以根據不同時期的重點制定不同的評分標準,有針對性的進行評價和管控,如整改初期數據缺失嚴重,則可對完整性規則權重調大,以期更快看到成效或者達到更好的效果。
四、主流數據質量管理工具
正所謂,工欲善其事,必先利其器。億信華辰睿治數據治理平臺的數據質量管理模塊以全面質量管理PDCA循環管理方法為指導,充分結合國內數據質量管理工作的特點,運用元數據管理、數據挖掘、數據分析、工作流、評分卡、可視化等技術最終幫助企業和政府建立數據質量管理體系,全面提升數據的完整性、規范性、及時性、一致性、邏輯性等,降低數據管理成本,減少因數據不可靠導致的決策偏差和損失。
認為本內容有幫助
0
您可能需要的數據產品
億信華辰助力政企數字化轉型
customer

在線咨詢

在線咨詢

點擊進入在線咨詢