日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

首頁 行業百科 數據質量管理方法有哪些?

數據質量管理方法有哪些?

|億信華辰大數據知識庫2022-07-13

數據質量管理方法有哪些?

數據的過程質量就是數據的使用過程符合標準規范,比如數據存儲:數據是否被安全的存儲到了合適的介質上,能夠保證數據不受外來因素的破壞。當然數據存儲只是數據使用過程的一個環節,除此之外還包括獲取、傳輸、應用和刪除等一系列的使用過程,這其實也是數據生命周期的各個階段。

一、什么是數據質量管理?
1、數據質量
數據質量在業務環境下,數據符合數據消費者的使用目的,數據質量需要滿足業務場景具體的需求。數據質量包含兩個方面:數據的過程質量和數據自身的質量。
數據的過程質量就是數據的使用過程符合標準規范,比如數據存儲:數據是否被安全的存儲到了合適的介質上,能夠保證數據不受外來因素的破壞。當然數據存儲只是數據使用過程的一個環節,除此之外還包括獲取、傳輸、應用和刪除等一系列的使用過程,這其實也是數據生命周期的各個階段。
數據自身的質量很好理解,比如數據必須真實準確地反映實際發生的業務,任何業務操作的數據都沒有被遺漏,數據存在各種約束條件,這種約束條件不能自相矛盾等等。
2、數據質量管理
數據質量管理是指對數據從產生、獲取、存儲、共享、維護、應用等各個階段可能引發的各類數據質量問題,進行識別、度量、監控、預警等一系列管理活動,并通過改善和提高組織的管理水平使數據質量獲得進一步提高。


二、數據質量評估維度

1、規范性:數據是規范統一的。例如時間信息都以yyyy-mm-dd格式存儲。
2、完整性:數據是完整不缺失的。例如人員信息完整涵蓋性別、年齡等。
3、準確性:數據是準確合理的。例如年齡在合理范圍內。
4、一致性:同源或跨源的數據是一致不沖突的。例如同一個人在不同源取過來的性別都是一致的。
5、關聯性:數據的關聯是不缺失的。例如兩張表建立的關聯關系存在,不丟失數據。
6、唯一性:數據是唯一不重復的。例如同一個ID沒有重復記錄。


三、數據質量影響因素

1、主觀因素:在數據各環節處理中,由于人員素質低和管理缺陷等因素,從而操作不當而引起的數據質量問題。
2、客觀因素:在數據各環節流轉中,由于系統異常和流程設置不當等因素,從而引起的數據質量問題。


四、數據質量管理價值

建設一個完整的數據質量管理平臺,對數據進行檢核與統計,從制度、標準、監控、流程幾個方面提升數據信息的管理能力,解決項目面臨的數據標準問題、數據質量問題,為數據治理提供準確的數據信息。完成從發現數據問題到最后解決數據問題,不斷提高數據質量,形成數據產生、數據交換、到數據應用過程中數據質量的統一管理與控制。


五、數據質量管理方法有哪些?

1、建立質量管控流程和規范
明確質量管控的角色、職責,建立可執行的工作流程、可量化的工作評估等關于數據質量管控辦法,同時也應具備績效考核、沖突解決與管控方式等。
2、執行管理工作
1)數據剖析
進行已知數據問題的評估,評估的范圍控制在本輪管控的目標范圍內。通過對數據進行剖析,發現數據問題,具體規則又可通過標準或業務調研進行提取。
2)設計數據質量控制操作程序
獲得已知數據問題后,就應設計數據質量控制操作程序。主要包括制定質量問題評估方式和整改方式、制定質量報告內容及對象以及制定檢查和監控的頻率及方式。
3)定義數據質量需求
根據剖析的質檢規則和控制操作程序,對數據質量需求進行定義。
4)確定數據質量水平
數據質量需求定義完畢之后,我們就需要確定在此需求下,目前數據質量的水平處于什么位置。明確反應質量水平的并最直觀的就是錯誤數據的詳情情況。
5)管理數據質量問題
問題找到后,針對根據不同的質量問題,進行不同的質量整改方案。比如:源頭修改、補錄、技術修復以及遺留問題管控等。
3、檢查數據質量
首先確定整改質量,對處理后的數據進行再次質檢,出具數據質量的報告;然后,對比處理前后效果,總結改進措施;最后,檢查數據質量是否合格,分析不合格原因并下一輪管控中進行技術上或者操作程序上的改進。
4、監控數據質量,控制管理程序和績效
根據既定的操作程序,對質量管控過程中各個環節參與者進行績效評估。還可以根據不同時期的重點制定不同的評分標準,有針對性的進行評價和管控,如整改初期數據缺失嚴重,則可對完整性規則權重調大,以期更快看到成效或者達到更好的效果。
五、數據質量管理工具介紹
正所謂,工欲善其事,必先利其器。億信華辰睿治數據治理平臺的數據質量管理模塊以全面質量管理PDCA循環管理方法為指導,充分結合國內數據質量管理工作的特點,運用元數據管理、數據挖掘、數據分析、工作流、評分卡、可視化等技術最終幫助企業和政府建立數據質量管理體系,全面提升數據的完整性、規范性、及時性、一致性、邏輯性等,降低數據管理成本,減少因數據不可靠導致的決策偏差和損失。
1、發現數據質量問題
靈活定義多模型質檢方案,多點監測、多模型質檢方案,高效調度,并發和串行處理相結合,性能高效,只需2分30秒,便可完成20條規則百萬級數據的質量檢查。
2、構建數據質量規則庫
定義數據驗證方法,內嵌空值檢查、值域檢查等13種檢查規則,基本覆蓋目前數據質量相關問題。
3、數據質量全流程管理
提供從標準定義、質量監控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發起、系統管理等數據質量管理全過程的功能,不僅能發現問題、還能將問題分發給數據負責人、管理者,在線跟蹤問題處理進展。
4、出具全面的“體檢報告”
內置常規質檢分析報告,實時可視化呈現質檢結果,質檢結果模型靈活擴展,充分利用了BI工具的分析展現能力,提供圖文并茂的質量檢查結果報告。
認為本內容有幫助
0
您可能需要的數據產品
億信華辰助力政企數字化轉型
customer

在線咨詢

在線咨詢

點擊進入在線咨詢