智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一，入選IDC企業數據治理實施部署指南。同時，在IDC發布的《中國數據治理市場份額》報告中，連續四年蟬聯數據治理解決方案市場份額第一。

在線免費試用 DEMO體驗視頻介紹

睿治智能數據治理平臺

IDC蟬聯數據治理解決方案市場第一

數據質量監控步驟及方法

時間：2020-08-31來源：CSDN瀏覽數：3378次

隨著大數據時代的帶來，數據的應用也日趨繁茂，越來越多的應用和服務都基于數據而建立，數據的重要性不言而喻。而且，數據質量是數據分析和數據挖掘結論有效性和準確性的基礎，也是這一切的數據驅動決策的前提！如何保障數據質量，確保數據可用性是每一位數據人都不可忽略的重要環節。

大數據處理中數據質量監控從哪幾個方面進行？

數據容量（Volume）：數據的大小決定所考慮的數據的價值的和潛在的信息；
數據種類（Variety）：數據類型的多樣性；
數據速度（Velocity）：指獲得數據的速度；
數據可變性（Variability）：妨礙了處理和有效地管理數據的過程；
數據真實性（Veracity）：數據的質量；
數據復雜性（Complexity）：數據量巨大，來源多渠道。

數據質量監控怎么做？

四大關注點
先簡單地聊一下數據質量需要關注的四個點：即完整性、準確性、一致性和及時性。這四個關注點，會在我們的數據處理流程的各個環節有所體現。

一、完整性
完整性是指數據的記錄和信息是否完整，是否存在缺失的情況。數據的缺失主要包括記錄的缺失和記錄中某個字段信息的缺失，兩者都會造成統計結果不準確，所以說完整性是數據質量最基礎的保障。
簡單來講，如果要做監控，需要考慮兩個方面：一是，數據條數是否少了，二是，某些字段的取值是否缺失。完整性的監控，多出現在日志級別的監控上，一般會在數據接入的時候來做數據完整性校驗。

二、準確性
準確性是指數據中記錄的信息和數據是否準確，是否存在異常或者錯誤的信息。
直觀來講就是看數據是否上準確的。一般準確性的監控多集中在對業務結果數據的監控，比如每日的活躍、收入等數據是否正常。

三、一致性
一致性是指同一指標在不同地方的結果是否一致。
數據不一致的情況，多出現在數據系統達到一定的復雜度后，同一指標會在多處進行計算，由于計算口徑或者開發人員的不同，容易造成同一指標出現的不同的結果。

四、及時性
在確保數據的完整性、準確性和一致性后，接下來就要保障數據能夠及時產出，這樣才能體現數據的價值。
及時性很容易理解，主要就是數據計算出來的速度是否夠快，這點在數據質量監控中可以體現在監控結果數據數據是否在指定時間點前計算完成。

數據質量監控之所以難做，是因為在數據的各個環節都會出現數據質量的問題。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。好好把握這幾個點才能更好地進行數據質量監控。

（部分內容來源網絡，如有侵權請聯系刪除）

立即申請數據分析/數據治理產品免費試用我要試用

上一篇：企業的元數據和元數據管理平臺介紹...

下一篇：大型傳統企業如何利用數據管理系統把握好業務和數據的關系，逐步實現智能化轉型？...