目前，越來越多的應用和服務都基于數(shù)據(jù)而建立，數(shù)據(jù)的應用也日趨繁茂，數(shù)據(jù)的重要性不言而喻。數(shù)據(jù)質量是一切數(shù)據(jù)驅動決策的前提，也是數(shù)據(jù)分析和數(shù)據(jù)挖掘結論有效性和準確性的基礎。因此，確保數(shù)據(jù)可用性與數(shù)據(jù)質量是企業(yè)不可忽略的重要環(huán)節(jié)。

目前，越來越多的應用和服務都基于數(shù)據(jù)而建立，數(shù)據(jù)的應用也日趨繁茂，數(shù)據(jù)的重要性不言而喻。數(shù)據(jù)質量是一切數(shù)據(jù)驅動決策的前提，也是數(shù)據(jù)分析和數(shù)據(jù)挖掘結論有效性和準確性的基礎。因此，確保數(shù)據(jù)可用性與數(shù)據(jù)質量是企業(yè)不可忽略的重要環(huán)節(jié)。
一、數(shù)據(jù)質量的影響因素
數(shù)據(jù)種類（Variety）：數(shù)據(jù)類型的多樣性；
數(shù)據(jù)容量（Volume）：數(shù)據(jù)的大小決定所考慮的數(shù)據(jù)的價值的和潛在的信息；
數(shù)據(jù)可變性（Variability）：妨礙了處理和有效地管理數(shù)據(jù)的過程；
數(shù)據(jù)速度（Velocity）：指獲得數(shù)據(jù)的速度；
數(shù)據(jù)復雜性（Complexity）：數(shù)據(jù)量巨大，來源多渠道。
數(shù)據(jù)真實性（Veracity）：數(shù)據(jù)的質量；
二、數(shù)據(jù)質量如何監(jiān)控

1、數(shù)據(jù)對賬
離線數(shù)據(jù)對賬方法有很多，比如可以和業(yè)務庫來對比；而針對實時數(shù)據(jù)，特別是Kafka數(shù)據(jù)落地，必須要有一個監(jiān)控機制來知道數(shù)據(jù)落地情況。
2、性能監(jiān)控
性能監(jiān)控即數(shù)據(jù)可用性監(jiān)控，包含兩個方面：
數(shù)據(jù)讀寫影響，比如 es，在寫入數(shù)據(jù)的時候會影響讀數(shù)據(jù)，需要即時監(jiān)控，并做相應調(diào)整。
查詢性能，比如es的某個索引，在不同時間段的查詢響應速度，還有hive、kylin、presto的查詢，可以通過任務監(jiān)控來觀察。
3、日常監(jiān)控
日常監(jiān)控中最重要的就是數(shù)據(jù)落地檢查，常見監(jiān)控內(nèi)容如下：
數(shù)據(jù)掉0監(jiān)控：數(shù)據(jù)量閾值監(jiān)控，少于某個量就告警    
重復數(shù)據(jù)監(jiān)控：監(jiān)控是否存在重復數(shù)據(jù)。
數(shù)據(jù)同比環(huán)比監(jiān)控：環(huán)比監(jiān)控指主要是對比很短時間內(nèi)漲幅程度，一般是用在月、日，不過由于行業(yè)差異，比如旅游，會受到淡旺季影響，需要用到年；同比監(jiān)控一般用在相鄰兩年，相同時間段內(nèi)，查看漲幅程度，一般用在兩年相同月份；
關鍵指標監(jiān)控：檢查數(shù)據(jù)關鍵指標或屬性值是否有異常，然后及時做出反應
數(shù)據(jù)落地監(jiān)控：實時監(jiān)控數(shù)據(jù)落地，確保數(shù)據(jù)質量的完整性、準確性、一致性和及時性。
5、多數(shù)據(jù)源監(jiān)控
目前大數(shù)據(jù)場景比較復雜，引入了非常多的開源組件，而且還會有新的組件持續(xù)地引入，因此要考慮到對不同組件的數(shù)據(jù)監(jiān)控。包括：ES、Kylin 、Hive、Mysql、Redis等
4、告警
通過告警報表系統(tǒng)來展示數(shù)據(jù)預警情況，特別是對數(shù)據(jù)量趨勢內(nèi)容的監(jiān)控，需要用到可視化的對比。

億信華辰自主研發(fā)的睿治數(shù)據(jù)質量管理平臺EsDataClean，一站式輕松搞定質檢全過程，能夠有效地管理與掌控數(shù)據(jù)質量，提高業(yè)務數(shù)據(jù)的正確性、適時性、完全性、一致性與相關性。具備如下功能：
圖形化操作界面，全程零編碼
采用全導航交互式設計界面，技術門檻低。不管是規(guī)則定義還是流程管理都無需編寫sql或代碼，通過圖形化界面進行簡單配置即可，使得非技術用戶也能對定義過程和定義結果一目了然。
一站式輕松搞定質檢全過程
億信數(shù)據(jù)質量管理平臺（EsDataClean）提供從標準定義、質量監(jiān)控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發(fā)起、系統(tǒng)管理等數(shù)據(jù)質量管理全過程的功能。
智能數(shù)據(jù)質量檢查調(diào)度
通過事先定義好的規(guī)則、調(diào)度時間、工作流程，自動完成數(shù)據(jù)的質量檢查，極大的減少人力的投入和過程干預，提升效率，減少誤差。
重大問題及時告警
對質量檢查的結果提供多方式（界面、郵件、短信）告警，讓用戶及時了解到系統(tǒng)檢查結果，避免重大問題的延誤。
一鍵生成質量報告和評估結果
系統(tǒng)通過數(shù)理統(tǒng)計、數(shù)據(jù)分析等技術，根據(jù)事先定義好的模板，自動生成質量報告和績效考評結果。
除此之外，還具備完善豐富的數(shù)據(jù)質量評估體系、全方位的數(shù)據(jù)體檢報告以及卓越的質檢性能等功能。以湖南衛(wèi)健委：省衛(wèi)生計生統(tǒng)計決策分析系統(tǒng)為例，通過對衛(wèi)生統(tǒng)計數(shù)據(jù)的質量控制，并加快升級數(shù)據(jù)交換功能，重新規(guī)劃并整合衛(wèi)生資源、醫(yī)療服務、醫(yī)改監(jiān)測、計生人口、分科及中醫(yī)特色等主要業(yè)務數(shù)據(jù)，為各級衛(wèi)生機構提供準確、便捷的信息訪問服務，為深化醫(yī)改與應急救治提供信息支撐，為制定衛(wèi)生計生政策規(guī)劃與宏觀管理提供科學依據(jù)。