說到數(shù)據(jù)質(zhì)量問題的原因，做過BI或數(shù)倉項目的小伙伴肯定都知道，這是一個業(yè)務和技術經(jīng)常扯來扯去、互相推諉的問題。在很多情況下，企業(yè)都會把數(shù)據(jù)質(zhì)量問題推給技術部門，讓技術部門去查找和處理。但是企業(yè)的數(shù)據(jù)質(zhì)量問題真的都是技術引起的嗎，技術部門人一定會說：“這個鍋我不背！”

其實，影響數(shù)據(jù)質(zhì)量的因素主要就技術、業(yè)務、管理三個方面，下面我們就來從這三方面分析下產(chǎn)生數(shù)據(jù)質(zhì)量問題都有哪些原因。

1、技術方面
數(shù)據(jù)模型設計的質(zhì)量問題，例如：數(shù)據(jù)庫表結構、數(shù)據(jù)庫約束條件、數(shù)據(jù)校驗規(guī)則的設計開發(fā)不合理，造成數(shù)據(jù)錄入無法校驗或校驗不當，引起數(shù)據(jù)重復、不完整、不準確。

數(shù)據(jù)源存在數(shù)據(jù)質(zhì)量問題，例如：有些數(shù)據(jù)是從生產(chǎn)系統(tǒng)采集過來的，在生產(chǎn)系統(tǒng)中這些數(shù)據(jù)就存在重復、不完整、不準確等問題，而采集過程有沒有對這些問題做清洗處理，這種情況也比較常見。

數(shù)據(jù)采集過程質(zhì)量問題， 例如：采集點、采集頻率、采集內(nèi)容、映射關系等采集參數(shù)和流程設置的不正確，數(shù)據(jù)采集接口效率低，導致的數(shù)據(jù)采集失敗、數(shù)據(jù)丟失、數(shù)據(jù)映射和轉(zhuǎn)換失敗。

數(shù)據(jù)傳輸過程的問題，例如：數(shù)據(jù)接口本身存在問題、數(shù)據(jù)接口參數(shù)配置錯誤、網(wǎng)絡不可靠等都會造成數(shù)據(jù)傳輸過程中的發(fā)生數(shù)據(jù)質(zhì)量問題。
數(shù)據(jù)裝載過程的問題，例如：數(shù)據(jù)清洗規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)裝載規(guī)則配置有問題。
數(shù)據(jù)存儲的質(zhì)量問題，例如：數(shù)據(jù)存儲設計不合理，數(shù)據(jù)的存儲能力有限，人為后臺調(diào)整數(shù)據(jù)，引起的數(shù)據(jù)丟失、數(shù)據(jù)無效、數(shù)據(jù)失真、記錄重復。
業(yè)務系統(tǒng)各自為政，煙囪式建設，系統(tǒng)之間的數(shù)據(jù)不一致問題嚴重。

2、業(yè)務方面
業(yè)務需求不清晰，例如：數(shù)據(jù)的業(yè)務描述、業(yè)務規(guī)則不清晰，導致技術無法構建出合理、正確的數(shù)據(jù)模型。
業(yè)務需求的變更，這個問題其實是對數(shù)據(jù)質(zhì)量影響非常大的，需求一變，數(shù)據(jù)模型設計、數(shù)據(jù)錄入、數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)存儲等環(huán)節(jié)都會受到影響，稍有不慎就會導致數(shù)據(jù)質(zhì)量問題的發(fā)生。
業(yè)務端數(shù)據(jù)輸入不規(guī)范，常見的數(shù)據(jù)錄入問題，如：大小寫、全半角、特殊字符等一不小心就會錄錯。人工錄入的數(shù)據(jù)質(zhì)量與錄數(shù)據(jù)的業(yè)務人員密切相關，錄數(shù)據(jù)的人工作嚴謹、認真，數(shù)據(jù)質(zhì)量就相對較好，反之就較差。
數(shù)據(jù)作假，對，你沒看錯，就是數(shù)據(jù)作假！操作人員為了提高或降低考核指標，對一些數(shù)據(jù)進行處理，使得數(shù)據(jù)真實性無法保證。


3、管理方面
認知問題。企業(yè)管理缺乏數(shù)據(jù)思維，沒有認識到數(shù)據(jù)質(zhì)量的重要性，重系統(tǒng)而輕數(shù)據(jù)，認為系統(tǒng)是萬能的，數(shù)據(jù)質(zhì)量差些也沒關系。
沒有明確數(shù)據(jù)歸口管理部門或崗位，缺乏數(shù)據(jù)認責機制，出現(xiàn)數(shù)據(jù)質(zhì)量問題找不到負責人。
缺乏數(shù)據(jù)規(guī)劃，沒有明確的數(shù)據(jù)質(zhì)量目標，沒有制定數(shù)據(jù)質(zhì)量相關的政策和制度。
數(shù)據(jù)輸入規(guī)范不統(tǒng)一，不同的業(yè)務部門、不同的時間、甚至在處理相同業(yè)務的時候，由于數(shù)據(jù)輸入規(guī)范不同，造成數(shù)據(jù)沖突或矛盾。
缺乏有效的數(shù)據(jù)質(zhì)量問題處理機制，數(shù)據(jù)質(zhì)量問題從發(fā)現(xiàn)、指派、處理、優(yōu)化沒有一個統(tǒng)一的流程和制度支撐，數(shù)據(jù)質(zhì)量問題無法閉環(huán)。
缺乏有效的數(shù)據(jù)管控機制，對歷史數(shù)據(jù)質(zhì)量檢查、新增數(shù)據(jù)質(zhì)量校驗沒有明確和有效的控制措施，出現(xiàn)數(shù)據(jù)質(zhì)量問題無法考核。

小結：影響數(shù)據(jù)質(zhì)量的因素，可以總結為兩類，客觀因素和主觀因素。客觀因素：在數(shù)據(jù)各環(huán)節(jié)流轉(zhuǎn)中，由于系統(tǒng)異常和流程設置不當?shù)纫蛩兀瑥亩鸬臄?shù)據(jù)質(zhì)量問題。主觀因素：在數(shù)據(jù)各環(huán)節(jié)處理中，由于人員素質(zhì)低和管理缺陷等因素，從而操作不當而引起的數(shù)據(jù)質(zhì)量問題。