大數(shù)據(jù)時代,基于數(shù)據(jù)的應(yīng)用形式、相關(guān)技術(shù)在快速發(fā)展,數(shù)據(jù)產(chǎn)生的價值越來越大。目前數(shù)據(jù)應(yīng)用項目非常多,但真正取得預(yù)期效果的項目卻非常少。主要原因就是數(shù)據(jù)質(zhì)量問題導(dǎo)致許多預(yù)期需求無法實現(xiàn)。
數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必需手段,從全球范圍來看,加強(qiáng)數(shù)據(jù)治理提升數(shù)據(jù)質(zhì)量已成為企業(yè)提升管理能力的重要任務(wù)。數(shù)據(jù)治理的最終目的就是挖掘數(shù)據(jù)價值,推動業(yè)務(wù)發(fā)展,實現(xiàn)盈利。如果沒有數(shù)據(jù)治理,再多的業(yè)務(wù)和技術(shù)投入都是徒勞的。而數(shù)據(jù)治理的核心要素就是提升數(shù)據(jù)質(zhì)量,也就是數(shù)據(jù)質(zhì)量管理。
數(shù)據(jù)質(zhì)量管理定義
數(shù)據(jù)質(zhì)量管理是一個集方法論、技術(shù)、業(yè)務(wù)和管理為一體的解決方案。數(shù)據(jù)生命周期包含六個階段:產(chǎn)生、獲取、存儲、處理、交換、傳輸、銷毀。數(shù)據(jù)質(zhì)量管理需要對數(shù)據(jù)生命周期每個階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問題,進(jìn)行識別、度量、監(jiān)控、預(yù)警等。通過有效的數(shù)據(jù)質(zhì)量控制手段,進(jìn)行數(shù)據(jù)的管理和控制,消除數(shù)據(jù)質(zhì)量問題進(jìn)而提升企業(yè)數(shù)據(jù)變現(xiàn)的能力。
數(shù)據(jù)質(zhì)量問題分析
數(shù)據(jù)準(zhǔn)確性:即可靠性,不可靠的數(shù)據(jù)可能會導(dǎo)致嚴(yán)重的問題,會造成有缺陷的方法和糟糕的決策。所以,數(shù)據(jù)質(zhì)量管理需要分析和識別不準(zhǔn)確的或無效的數(shù)據(jù)。
數(shù)據(jù)真實性:真實可靠的原始統(tǒng)計數(shù)據(jù)是一切管理工作的基礎(chǔ),是經(jīng)營者進(jìn)行正確經(jīng)營決策必不可少的第一手資料,是企業(yè)統(tǒng)計工作的靈魂。數(shù)據(jù)必須真實準(zhǔn)確的反映客觀的實體存在或真實的業(yè)務(wù)。
數(shù)據(jù)完整性:不完整的數(shù)據(jù)是數(shù)據(jù)質(zhì)量問題最為基礎(chǔ)和常見的一類問題,會導(dǎo)致數(shù)據(jù)借鑒的價值大大降低。包括:數(shù)據(jù)屬性不完整,例如:數(shù)據(jù)屬性空值;數(shù)據(jù)條目不完整,例如:數(shù)據(jù)記錄丟失或不可用;模型設(shè)計不完整,例如:唯一性約束不完整、參照不完整。
數(shù)據(jù)唯一性:重復(fù)數(shù)據(jù)是導(dǎo)致業(yè)務(wù)無法協(xié)同、流程無法追溯的重要因素。如何有效識別和度量重復(fù)數(shù)據(jù)、冗余數(shù)據(jù)是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。
數(shù)據(jù)及時性:指能否在需要的時候獲到數(shù)據(jù),數(shù)據(jù)的及時性與企業(yè)的數(shù)據(jù)處理速度及效率有直接的關(guān)系,是影響業(yè)務(wù)處理和管理效率的關(guān)鍵指標(biāo)。
數(shù)據(jù)關(guān)聯(lián)性:指存在數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)關(guān)系缺失或錯誤,例如:相關(guān)系數(shù)、函數(shù)關(guān)系、索引關(guān)系、主外鍵關(guān)系等。存在數(shù)據(jù)關(guān)聯(lián)性問題,會直接影響數(shù)據(jù)分析的結(jié)果,進(jìn)而影響管理決策。
數(shù)據(jù)一致性:數(shù)據(jù)實體不一致,例如:命名及含義不一致、數(shù)據(jù)編碼不一致、生命周期不一致、分類層次不一致。多源數(shù)據(jù)的數(shù)據(jù)模型不一致,例如:數(shù)據(jù)結(jié)構(gòu)不一致、命名不一致、約束規(guī)則不一致。相同的數(shù)據(jù)有多個副本的情況下的數(shù)據(jù)不一致、數(shù)據(jù)內(nèi)容沖突的問題。