IT應(yīng)用類型、數(shù)據(jù)源、數(shù)據(jù)分析方法不斷增加,數(shù)據(jù)治理進(jìn)入了一個新的變革和發(fā)展階段。面向大數(shù)據(jù)的數(shù)據(jù)治理,應(yīng)該具有更高的能動性,需要跟上更快的IT環(huán)境變化速度,做出積極的反應(yīng)。可以說,在新的發(fā)展階段,
數(shù)據(jù)治理的各項要求將變得更加具有挑戰(zhàn)性。
大數(shù)據(jù)治理必須跟蹤跨多個平臺的數(shù)據(jù)訪問和使用情況,并減輕數(shù)據(jù)使用不當(dāng)造成的風(fēng)險。在大數(shù)據(jù)環(huán)境中,驗證數(shù)據(jù)源并確保數(shù)據(jù)質(zhì)量和數(shù)據(jù)完整性成為一個巨大的挑戰(zhàn);此外,海量數(shù)據(jù)的存儲、如何最大化數(shù)據(jù)處理效率、保證數(shù)據(jù)可靠性與安全性也更具難度。
一、數(shù)據(jù)治理的定義
DGI(數(shù)據(jù)治理研究院)認(rèn)為,數(shù)據(jù)治理是指一個通過一些信息相關(guān)的過程來實現(xiàn)決策權(quán)分配和職責(zé)分工的系統(tǒng),這些過程按照一些達(dá)成共識的模型來運行,這些模型描述了誰,根據(jù)什么信息,在什么時間和情況下,用什么方法,采取什么行動。
IBM認(rèn)為,數(shù)據(jù)治理是指一個質(zhì)量監(jiān)控規(guī)范,它將嚴(yán)密性和紀(jì)律性植入組織的信息管理、使用、改進(jìn)和保護(hù)過程中。通過促進(jìn)跨組織合作和結(jié)構(gòu)化決策,有效的數(shù)據(jù)治理能夠提高一個組織的數(shù)據(jù)質(zhì)量、可用性和完整性。
二、數(shù)據(jù)治理面臨的挑戰(zhàn)
1、缺乏有效管理機制
許多企業(yè)嘗試通過生產(chǎn)系統(tǒng)的業(yè)務(wù)流來控制數(shù)據(jù)流,但由于缺乏有效的管理機制和某些人為的因素,比如平臺間數(shù)據(jù)標(biāo)準(zhǔn)不一,缺少全局規(guī)范文檔,信息無法對接應(yīng)用等,在數(shù)據(jù)流轉(zhuǎn)過程中,導(dǎo)致了大量的垃圾數(shù)據(jù)。以外,數(shù)據(jù)產(chǎn)權(quán)不明確,管理職責(zé)混亂,管理和使用流程不清晰,也是造成數(shù)據(jù)質(zhì)量問題的重要因素。
2、存在數(shù)據(jù)安全隱患
近年來,隨著大數(shù)據(jù)的發(fā)展,諸如此類的數(shù)據(jù)安全事件多不勝數(shù)。數(shù)據(jù)資產(chǎn)管理上,正在由傳統(tǒng)分散式的人工管理向計算機集中化管理方向發(fā)展,數(shù)據(jù)的安全問題愈來愈受到人們的關(guān)注。
3、數(shù)據(jù)質(zhì)量參差不齊
現(xiàn)在,企業(yè)越來越重視管理數(shù)據(jù)資產(chǎn),但其實并不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn),數(shù)據(jù)中也有垃圾數(shù)據(jù)。由于企業(yè)各個業(yè)務(wù)系統(tǒng)或模塊都是按照各自的需要錄入數(shù)據(jù),業(yè)務(wù)系統(tǒng)不需要的信息就不錄,沒有統(tǒng)一的錄入工具和數(shù)據(jù)出口,造成同樣的數(shù)據(jù)在不同的系統(tǒng)有不同的屬性信息,數(shù)據(jù)完整性無法得到保障。
4、IT系統(tǒng)孤島化,數(shù)據(jù)流通受阻
目前,大多數(shù)企業(yè)的信息化建設(shè)初期缺乏整體規(guī)劃,大多都是以業(yè)務(wù)部門驅(qū)動的單體架構(gòu)系統(tǒng)或套裝軟件,數(shù)據(jù)分散在這些架構(gòu)不統(tǒng)一、開發(fā)語言不一致、數(shù)據(jù)庫多樣化的系統(tǒng)中,導(dǎo)致在企業(yè)內(nèi)部形成了一個個的“信息孤島”。
三、數(shù)據(jù)治理與數(shù)據(jù)管理的區(qū)別
1、數(shù)據(jù)治理
數(shù)據(jù)治理面對的更多是戰(zhàn)略層面、組織層面、制度層面的事務(wù),是確立“什么樣的決策需要在什么層級制定”。所以,數(shù)據(jù)治理是一個相對高階的概念。對應(yīng)的是一個“數(shù)據(jù)治理委員會”級別的機構(gòu),由這個委員會來建立數(shù)據(jù)治理的整體組織架構(gòu),定義責(zé)任主體,落實工作機制。
2、數(shù)據(jù)管理
數(shù)據(jù)管理是操作和實施層面的概念,是通過一系列實際落地的辦法去實現(xiàn)“治理”目標(biāo)的具體過程。數(shù)據(jù)管理對應(yīng)的是一個以“數(shù)據(jù)管理部”級別的職能部門+各個相關(guān)職能部門的矩陣化組織。通過內(nèi)建組織機構(gòu)和工作機制,有牽頭、有配合、有主責(zé)、有落實,在各自的職能領(lǐng)域去完成數(shù)據(jù)管理的具體任務(wù),包括企業(yè)級層面的數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)資產(chǎn)管理,業(yè)務(wù)領(lǐng)域?qū)用娴臄?shù)據(jù)規(guī)范化、數(shù)據(jù)質(zhì)量改進(jìn)等等。
四、數(shù)據(jù)治理方法
第一階段,梳理企業(yè)信息,構(gòu)建企業(yè)的數(shù)據(jù)資產(chǎn)庫。首先要清楚企業(yè)的數(shù)據(jù)模型、數(shù)據(jù)關(guān)系,對企業(yè)資產(chǎn)形成業(yè)務(wù)視圖、技術(shù)視圖等針對不同用戶視角的展示。
第二階段,建立管理流程,落地數(shù)據(jù)標(biāo)準(zhǔn),提升數(shù)據(jù)質(zhì)量。從企業(yè)角度梳理質(zhì)量問題,緊抓標(biāo)準(zhǔn)落地。
第三階段,直接為用戶提供價值。本階段依賴于前兩個階段的建設(shè),為用戶提供方便的獲取數(shù)據(jù)的途徑。
第四階段,為企業(yè)提供數(shù)據(jù)價值。通過多種手段對多種來源的數(shù)據(jù)進(jìn)行分析,形成企業(yè)知識圖譜,體現(xiàn)數(shù)據(jù)的深層價值。