眾所周知,2020年新冠疫情爆發(fā)以來(lái),“健康碼”已常態(tài)化的出現(xiàn)在大家的日常生活中,這個(gè)全民參與其中的數(shù)字化疫情防控手段背后正是“
數(shù)據(jù)治理”在發(fā)揮作用。

政府利用數(shù)據(jù)資源匯聚分析與數(shù)字技術(shù)等手段,通過(guò)“數(shù)據(jù)流”牽引帶動(dòng)真實(shí)世界中“人流”、“物流”、“商流”的復(fù)蘇與回歸,從而實(shí)現(xiàn)了社會(huì)治理現(xiàn)代化的一次躍升。
那么到底什么是數(shù)據(jù)治理?為什么要實(shí)施數(shù)據(jù)治理?以及該如何開(kāi)展數(shù)據(jù)治理工作,才能引領(lǐng)企業(yè)加快
數(shù)字化轉(zhuǎn)型,從而獲取更大的業(yè)務(wù)價(jià)值。今天小億就來(lái)為大家分享一下。
一、什么是數(shù)據(jù)治理?
1.定義
DAMA國(guó)際數(shù)據(jù)管理協(xié)會(huì)對(duì)數(shù)據(jù)治理定義:數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)的管理活動(dòng)行使權(quán)力和控制的活動(dòng)集合(規(guī)劃、監(jiān)控和執(zhí)行)。
數(shù)據(jù)治理涵蓋了從前端業(yè)務(wù)系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫(kù)再到業(yè)務(wù)終端的數(shù)據(jù)分析,從源頭到終端再回到源頭,形成的一個(gè)閉環(huán)負(fù)反饋系統(tǒng)。從目的來(lái)講,數(shù)據(jù)治理就是要對(duì)數(shù)據(jù)的獲取、處理和使用進(jìn)行監(jiān)督管理。

具體一點(diǎn)來(lái)講,數(shù)據(jù)治理就是以服務(wù)組織戰(zhàn)略目標(biāo)為基本原則,通過(guò)組織成員的協(xié)同努力,流程制度的制定,以及數(shù)據(jù)資產(chǎn)的梳理、采集清洗、結(jié)構(gòu)化存儲(chǔ)、可視化管理和多維度分析,實(shí)現(xiàn)
數(shù)據(jù)資產(chǎn)價(jià)值獲取、業(yè)務(wù)模式創(chuàng)新和經(jīng)營(yíng)風(fēng)險(xiǎn)控制的過(guò)程。
2.與數(shù)據(jù)管理、數(shù)據(jù)管控有何不同
(1)數(shù)據(jù)治理
數(shù)據(jù)治理面對(duì)的更多是戰(zhàn)略層面、組織層面、制度層面的事務(wù),是確立“什么樣的決策需要在什么層級(jí)制定”。所以,數(shù)據(jù)治理是一個(gè)相對(duì)高階的概念。對(duì)應(yīng)的是一個(gè)“數(shù)據(jù)治理委員會(huì)”級(jí)別的機(jī)構(gòu),由這個(gè)委員會(huì)來(lái)建立數(shù)據(jù)治理的整體組織架構(gòu),定義責(zé)任主體,落實(shí)工作機(jī)制。
(2)數(shù)據(jù)管理
數(shù)據(jù)管理是操作和實(shí)施層面的概念,是通過(guò)一系列實(shí)際落地的辦法去實(shí)現(xiàn)“治理”目標(biāo)的具體過(guò)程。數(shù)據(jù)管理對(duì)應(yīng)的是一個(gè)以“數(shù)據(jù)管理部”級(jí)別的職能部門+各個(gè)相關(guān)職能部門的矩陣化組織。通過(guò)內(nèi)建組織機(jī)構(gòu)和工作機(jī)制,有牽頭、有配合、有主責(zé)、有落實(shí),在各自的職能領(lǐng)域去完成數(shù)據(jù)管理的具體任務(wù),包括企業(yè)級(jí)層面的
數(shù)據(jù)標(biāo)準(zhǔn)化、
數(shù)據(jù)資產(chǎn)管理,業(yè)務(wù)領(lǐng)域?qū)用娴臄?shù)據(jù)規(guī)范化、
數(shù)據(jù)質(zhì)量改進(jìn)等等。
(3)數(shù)據(jù)管控
數(shù)據(jù)管控是對(duì)“數(shù)據(jù)管理”要求在業(yè)務(wù)過(guò)程、產(chǎn)品設(shè)計(jì)、開(kāi)發(fā)實(shí)現(xiàn)層面的具體實(shí)施。管控離不開(kāi)“制度”+“規(guī)范”+“工具”+“考核反饋”,每一個(gè)管控機(jī)制,都應(yīng)該有一個(gè)PDCA的管理循環(huán)。數(shù)據(jù)管控的落地,制度設(shè)計(jì)和規(guī)范定義層面,需要數(shù)據(jù)管理部門牽頭推進(jìn),同時(shí),也需要技術(shù)部門的工具和系統(tǒng)能力支撐,才能“管得了,管得住,管到位”。

如上圖,清潔源頭數(shù)據(jù)就是一個(gè)數(shù)據(jù)治理目標(biāo),數(shù)據(jù)標(biāo)準(zhǔn)管理與數(shù)據(jù)質(zhì)量管理就是幫助實(shí)現(xiàn)治理目標(biāo)所制定的管理制度,在開(kāi)發(fā)過(guò)程中的標(biāo)準(zhǔn)管控、在運(yùn)行階段的質(zhì)量管控就是在實(shí)際工作當(dāng)中實(shí)現(xiàn)標(biāo)準(zhǔn)、質(zhì)量管理的具體措施和手段。
二、為什么要實(shí)施數(shù)據(jù)治理?
在我國(guó),各行業(yè)的信息化發(fā)展和建設(shè)水平并不均衡,對(duì)于部分行業(yè),信息化還處于剛剛起步的階段。但我們可以從金融行業(yè)、通訊行業(yè)、地產(chǎn)行業(yè)、傳統(tǒng)制造業(yè)以及農(nóng)業(yè)領(lǐng)域總結(jié)出規(guī)律:企業(yè)信息化大致經(jīng)歷了初期的煙囪式系統(tǒng)建設(shè)、中期的集成式系統(tǒng)建設(shè)和后期的數(shù)據(jù)管理式系統(tǒng)建設(shè)三個(gè)大階段,也由此導(dǎo)致了一些問(wèn)題:
1.數(shù)據(jù)質(zhì)量參差不齊
現(xiàn)在,企業(yè)越來(lái)越重視管理數(shù)據(jù)資產(chǎn),但其實(shí)并不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn),數(shù)據(jù)中也有垃圾數(shù)據(jù)。由于企業(yè)各個(gè)業(yè)務(wù)系統(tǒng)或模塊都是按照各自的需要錄入數(shù)據(jù),業(yè)務(wù)系統(tǒng)不需要的信息就不錄,沒(méi)有統(tǒng)一的錄入工具和數(shù)據(jù)出口,造成同樣的數(shù)據(jù)在不同的系統(tǒng)有不同的屬性信息,數(shù)據(jù)完整性無(wú)法得到保障。
2.IT系統(tǒng)孤島化,數(shù)據(jù)流通受阻
目前,大多數(shù)企業(yè)的信息化建設(shè)初期缺乏整體規(guī)劃,大多都是以業(yè)務(wù)部門驅(qū)動(dòng)的單體架構(gòu)系統(tǒng)或套裝軟件,數(shù)據(jù)分散在這些架構(gòu)不統(tǒng)一、開(kāi)發(fā)語(yǔ)言不一致、數(shù)據(jù)庫(kù)多樣化的系統(tǒng)中,導(dǎo)致在企業(yè)內(nèi)部形成了一個(gè)個(gè)的“信息孤島”。這些“孤島”之間缺乏有效的連接通道,數(shù)據(jù)不能互聯(lián)互通,不能按照用戶的指令進(jìn)行有意義的交流,于是數(shù)據(jù)的價(jià)值不能充分發(fā)揮。

3.缺乏有效管理機(jī)制
許多企業(yè)嘗試通過(guò)生產(chǎn)系統(tǒng)的業(yè)務(wù)流來(lái)控制數(shù)據(jù)流,但由于缺乏有效的管理機(jī)制和某些人為的因素,比如平臺(tái)間數(shù)據(jù)標(biāo)準(zhǔn)不一,缺少全局規(guī)范文檔,信息無(wú)法對(duì)接應(yīng)用等,在數(shù)據(jù)流轉(zhuǎn)過(guò)程中,導(dǎo)致了大量的垃圾數(shù)據(jù)。以外,數(shù)據(jù)產(chǎn)權(quán)不明確,管理職責(zé)混亂,管理和使用流程不清晰,也是造成數(shù)據(jù)質(zhì)量問(wèn)題的重要因素。
4.存在數(shù)據(jù)安全隱患
近年來(lái),隨著大數(shù)據(jù)的發(fā)展,諸如此類的數(shù)據(jù)安全事件多不勝數(shù)。數(shù)據(jù)資產(chǎn)管理上,正在由傳統(tǒng)分散式的人工管理向計(jì)算機(jī)集中化管理方向發(fā)展,數(shù)據(jù)的安全問(wèn)題愈來(lái)愈受到人們的關(guān)注。
綜上所述,看似表面的數(shù)據(jù)問(wèn)題其實(shí)會(huì)對(duì)業(yè)務(wù)帶來(lái)嚴(yán)重的影響。數(shù)據(jù)不真實(shí)、不準(zhǔn)確、數(shù)據(jù)不透明、不共享都將增加企業(yè)經(jīng)營(yíng)風(fēng)險(xiǎn)、管理難度和復(fù)雜度。最終導(dǎo)致跨組織信息共享程度低、資源難于整合。
而數(shù)據(jù)治理是所有
數(shù)據(jù)應(yīng)用的基礎(chǔ)和根基,它的好壞直接影響數(shù)據(jù)應(yīng)用過(guò)程中的價(jià)值體現(xiàn)。同時(shí),數(shù)據(jù)治理也是一個(gè)組織進(jìn)行數(shù)據(jù)資產(chǎn)沉淀的基礎(chǔ),直接決定了一個(gè)組織的數(shù)據(jù)資產(chǎn)能否得到有效的沉淀,以及在數(shù)據(jù)應(yīng)用過(guò)程中能否充分發(fā)揮
數(shù)據(jù)價(jià)值。
三、數(shù)據(jù)治理的目標(biāo)
數(shù)據(jù)治理本身不是目標(biāo),它只是實(shí)現(xiàn)組織戰(zhàn)略目標(biāo)的一個(gè)手段,即通過(guò)有效的數(shù)據(jù)資源控制手段,進(jìn)行數(shù)據(jù)的監(jiān)督管理,以提升數(shù)據(jù)質(zhì)量進(jìn)而提升數(shù)據(jù)變現(xiàn)的能力和管理的效率。例如基于需求的智能制造、智慧市場(chǎng)監(jiān)督管理、融合市民服務(wù)、一網(wǎng)通辦等。
從組織職能和體量大小方面來(lái)看,不同類型組織的數(shù)據(jù)治理目標(biāo)大不相同,例如,集團(tuán)企業(yè)總部和政府大數(shù)據(jù)管理局的目標(biāo)是:制定數(shù)據(jù)政策、保障數(shù)據(jù)安全、促進(jìn)數(shù)據(jù)在組織內(nèi)無(wú)障礙共享,其重點(diǎn)目標(biāo)是推進(jìn)和保障數(shù)據(jù)戰(zhàn)略的順利實(shí)施。

而企業(yè)和政府業(yè)務(wù)部門的目標(biāo)是:通過(guò)提升信息管理能力,提升組織精細(xì)化管理水平,提高業(yè)務(wù)運(yùn)營(yíng)效率,增強(qiáng)組織決策能力和核心競(jìng)爭(zhēng)力,從而為實(shí)現(xiàn)組織戰(zhàn)略目標(biāo)提供能力支撐,其重點(diǎn)目標(biāo)是數(shù)據(jù)價(jià)值獲取、業(yè)務(wù)模式創(chuàng)新和經(jīng)營(yíng)風(fēng)險(xiǎn)控制。
四、數(shù)據(jù)治理包含哪些內(nèi)容?
數(shù)據(jù)治理并不是某一個(gè)系統(tǒng)應(yīng)用,而是一個(gè)以系統(tǒng)工具為支撐、管理機(jī)制為基礎(chǔ)的系統(tǒng)工程,只是各數(shù)據(jù)治理項(xiàng)目切入點(diǎn)有所不同,比如:
①面向源端的業(yè)務(wù)系統(tǒng)去進(jìn)行數(shù)據(jù)治理,可能解決的是流程-數(shù)據(jù)一體化治理的問(wèn)題,保證各個(gè)業(yè)務(wù)系統(tǒng)和職能之間的流程貫通;
②面向大數(shù)據(jù)平臺(tái)的建設(shè)階段或運(yùn)營(yíng)階段的數(shù)據(jù)治理,這個(gè)時(shí)候更多考慮到的是數(shù)據(jù)之間的拉通,數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一,數(shù)據(jù)質(zhì)量的監(jiān)控,數(shù)據(jù)平臺(tái)各層之間的數(shù)據(jù)血緣關(guān)系,數(shù)據(jù)流;
③對(duì)于一些先進(jìn)企業(yè),他們的數(shù)據(jù)會(huì)涉及對(duì)外共享合作,那么,企業(yè)的數(shù)據(jù)治理機(jī)制也會(huì)發(fā)生改變。針對(duì)需要共享的數(shù)據(jù),企業(yè)更多優(yōu)先關(guān)注數(shù)據(jù)權(quán)屬問(wèn)題,同時(shí),考慮如何通過(guò)多方計(jì)算,聯(lián)邦學(xué)習(xí)等技術(shù)從數(shù)據(jù)安全的角度保證數(shù)據(jù)的共享。
總的來(lái)說(shuō),數(shù)據(jù)治理的切入點(diǎn)分為:整體規(guī)劃模式、面向業(yè)務(wù)分析模式、數(shù)據(jù)整合平臺(tái)模式、大型應(yīng)用建設(shè)模式、數(shù)據(jù)管理平臺(tái)和工具模式等,如下圖所示:

雖然切入點(diǎn)不同,包含的內(nèi)容也不盡相同,但是數(shù)據(jù)治理無(wú)非是對(duì)于企業(yè)級(jí)數(shù)據(jù)、某個(gè)業(yè)務(wù)主題數(shù)據(jù)、某系統(tǒng)數(shù)據(jù)等不同定位的業(yè)務(wù)數(shù)據(jù)進(jìn)行有效管控,而且目前主流的數(shù)據(jù)管理方式是以元數(shù)據(jù)為核心的梳理,所以建設(shè)內(nèi)容基本上也是在元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、
數(shù)據(jù)集成、
主數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)交換、數(shù)據(jù)生命周期、數(shù)據(jù)安全等不同方面進(jìn)行自由組合,只是面向的數(shù)據(jù)范圍不同而已。
1.元數(shù)據(jù)
元數(shù)據(jù)管理是對(duì)企業(yè)涉及的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)進(jìn)行盤點(diǎn)、集成和管理,按照科學(xué)、有效的機(jī)制對(duì)元數(shù)據(jù)進(jìn)行管理,并面向開(kāi)發(fā)人員、最終用戶提供元數(shù)據(jù)服務(wù),以滿足用戶的業(yè)務(wù)需求,對(duì)企業(yè)業(yè)務(wù)系統(tǒng)和
數(shù)據(jù)分析平臺(tái)的開(kāi)發(fā)、維護(hù)過(guò)程提供支持。借助變更報(bào)告、影響分析等應(yīng)用,控制數(shù)據(jù)質(zhì)量、減少業(yè)務(wù)術(shù)語(yǔ)歧義和建立業(yè)務(wù)和技術(shù)之間的良好溝通渠道,進(jìn)一步提高各種數(shù)據(jù)的可信性、可維護(hù)性、適應(yīng)性和可集成性。

睿治平臺(tái)中的元數(shù)據(jù)管理
元數(shù)據(jù)分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù),三者之間關(guān)系緊密。業(yè)務(wù)元數(shù)據(jù)指導(dǎo)技術(shù)元數(shù)據(jù),技術(shù)元數(shù)據(jù)以業(yè)務(wù)元數(shù)據(jù)為參考進(jìn)行設(shè)計(jì),管理元數(shù)據(jù)為兩者的管理提供支撐。
(1)業(yè)務(wù)元數(shù)據(jù)
業(yè)務(wù)元數(shù)據(jù)是定義和業(yè)務(wù)相關(guān)數(shù)據(jù)的信息,用于輔助定位、理解及訪問(wèn)義務(wù)信息。業(yè)務(wù)元數(shù)據(jù)的范圍主要包括:業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、專業(yè)術(shù)語(yǔ)、數(shù)據(jù)標(biāo)準(zhǔn)、概念數(shù)據(jù)模型、實(shí)體/屬性、邏輯數(shù)據(jù)模型等。
(2)技術(shù)元數(shù)據(jù)
它可以分成結(jié)構(gòu)性技術(shù)元數(shù)據(jù)和關(guān)聯(lián)性技術(shù)元數(shù)據(jù)。
結(jié)構(gòu)性技術(shù)元數(shù)據(jù)提供了在信息技術(shù)的基礎(chǔ)架構(gòu)中對(duì)數(shù)據(jù)的說(shuō)明,如數(shù)據(jù)的存放位置、數(shù)據(jù)的存儲(chǔ)類型、數(shù)據(jù)的血緣關(guān)系等;關(guān)聯(lián)性技術(shù)元數(shù)據(jù)描述了數(shù)據(jù)之間的關(guān)聯(lián)和數(shù)據(jù)在信息技術(shù)環(huán)境之中的流轉(zhuǎn)情況。
技術(shù)元數(shù)據(jù)的范圍主要包括:技術(shù)規(guī)則(計(jì)算/統(tǒng)計(jì)/轉(zhuǎn)換/匯總)、數(shù)據(jù)質(zhì)量規(guī)則技術(shù)描述、字段、衍生字段、事實(shí)/維度、統(tǒng)計(jì)指標(biāo)、表/視圖/文件/接口、報(bào)表/多維分析、數(shù)據(jù)庫(kù)/視圖組/文件組/接口組、源代碼/程序、系統(tǒng)、軟件、硬件等。技術(shù)元數(shù)據(jù)一般以已有的業(yè)務(wù)元數(shù)據(jù)作為參考設(shè)計(jì)的。
(3)管理元數(shù)據(jù)
管理元數(shù)據(jù)主要指與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程,以及系統(tǒng)日常運(yùn)行產(chǎn)生的數(shù)據(jù)。管理元數(shù)據(jù)管理的內(nèi)容主要包括:與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程、項(xiàng)目、版本,以及系統(tǒng)生產(chǎn)運(yùn)行中的操作記錄,如運(yùn)行記錄、應(yīng)用程序、運(yùn)行作業(yè)。
2.數(shù)據(jù)標(biāo)準(zhǔn)
良好的數(shù)據(jù)標(biāo)準(zhǔn)體系有助于數(shù)據(jù)的共享、交互和應(yīng)用,可以減少不同系統(tǒng)間數(shù)據(jù)轉(zhuǎn)換的工作。
數(shù)據(jù)標(biāo)準(zhǔn)適用于業(yè)務(wù)數(shù)據(jù)描述、信息管理及應(yīng)用系統(tǒng)開(kāi)發(fā),包括基礎(chǔ)標(biāo)準(zhǔn)和指標(biāo)標(biāo)準(zhǔn)(或稱應(yīng)用標(biāo)準(zhǔn))。可以作為經(jīng)營(yíng)管理中所涉及數(shù)據(jù)的規(guī)范化定義和統(tǒng)一解釋,也可作為信息管理的基礎(chǔ),同時(shí)也是作為應(yīng)用系統(tǒng)開(kāi)發(fā)時(shí)進(jìn)行數(shù)據(jù)定義的依據(jù)。涉及國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn),在定義元數(shù)據(jù)實(shí)體或元素時(shí)進(jìn)行關(guān)聯(lián)。

睿治平臺(tái)中的數(shù)據(jù)標(biāo)準(zhǔn)管理
數(shù)據(jù)標(biāo)準(zhǔn)的主要由業(yè)務(wù)定義、技術(shù)定義和管理信息三部分構(gòu)成。同時(shí)還需要不斷的補(bǔ)充完善、更新優(yōu)化和積累,以便更好的支撐業(yè)務(wù)的開(kāi)發(fā)和系統(tǒng)的集成。

(1)業(yè)務(wù)定義業(yè)務(wù)定義主要是明確標(biāo)準(zhǔn)所屬的業(yè)務(wù)主題以及標(biāo)準(zhǔn)的業(yè)務(wù)概念,包括業(yè)務(wù)使用上的規(guī)則以及標(biāo)準(zhǔn)的相關(guān)來(lái)源等。對(duì)于代碼類標(biāo)準(zhǔn),還會(huì)進(jìn)一步明確編碼規(guī)則以及相關(guān)的代碼內(nèi)容,以達(dá)到定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、參照統(tǒng)一以及來(lái)源統(tǒng)一的目的,進(jìn)而形成一套一致、規(guī)范、開(kāi)放和共享的業(yè)務(wù)標(biāo)準(zhǔn)數(shù)據(jù)。
(2)技術(shù)定義技術(shù)定義是指描述數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)長(zhǎng)度以及來(lái)源系統(tǒng)等技術(shù)屬性,從而能夠?qū)π畔⑾到y(tǒng)的建設(shè)和使用提供指導(dǎo)和約束。
(3)管理信息管理信息是指明確標(biāo)準(zhǔn)的所有者、管理人員、使用部門等內(nèi)容,從而使數(shù)據(jù)標(biāo)準(zhǔn)的管理和維護(hù)工作有明確的責(zé)任主體,以保障數(shù)據(jù)標(biāo)準(zhǔn)能夠持續(xù)的進(jìn)行更新和改進(jìn)。
3.數(shù)據(jù)質(zhì)量
高質(zhì)量的數(shù)據(jù)是進(jìn)行分析決策、業(yè)務(wù)發(fā)展規(guī)劃的重要基礎(chǔ),只有建立完整的數(shù)據(jù)質(zhì)量管理體系,明確數(shù)據(jù)質(zhì)量管理目標(biāo)、控制對(duì)象和指標(biāo)、定義數(shù)據(jù)質(zhì)量檢驗(yàn)規(guī)則、執(zhí)行數(shù)據(jù)質(zhì)量檢核,生產(chǎn)數(shù)據(jù)質(zhì)量報(bào)告。通過(guò)數(shù)據(jù)質(zhì)量問(wèn)題處理流程及相關(guān)功能實(shí)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題從發(fā)現(xiàn)到處理的閉環(huán)管理,從而促進(jìn)數(shù)據(jù)質(zhì)量的不斷提升。

睿治平臺(tái)中的數(shù)據(jù)質(zhì)量管理
(1)制度和規(guī)范
從技術(shù)層面上,應(yīng)該完整全面的定義數(shù)據(jù)質(zhì)量的評(píng)估維度,包括完整性、時(shí)效性等,按照已定義的維度,在系統(tǒng)建設(shè)的各個(gè)階段都應(yīng)該根據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)和規(guī)范,及時(shí)進(jìn)行治理,避免事后的清洗工作。
(2)明確相應(yīng)的管理流程
數(shù)據(jù)質(zhì)量問(wèn)題會(huì)發(fā)生在各個(gè)階段,因此需要明確各個(gè)階段的數(shù)據(jù)質(zhì)量管理流程。例如,在需求和設(shè)計(jì)階段就需要明確數(shù)據(jù)質(zhì)量的規(guī)則定義,從而指導(dǎo)數(shù)據(jù)結(jié)構(gòu)和程序邏輯的設(shè)計(jì);在開(kāi)發(fā)和測(cè)試階段則需要對(duì)前面提到的規(guī)則進(jìn)行驗(yàn)證,確保相應(yīng)的規(guī)則能夠生效;最后在投產(chǎn)后要有相應(yīng)的檢查,從而將數(shù)據(jù)質(zhì)量問(wèn)題盡可能消滅在萌芽狀態(tài)。數(shù)據(jù)質(zhì)量管理措施,宜采用控制增量、消滅存量的策略,有效控制增量,不斷消除存量。
4.數(shù)據(jù)集成
可對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、整合、模型管理等處理工作。如:常用組件、輸入輸出、轉(zhuǎn)換組件、數(shù)倉(cāng)組件、腳本組件等,可高效快速完成數(shù)據(jù)的傳輸、清洗轉(zhuǎn)換、裝載落地等處理過(guò)程,保證數(shù)據(jù)可靠性,既可以用于問(wèn)題數(shù)據(jù)的修正,也可以用于為數(shù)據(jù)應(yīng)用提供可靠的數(shù)據(jù)模型。
5.主數(shù)據(jù)
主數(shù)據(jù)管理是通過(guò)運(yùn)用相關(guān)的流程、技術(shù)和解決方案,對(duì)企業(yè)核心數(shù)據(jù)的有效管理過(guò)程。要做的就是從各部門的多個(gè)業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)(主數(shù)據(jù)),集中進(jìn)行數(shù)據(jù)的管理,并且以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)傳送給企業(yè)內(nèi)需要使用這些數(shù)據(jù)的操作型應(yīng)用系統(tǒng)和分析型應(yīng)用系統(tǒng)。
主數(shù)據(jù)管理涉及主數(shù)據(jù)的所有參與方,如用戶、應(yīng)用程序、業(yè)務(wù)流程等,創(chuàng)建并維護(hù)企業(yè)核心數(shù)據(jù)一致性、完整性、關(guān)聯(lián)性和正確性。主數(shù)據(jù)是企業(yè)內(nèi)外被廣泛應(yīng)用和共享的數(shù)據(jù),被譽(yù)為是企業(yè)數(shù)據(jù)資產(chǎn)中的“黃金數(shù)據(jù)”,主數(shù)據(jù)管理是撬動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的支點(diǎn),是企業(yè)數(shù)據(jù)治理最核心的部分。
6.數(shù)據(jù)資產(chǎn)
匯集企業(yè)所有能夠產(chǎn)生價(jià)值的數(shù)據(jù)資源,為用戶提供資產(chǎn)視圖,快速了解企業(yè)資產(chǎn),發(fā)現(xiàn)不良資產(chǎn),為管理員提供決策依據(jù),提升數(shù)據(jù)資產(chǎn)的價(jià)值。

睿治平臺(tái)中的數(shù)據(jù)資產(chǎn)管理
7.數(shù)據(jù)交換
用于實(shí)現(xiàn)不同機(jī)構(gòu)不同系統(tǒng)之間進(jìn)行數(shù)據(jù)或者文件的傳輸和共享,提高信息資源的利用率,保證了分布在異構(gòu)系統(tǒng)之間的信息的互聯(lián)互通,完成數(shù)據(jù)的收集、集中、處理、分發(fā)、加載、傳輸,構(gòu)造統(tǒng)一的數(shù)據(jù)及文件的傳輸交換。

睿治平臺(tái)中的數(shù)據(jù)交換
8.數(shù)據(jù)生命周期
任何事物都具有一定的生命周期,數(shù)據(jù)也不例外。從數(shù)據(jù)的產(chǎn)生、加工、使用乃至消亡都應(yīng)該有一個(gè)科學(xué)的管理辦法,將極少或者不再使用的數(shù)據(jù)從系統(tǒng)中剝離出來(lái),并通過(guò)核實(shí)的存儲(chǔ)設(shè)備進(jìn)行保留,不僅能夠提高系統(tǒng)的運(yùn)行效率,更好的服務(wù)客戶,還能大幅度減少因?yàn)閿?shù)據(jù)長(zhǎng)期保存帶來(lái)的儲(chǔ)存成本。

睿治平臺(tái)中的數(shù)據(jù)生命周期管理
數(shù)據(jù)生命周期一般包含在線階段、歸檔階段(有時(shí)還會(huì)進(jìn)一步劃分為在線歸檔階段和離線歸檔階段)、銷毀階段三大階段,管理內(nèi)容包括建立合理的數(shù)據(jù)類別,針對(duì)不同類別的數(shù)據(jù)制定各個(gè)階段的保留時(shí)間、存儲(chǔ)介質(zhì)、清理規(guī)則和方式、注意事項(xiàng)等。
9.數(shù)據(jù)安全
數(shù)據(jù)安全應(yīng)貫穿數(shù)據(jù)治理全過(guò)程,應(yīng)保證管理和技術(shù)兩條腿走路。從管理上,建立數(shù)據(jù)安全管理制度、設(shè)定數(shù)據(jù)安全標(biāo)準(zhǔn)、培養(yǎng)起全員的數(shù)據(jù)安全意識(shí)。從技術(shù)上,數(shù)據(jù)安全包括:數(shù)據(jù)的存儲(chǔ)安全、傳輸安全和接口安全等。當(dāng)然,安全與效率始終是一個(gè)矛盾體,數(shù)據(jù)安全管控越嚴(yán)格,數(shù)據(jù)的應(yīng)用就可能越受限。企業(yè)需要在安全、效率之間找到平衡點(diǎn)。數(shù)據(jù)安全管理主要有以下三個(gè)方面:

睿治平臺(tái)中的數(shù)據(jù)安全管理
(1)
數(shù)據(jù)存儲(chǔ)安全包括物理安全、系統(tǒng)安全存儲(chǔ)數(shù)據(jù)的安全,主要通過(guò)安全硬件的采購(gòu)來(lái)保障數(shù)據(jù)存儲(chǔ)安全。
(2)數(shù)據(jù)傳輸安全包括數(shù)據(jù)的加密和數(shù)據(jù)網(wǎng)絡(luò)安全控制,主要通過(guò)專業(yè)加密軟件廠商進(jìn)行規(guī)范設(shè)計(jì)和安裝。
(3)數(shù)據(jù)使用安全需要加強(qiáng)從業(yè)務(wù)系統(tǒng)層面進(jìn)行控制,防范非授權(quán)訪問(wèn)和下載打印客戶數(shù)據(jù)信息;部署客戶端安全控制工具,建立完善的客戶端信息防泄漏機(jī)制,防范將客戶端上存儲(chǔ)的個(gè)人客戶信息非授權(quán)傳播;建立完善的數(shù)據(jù)安全管理體系,建立數(shù)據(jù)安全規(guī)范制度體系,組建數(shù)據(jù)安全管理組織機(jī)構(gòu),建立有效的數(shù)據(jù)安全審查機(jī)制;對(duì)于生產(chǎn)及研發(fā)測(cè)試過(guò)程中使用的各類敏感數(shù)據(jù)進(jìn)行嚴(yán)密管理;嚴(yán)格與外單位合作中的個(gè)人客戶信息安全管理等。
五、企業(yè)數(shù)據(jù)治理需要注意什么?
數(shù)據(jù)治理是一個(gè)復(fù)雜的系統(tǒng)工程,涉及到企業(yè)和單位多個(gè)領(lǐng)域,既要做好頂層設(shè)計(jì),又要解決好統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一流程、統(tǒng)一管理體系等問(wèn)題,同時(shí)也要解決好
數(shù)據(jù)采集、
數(shù)據(jù)清洗、數(shù)據(jù)對(duì)接和應(yīng)用集成等相關(guān)問(wèn)題,這時(shí)就要注意以下方面:
1.跨組織的溝通協(xié)調(diào)問(wèn)題
數(shù)據(jù)治理是一個(gè)組織的全局性項(xiàng)目,需要IT部門與業(yè)務(wù)部門的傾力合作和支持,需要各個(gè)部門站在組織戰(zhàn)略目標(biāo)和組織長(zhǎng)遠(yuǎn)發(fā)展的視角來(lái)看待數(shù)據(jù)治理。因此,數(shù)據(jù)治理項(xiàng)目需要得到組織高層的支持,在條件允許的情況下,成立以組織高層牽頭的虛擬項(xiàng)目小組,會(huì)讓數(shù)據(jù)治理項(xiàng)目事半功倍。
2.投資決策的困難
組織的投資決策以能夠產(chǎn)生可預(yù)期的建設(shè)成效為前提,但往往綜合性的數(shù)據(jù)治理的成效并不能立馬體現(xiàn),它更像一個(gè)基礎(chǔ)設(shè)施,是以支撐組織戰(zhàn)略和長(zhǎng)期發(fā)展為目標(biāo),所以,導(dǎo)致此類項(xiàng)目無(wú)法界定明確的邊界和目標(biāo),從而難以作出明確的投資決策。
3.工作的持續(xù)推進(jìn)
數(shù)據(jù)治理是以支撐組織戰(zhàn)略和長(zhǎng)遠(yuǎn)發(fā)展為目標(biāo),應(yīng)當(dāng)不斷吸收新的數(shù)據(jù)來(lái)源,持續(xù)追蹤數(shù)據(jù)問(wèn)題并不斷改進(jìn),所以數(shù)據(jù)治理工作不應(yīng)當(dāng)是一錘子買賣,應(yīng)當(dāng)建立長(zhǎng)效的數(shù)據(jù)改進(jìn)機(jī)制,并在有條件的情況下,盡量自建數(shù)據(jù)治理團(tuán)隊(duì)。
4.技術(shù)選型
這幾年隨著大數(shù)據(jù)的發(fā)展,有針對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)的,有針對(duì)大數(shù)據(jù)數(shù)據(jù)庫(kù)的,再加上組織對(duì)自身數(shù)據(jù)資產(chǎn)情況沒(méi)有一個(gè)清晰的認(rèn)識(shí),這也就導(dǎo)致了數(shù)據(jù)治理的技術(shù)選型困難。
業(yè)界很多廠商都開(kāi)發(fā)了相關(guān)軟件工具,但多是單獨(dú)功能呈現(xiàn)的軟件,而億信華辰睿治
數(shù)據(jù)治理平臺(tái)是由元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)集成管理、主數(shù)據(jù)管理、數(shù)據(jù)交換管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理9大產(chǎn)品模塊組成的功能齊全的數(shù)據(jù)治理工具:

睿治數(shù)據(jù)治理平臺(tái)架構(gòu)圖
六、小結(jié)
數(shù)據(jù)被認(rèn)為是當(dāng)今時(shí)代企業(yè)的核心資產(chǎn),具有很高的價(jià)值。然而,數(shù)據(jù)本身并沒(méi)有什么價(jià)值,或者說(shuō)數(shù)據(jù)本身不會(huì)自動(dòng)產(chǎn)生價(jià)值。
一般來(lái)說(shuō),數(shù)據(jù)價(jià)值變現(xiàn)的方式有兩種,一種是通過(guò)數(shù)據(jù)治理將數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn),再把數(shù)據(jù)資產(chǎn)鏈接到提供數(shù)據(jù)資產(chǎn)交易的平臺(tái)上進(jìn)行交易,讓數(shù)據(jù)資產(chǎn)具有直接變現(xiàn)的能力;第二種是通過(guò)數(shù)據(jù)治理實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的匯集和預(yù)處理,在通過(guò)基于場(chǎng)景的算法將數(shù)據(jù)應(yīng)用到業(yè)務(wù)中去,讓數(shù)據(jù)產(chǎn)生洞察力,為管理和業(yè)務(wù)的創(chuàng)新提供支撐,讓數(shù)據(jù)具備間接變現(xiàn)的能力。
但以上兩種方式都離不開(kāi)數(shù)據(jù)治理,數(shù)據(jù)治理則是保障數(shù)據(jù)質(zhì)量和實(shí)現(xiàn)數(shù)據(jù)價(jià)值的基礎(chǔ),其目的是輸出高質(zhì)量數(shù)據(jù),并保證數(shù)據(jù)使用過(guò)程中的安全合規(guī)。
除此以外,我們還需要注意數(shù)據(jù)治理是一個(gè)持續(xù)性的服務(wù),而不是一個(gè)有著明確范圍的一錘子買賣。不能只依靠發(fā)現(xiàn)問(wèn)題之后去處理,更應(yīng)有前瞻意識(shí),時(shí)刻保持監(jiān)督與檢查。我們唯一能做的是根據(jù)業(yè)務(wù)發(fā)展和產(chǎn)品迭代狀況,及時(shí)調(diào)整數(shù)據(jù)治理的規(guī)則。
(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)