數(shù)據(jù)治理功能方面
數(shù)據(jù)規(guī)模大并且成熟企業(yè)中數(shù)據(jù)治理通常包含以下幾個(gè)功能方面: 數(shù)據(jù)治理包括
主數(shù)據(jù)管理、
元數(shù)據(jù)管理、
數(shù)據(jù)標(biāo)準(zhǔn)管理、
數(shù)據(jù)質(zhì)量管理、
數(shù)據(jù)集成管理、
數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)交換管理、數(shù)據(jù)生命周期管理方面。
一、
主數(shù)據(jù)管理
主數(shù)據(jù)(Master Data)就是關(guān)于業(yè)務(wù)實(shí)體的數(shù)據(jù)。主數(shù)據(jù)是關(guān)鍵業(yè)務(wù)實(shí)體的最權(quán)威、最準(zhǔn)確、價(jià)值最大的數(shù)據(jù),用于建立交易閉環(huán)。例如對(duì)于銀行來說,用戶賬號(hào)、貸款賬號(hào)信息、理財(cái)產(chǎn)品等就是主數(shù)據(jù);對(duì)于電商網(wǎng)站,用戶、商品就是主數(shù)據(jù)等。主數(shù)據(jù)管理包括主數(shù)據(jù)申請(qǐng)、主數(shù)據(jù)發(fā)布、主數(shù)據(jù)分發(fā)等。
二、元數(shù)據(jù)管理
元數(shù)據(jù)(Meta-data)是描述數(shù)據(jù)的數(shù)據(jù)。例如一個(gè)文本數(shù)據(jù)的大小,位置,創(chuàng)建人,創(chuàng)建日期等,這些數(shù)據(jù)就是該文本文件的元數(shù)據(jù)。元數(shù)據(jù)又分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)、管理元數(shù)據(jù)。
業(yè)務(wù)元數(shù)據(jù):與業(yè)務(wù)規(guī)則、流程相關(guān)的描述性數(shù)據(jù)。例如:人員信息數(shù)據(jù)中的統(tǒng)計(jì)時(shí)間、統(tǒng)計(jì)周期、統(tǒng)計(jì)區(qū)域范圍等。
技術(shù)元數(shù)據(jù):與存儲(chǔ)、訪問等技術(shù)底層相關(guān)描述性數(shù)據(jù)。例如:人員信息
數(shù)據(jù)存儲(chǔ)在的位置、訪問的 URL 地址,數(shù)據(jù)存儲(chǔ)庫,對(duì)應(yīng)的表名,字段有哪些等。
操作元數(shù)據(jù):與數(shù)據(jù)操作相關(guān)的描述性數(shù)據(jù)。例如:人員信息數(shù)據(jù)上傳人,上傳時(shí)間,修改時(shí)間等。
管理元數(shù)據(jù):與數(shù)據(jù)管理相關(guān)的描述性數(shù)據(jù)。例如:人員信息數(shù)據(jù)訪問權(quán)限,安全等級(jí),質(zhì)量等級(jí),過期時(shí)間等。
元數(shù)據(jù)就是為了準(zhǔn)確的描述我們擁有的所有數(shù)據(jù)。其核心的目的是降低人與數(shù)據(jù)之間的溝通成本。描述的越準(zhǔn)確,我們使用數(shù)據(jù)的成本就越低。元數(shù)據(jù)管理主要包括元
數(shù)據(jù)采集、血緣分析、影響分析等。
三、數(shù)據(jù)標(biāo)準(zhǔn)管理
數(shù)據(jù)標(biāo)準(zhǔn)(Data Standards)是進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化的主要依據(jù),構(gòu)建一套完整的數(shù)據(jù)標(biāo)準(zhǔn)體系是開展數(shù)據(jù)標(biāo)準(zhǔn)管理工作的良好基礎(chǔ),有利于打通數(shù)據(jù)底層的互通性,提升數(shù)據(jù)的可用性。用通俗的話講數(shù)據(jù)標(biāo)準(zhǔn)就是在組織內(nèi)定義一套關(guān)于數(shù)據(jù)的規(guī)范,好讓我們都能理解這些數(shù)據(jù)的含義。例如:對(duì)于銀行系統(tǒng)中的客戶,核心系統(tǒng)人員認(rèn)為在銀行開戶存錢的人就是客戶,信貸系統(tǒng)人員認(rèn)為在銀行中貸款的人就是客戶,理財(cái)系統(tǒng)的人認(rèn)為理財(cái)?shù)娜司褪强蛻舻取?br>
以上如果沒有統(tǒng)一標(biāo)準(zhǔn)的話,不僅增加溝通成本,而且項(xiàng)目實(shí)施、交付、信息共享、數(shù)據(jù)集成、協(xié)同工作往往會(huì)出現(xiàn)各種問題,而數(shù)據(jù)標(biāo)準(zhǔn)管理就是將這一套數(shù)據(jù)標(biāo)準(zhǔn),通過各種管理活動(dòng),推動(dòng)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的一個(gè)過程,是數(shù)據(jù)標(biāo)準(zhǔn)落地必不可少的過程。數(shù)據(jù)標(biāo)準(zhǔn)管理包括標(biāo)準(zhǔn)定義、標(biāo)準(zhǔn)查詢、標(biāo)準(zhǔn)發(fā)布。
四、數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量就是確保組織擁有的數(shù)據(jù)完整且準(zhǔn)確,只有完整、準(zhǔn)確的數(shù)據(jù)才可以供企業(yè)分析、共享使用,隨著公司數(shù)據(jù)的來源、形式越來越多,數(shù)據(jù)質(zhì)量的戰(zhàn)略價(jià)值也急劇上升。例如:檢查某業(yè)務(wù)數(shù)據(jù)唯一性、完整性、數(shù)據(jù)流程轉(zhuǎn)換過程一致性、數(shù)據(jù)真實(shí)性等。數(shù)據(jù)質(zhì)量管理包括質(zhì)量規(guī)則定義、質(zhì)量檢查、質(zhì)量報(bào)告等。
五、數(shù)據(jù)集成管理
數(shù)據(jù)集成是把不同來源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)的集中,從而為企業(yè)提供全面的數(shù)據(jù)共享,企業(yè)實(shí)現(xiàn)數(shù)據(jù)共享可以使用更過的人更充分地使用已有數(shù)據(jù)資源,減少資料收集、數(shù)據(jù)采集等重復(fù)勞動(dòng)和相應(yīng)費(fèi)用, 在大數(shù)據(jù)中一般采用
數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)集成管理。數(shù)據(jù)集成包括數(shù)據(jù)處理、數(shù)據(jù)加工、數(shù)據(jù)匯集等。
六、數(shù)據(jù)資產(chǎn)管理
數(shù)據(jù)資產(chǎn)管理就是匯總、存儲(chǔ)所有參與
數(shù)據(jù)治理平臺(tái)的各個(gè)系統(tǒng)的數(shù)據(jù)資產(chǎn),確保數(shù)據(jù)資產(chǎn)的一致性和完整性,讓管理者可以一目了然的了解到所有資產(chǎn),提供決策依據(jù),提升數(shù)據(jù)資產(chǎn)的價(jià)值。例如:數(shù)據(jù)倉庫中存儲(chǔ)的各類數(shù)據(jù)就是資產(chǎn),如果不做數(shù)據(jù)資產(chǎn)管理來了數(shù)據(jù)之后就直接存儲(chǔ),用戶查找響應(yīng)數(shù)據(jù)就需要慢慢去查詢,效率低下,如果對(duì)數(shù)據(jù)做了資產(chǎn)管理分類,就可以輕松獲取對(duì)應(yīng)類別全部數(shù)據(jù)及位置,結(jié)合數(shù)據(jù)生命周期管理還可清楚知道數(shù)據(jù)進(jìn)入數(shù)倉時(shí)間,移出數(shù)倉時(shí)間等。
數(shù)據(jù)資產(chǎn)管理的重要性隨著企業(yè)的發(fā)展,企業(yè)擁有的數(shù)據(jù)資產(chǎn)只會(huì)越來越龐雜,通過數(shù)據(jù)資產(chǎn)管理對(duì)資產(chǎn)進(jìn)行有序的管理、提升數(shù)據(jù)利用價(jià)值是必不可少的環(huán)節(jié)。數(shù)據(jù)資產(chǎn)處理不當(dāng),數(shù)據(jù)繁雜無序,那么這些數(shù)據(jù)將不再是資產(chǎn),而是垃圾,隨著系統(tǒng)更新?lián)Q代,我們將會(huì)永遠(yuǎn)丟失這部分資產(chǎn)。數(shù)據(jù)資產(chǎn)管理包括數(shù)據(jù)資產(chǎn)編目、數(shù)據(jù)資產(chǎn)服務(wù)、數(shù)據(jù)資產(chǎn)審批
七、數(shù)據(jù)安全管理
企業(yè)有些數(shù)據(jù)非常重要且敏感,這些數(shù)據(jù)大部分集中在應(yīng)用系統(tǒng)中,例如銀行系統(tǒng)中客戶的聯(lián)絡(luò)信息、資產(chǎn)信息等,如果不慎泄露,不僅給客戶帶來損失,也會(huì)給銀行帶來不利的聲譽(yù)影響,因此數(shù)據(jù)安全在數(shù)據(jù)管理和治理過程中是相當(dāng)重要的。數(shù)據(jù)安全管理包括數(shù)據(jù)權(quán)限管理、數(shù)據(jù)脫敏、數(shù)據(jù)加密等。
八、數(shù)據(jù)生命周期管理
任何事物都具有一定的生命周期,數(shù)據(jù)也不例外。從數(shù)據(jù)的產(chǎn)生、加工、使用乃至消亡都應(yīng)該有一個(gè)科學(xué)的管理辦法,將極少或者不再使用的數(shù)據(jù)從系統(tǒng)中剝離出來,并通過核實(shí)的存儲(chǔ)設(shè)備進(jìn)行保留,不僅能夠提高系統(tǒng)的運(yùn)行效率,更好的服務(wù)客戶,還能大幅度減少因?yàn)閿?shù)據(jù)長期保存帶來的儲(chǔ)存成本。
數(shù)據(jù)生命周期一般包含在線階段、歸檔階段(有時(shí)還會(huì)進(jìn)一步劃分為在線歸檔階段和離線歸檔階段,即離線數(shù)倉和實(shí)時(shí)數(shù)倉構(gòu)建,將數(shù)據(jù)存入數(shù)倉)、銷毀階段三大階段,數(shù)據(jù)生命周期管理內(nèi)容包括建立合理的數(shù)據(jù)類別,針對(duì)不同類別的數(shù)據(jù)制定各個(gè)階段的保留時(shí)間、存儲(chǔ)介質(zhì)、清理規(guī)則和方式、注意事項(xiàng)等。
九、數(shù)據(jù)交換管理
企業(yè)中隨著時(shí)間和業(yè)務(wù)增長建立了眾多的信息系統(tǒng),但是隨著信息系統(tǒng)的增加,各自孤立工作的信息系統(tǒng)將會(huì)造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動(dòng)。例如數(shù)據(jù)倉庫 DM 層分析人員信息中缺失數(shù)據(jù),可以通過數(shù)據(jù)交換系統(tǒng)反哺到業(yè)務(wù)系統(tǒng)中,避免重復(fù)勞動(dòng)。企業(yè)急需通過建立底層數(shù)據(jù)集成平臺(tái)來聯(lián)系橫貫整個(gè)企業(yè)的異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源等,完成在企業(yè)內(nèi)部的 ERP、CRM、SCM、數(shù)據(jù)庫、數(shù)據(jù)倉庫,以及其它重要的內(nèi)部系統(tǒng)之間無縫的共享和交換數(shù)據(jù),避免“數(shù)據(jù)孤島”問題。
以上幾個(gè)方面相輔相成,每個(gè)公司根據(jù)每個(gè)公司的數(shù)據(jù)規(guī)模不同建設(shè)的數(shù)據(jù)治理方面不同,其中以上幾個(gè)方面中數(shù)據(jù)治理基礎(chǔ)方面有數(shù)據(jù)集成管理、數(shù)據(jù)質(zhì)量管理,元數(shù)據(jù)管理,數(shù)據(jù)安全管理。前面課程中學(xué)習(xí)過的數(shù)據(jù)倉庫項(xiàng)目構(gòu)建數(shù)倉就相當(dāng)于是一個(gè)數(shù)據(jù)集成管理過程,下面重點(diǎn)介紹數(shù)據(jù)質(zhì)量管理,元數(shù)據(jù)管理,數(shù)據(jù)安全管理三方面。
實(shí)施有效的數(shù)據(jù)治理可以確保企業(yè)數(shù)據(jù)符合重要的數(shù)據(jù)法規(guī),數(shù)據(jù)標(biāo)準(zhǔn)化可以提高數(shù)據(jù)的透明度,降低使用數(shù)據(jù)的成本,提高運(yùn)營效率,數(shù)據(jù)治理是所有
數(shù)據(jù)應(yīng)用的根基,數(shù)據(jù)治理的好壞直接影響數(shù)據(jù)應(yīng)用的價(jià)值,通過數(shù)據(jù)治理可以給企業(yè)提供更直觀、準(zhǔn)確、安全的
數(shù)據(jù)分析結(jié)果
十、數(shù)據(jù)治理思維導(dǎo)圖

(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)