隨著數(shù)據(jù)和分析技術(shù)的變化,它們帶來了新的數(shù)據(jù)治理挑戰(zhàn)。當(dāng)然,數(shù)據(jù)治理有各種定義,具體取決于您詢問的對(duì)象。出于本文的目的,我們將其定義為確保數(shù)據(jù)生命周期中所有點(diǎn)的數(shù)據(jù)正確使用,完整性和安全性的實(shí)踐。換句話說,它是如何管理公司數(shù)據(jù)的計(jì)劃或“轉(zhuǎn)向”。這是一個(gè)不斷發(fā)展的生態(tài)系統(tǒng)。
涵蓋企業(yè)數(shù)據(jù)倉庫(EDW)系統(tǒng)的傳統(tǒng)治理措施仍然適用,但角色,最佳實(shí)踐和功能正在發(fā)生變化。治理實(shí)踐必須考慮現(xiàn)代數(shù)據(jù)技術(shù)和用例。例如,我們看到許多公司現(xiàn)在將原始數(shù)據(jù)源存儲(chǔ)在數(shù)據(jù)湖中,并為未預(yù)料到的用例“即時(shí)”集成它們。在其他情況下,角色隨著技術(shù)而變化。數(shù)據(jù)管理員現(xiàn)在是倡導(dǎo)者 - 而不是看門人 - 因?yàn)椴煌瑯I(yè)務(wù)部門之間的數(shù)據(jù)共享受到鼓勵(lì)。
隨著數(shù)據(jù)的期望和用例的增長和發(fā)展,您的思考方式和管理數(shù)據(jù)的要求也會(huì)發(fā)生變化。您需要開發(fā)一個(gè)更新的治理策略,以解決分布式數(shù)據(jù)平臺(tái)帶來的變化,不斷變化的治理角色,數(shù)據(jù)用例的爆炸性以及業(yè)務(wù)發(fā)展的不斷變化。
在這篇文章中,我們將詳細(xì)描述數(shù)據(jù)治理領(lǐng)域的變化,這些變化如何幫助您從數(shù)據(jù)中獲得更多價(jià)值,以及您和您的組織可以采取哪些措施來適應(yīng)這些變化。
舊的方式正在發(fā)生變化
在傳統(tǒng)的數(shù)據(jù)平臺(tái)中,數(shù)據(jù)來自少量策展源,被加載到RDB或EDW系統(tǒng)中,并通過BI報(bào)告工具進(jìn)行分析(圖1)。

圖1:傳統(tǒng)數(shù)據(jù)管道示例
在這樣的環(huán)境中,數(shù)據(jù)管理員能夠提前策劃數(shù)據(jù),因?yàn)?a href="http://m.122re.com/products/abi.html" title="數(shù)據(jù)分析" target="_blank">數(shù)據(jù)分析用例的數(shù)量是已知且有限的。由于策劃數(shù)據(jù)所涉及的工作,向模式添加字段或修改模式是一個(gè)漫長的過程。只有在仔細(xì)審查和廣泛審查后才會(huì)添加新的數(shù)據(jù)來源。
然而,今天,公司需要訪問許多新類型的數(shù)據(jù)以進(jìn)行探索和分析。由于公司已將這些新的非結(jié)構(gòu)化數(shù)據(jù)源放在分布式數(shù)據(jù)平臺(tái)中,因此數(shù)據(jù)不再僅存儲(chǔ)在EDW中用于報(bào)告。某些數(shù)據(jù)文件甚至是“讀取架構(gòu)”,其中在確定用例并進(jìn)行數(shù)據(jù)訪問之前未定義架構(gòu)。
為了增加一些挑戰(zhàn),隨著這些動(dòng)態(tài)集成案例的復(fù)雜性增加,數(shù)據(jù)質(zhì)量和數(shù)據(jù)沿襲跟蹤變得更加重要,特別是在涉及監(jiān)管和合規(guī)性時(shí)。今天的數(shù)據(jù)管道要復(fù)雜得多(圖2)。數(shù)據(jù)來自更多來源,存儲(chǔ)在許多地方,不斷完善,并可用于許多新類型的服務(wù)和應(yīng)用程序。

圖2:現(xiàn)代數(shù)據(jù)管道示例
一種常見的下意識(shí)反應(yīng)是公司采用其現(xiàn)有的數(shù)據(jù)治理實(shí)踐,即在唯一的數(shù)據(jù)存儲(chǔ)是EDW時(shí)設(shè)計(jì)的實(shí)踐,并將其應(yīng)用于這些新技術(shù)和需求。這可能感覺很舒服,但最終旨在與靈活性較低的系統(tǒng)一起使用的政策和用例最終會(huì)扼殺創(chuàng)新而不是啟用它。這是推動(dòng)數(shù)據(jù)治理現(xiàn)代化的動(dòng)力所在。
需要改變什么?
為了研究數(shù)據(jù)治理需要改變什么,讓我們從三個(gè)高級(jí)領(lǐng)域開始:
-
數(shù)據(jù)治理運(yùn)營模型
-
關(guān)于數(shù)據(jù)管理的觀點(diǎn),功能和流程(我們將管理權(quán)定義為負(fù)責(zé)管理和數(shù)據(jù)的可用性)
-
信息生命周期管理的視圖,功能和流程
注意:這三個(gè)組件本身并未發(fā)生變化,但相關(guān)活動(dòng),實(shí)踐或技術(shù)如何應(yīng)用于數(shù)據(jù)。
數(shù)據(jù)治理運(yùn)營模式的變化
以前,IT中的單個(gè)人或團(tuán)隊(duì)通常會(huì)針對(duì)業(yè)務(wù)線進(jìn)行治理。現(xiàn)在,隨著更多數(shù)據(jù)共享,數(shù)據(jù)治理專業(yè)人員必須跨業(yè)務(wù)線進(jìn)行協(xié)作。因此,數(shù)據(jù)治理更加協(xié)作,實(shí)際上集中和混合運(yùn)營模式,并且可能由首席數(shù)據(jù)官(CDO)負(fù)責(zé)。
數(shù)據(jù)管理變更
數(shù)據(jù)管理的角色和目標(biāo)現(xiàn)在專注于識(shí)別和實(shí)現(xiàn)您從數(shù)據(jù)中獲取價(jià)值的方式。數(shù)據(jù)管理員現(xiàn)在充當(dāng)數(shù)據(jù)倡導(dǎo)者,鼓勵(lì)在以前只在孤島中工作的不同業(yè)務(wù)線之間共享數(shù)據(jù)。管理員現(xiàn)在不會(huì)負(fù)責(zé)精心清理和管理數(shù)據(jù),而是像數(shù)據(jù)管理員那樣負(fù)責(zé)數(shù)據(jù),確保數(shù)據(jù)可用,并且可以針對(duì)意外的用例進(jìn)行集成。而不是通過書本數(shù)據(jù)監(jiān)控,管理員現(xiàn)在充當(dāng)數(shù)據(jù)管理員,在考慮數(shù)據(jù)質(zhì)量時(shí)對(duì)潛在用例采取更全面的觀點(diǎn)。
數(shù)據(jù)生命周期管理的變化
現(xiàn)在數(shù)據(jù)架構(gòu)包括EDW和分布式數(shù)據(jù)平臺(tái)(DDP)系統(tǒng),信息生命周期管理的治理流程也相應(yīng)發(fā)生了變化。EDW數(shù)據(jù)的政策仍然存在,但是新的數(shù)據(jù)已經(jīng)出現(xiàn)在進(jìn)入DDP的數(shù)據(jù)中。正如我們前面提到的,該技術(shù)更加靈活,因此不再需要數(shù)周或數(shù)月的時(shí)間來攝取新的數(shù)據(jù)源。由于它不必遵守嚴(yán)格的模式,因此可以在幾天內(nèi)或甚至更快地添加新數(shù)據(jù)。一旦攝取了新數(shù)據(jù),它就以原始格式存儲(chǔ),而不是預(yù)定義的模式。如果沒有這些預(yù)定義的模式,元數(shù)據(jù)捕獲和管理也變得更加重要,從而實(shí)現(xiàn)數(shù)據(jù)分類和探索。
圖3總結(jié)了這三個(gè)維度的變化。

雖然它們最初可能看起來勢(shì)不可擋,但這些變化實(shí)際上可以為您的公司帶來顯著的競爭優(yōu)勢(shì)。適當(dāng)?shù)臄?shù)據(jù)治理有助于降低成本,實(shí)現(xiàn)更好的決策,并通過數(shù)據(jù)共享增強(qiáng)協(xié)作。
你接下來的步驟是什么?
要真正利用現(xiàn)代數(shù)據(jù)治理提供的功能,您必須對(duì)您從何處開始進(jìn)行誠實(shí)的評(píng)估。跟著這些步驟:
-
確保您的組織具有數(shù)據(jù)治理的計(jì)劃和目標(biāo),包括確定您的治理優(yōu)先級(jí)。所有這些都應(yīng)符合您更大的業(yè)務(wù)目標(biāo)。
-
仔細(xì)查看您的數(shù)據(jù)治理角色,策略和實(shí)踐。他們中的任何一個(gè)都過時(shí)了嗎?
-
專注于您想要?jiǎng)?chuàng)建的結(jié)果和行為。確保您正確地平衡風(fēng)險(xiǎn)與從數(shù)據(jù)中獲取額外價(jià)值的能力。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)