數(shù)十年來(lái)，數(shù)據(jù)科學(xué)家已經(jīng)擁有沙箱來(lái)探索數(shù)據(jù)并找到有價(jià)值的見(jiàn)解。在看似愉快的折衷方案中，分析師可以快速加載，操縱和組合企業(yè)和行業(yè)數(shù)據(jù)，以尋找新的見(jiàn)解和預(yù)測(cè)，而無(wú)需擔(dān)心它們會(huì)危及敏感數(shù)據(jù)或生產(chǎn)工作流程。雖然這加速了創(chuàng)造新的見(jiàn)解，但將它們投入生產(chǎn)是一場(chǎng)噩夢(mèng)。在未部署的環(huán)境中創(chuàng)建的一組自定義代碼和數(shù)據(jù)需要在部署之前進(jìn)行轉(zhuǎn)換，質(zhì)量控制和優(yōu)化。企業(yè)通常需要一年的大部分時(shí)間才能從幾周內(nèi)收集的洞察中獲得價(jià)值。?

大數(shù)據(jù)的幽靈有可能使情況變得更糟- 在很大程度上?，F(xiàn)在，分析師們正在使用IT外部的數(shù)據(jù)結(jié)構(gòu)和編程語(yǔ)言。外部數(shù)據(jù)源的數(shù)量和復(fù)雜性正在爆炸式增長(zhǎng)。如果沒(méi)有新的方法，在大數(shù)據(jù)沙箱中發(fā)現(xiàn)的洞察力可能永遠(yuǎn)不會(huì)投入生產(chǎn)。?

所出現(xiàn)的是一種新的范例，它將數(shù)據(jù)治理- 大多數(shù)分析師的詛咒這一術(shù)語(yǔ) - 帶入了大數(shù)據(jù)。但是，大數(shù)據(jù)治理不是嚴(yán)格限制數(shù)據(jù)使用和文檔，而是靈活，協(xié)作和高效。它使分析師參與而非分離，以獲取他們的學(xué)習(xí)以加速生產(chǎn)準(zhǔn)備。最重要的是，它取代了沙箱數(shù)據(jù)的大規(guī)模轉(zhuǎn)換，并采用“促銷(xiāo)”流程，確保分析數(shù)據(jù)在大數(shù)據(jù)平臺(tái)上生產(chǎn)就緒。?

大數(shù)據(jù)治理要求我們從頭開(kāi)始重新思考治理。大數(shù)據(jù)治理不是物理地分離沙箱和生產(chǎn)數(shù)據(jù)，而是邏輯地控制訪問(wèn)和使用，因?yàn)閿?shù)據(jù)從“原始”到“準(zhǔn)備”成熟。您如何判斷數(shù)據(jù)是否已準(zhǔn)備好生產(chǎn)？元數(shù)據(jù)。任何支持生產(chǎn)使用的大數(shù)據(jù)平臺(tái)都必須具有跟蹤數(shù)據(jù)攝取，驗(yàn)證，準(zhǔn)備和使用生命周期的元數(shù)據(jù)。元數(shù)據(jù)需要管理數(shù)據(jù)訪問(wèn)權(quán)限，捕獲數(shù)據(jù)分析結(jié)果以及數(shù)據(jù)開(kāi)發(fā)人員和最終用戶(hù)的評(píng)論。元數(shù)據(jù)存儲(chǔ)定義生產(chǎn)準(zhǔn)備的策略，并能夠?qū)嵤┧鼈儭](méi)有元數(shù)據(jù)，數(shù)據(jù)湖就變成了數(shù)據(jù)沼澤。?

但為了實(shí)現(xiàn)這一點(diǎn)，元數(shù)據(jù)捕獲必須是自動(dòng)化和相關(guān)的。大數(shù)據(jù)治理的第二個(gè)原則與當(dāng)前的教條相矛盾：從一開(kāi)始就使用模式來(lái)豐富元數(shù)據(jù)。大多數(shù)業(yè)務(wù)數(shù)據(jù)都是結(jié)構(gòu)化的，無(wú)論是關(guān)系數(shù)據(jù)庫(kù)，日志文件，XML還是大型機(jī)副本。該結(jié)構(gòu)可用于自動(dòng)評(píng)估原始數(shù)據(jù)的質(zhì)量，完整性和內(nèi)容。這不僅為分析師提供了對(duì)數(shù)據(jù)的洞察力，還建立了一個(gè)可以構(gòu)建的元數(shù)據(jù)基礎(chǔ)。

大數(shù)據(jù)治理的第三個(gè)原則是記分卡驅(qū)動(dòng)的優(yōu)先級(jí)。并非所有數(shù)據(jù)都需要嚴(yán)格的質(zhì)量和訪問(wèn)管理。實(shí)際上，假設(shè)大多數(shù)原始數(shù)據(jù)都不會(huì)被使用- 因此豐富其元數(shù)據(jù)是浪費(fèi)時(shí)間。相反，記分卡是為數(shù)據(jù)的各種用途而創(chuàng)建的 - 合規(guī)報(bào)告，營(yíng)銷(xiāo)分析，供應(yīng)鏈分析等。某些策略適用于所有記分卡 - 需要屏蔽PII數(shù)據(jù) - 其他則非常具體 - 需要數(shù)據(jù)沿襲所有合規(guī)報(bào)告。使用元數(shù)據(jù)基礎(chǔ)，可以輕松地為任何數(shù)據(jù)集創(chuàng)建記分卡。然后，這些記分卡用于識(shí)別治理工作并確定其優(yōu)先級(jí)，以使最重要的數(shù)據(jù)生產(chǎn)就緒。?

從哪兒開(kāi)始？如果您的數(shù)據(jù)庫(kù)元數(shù)據(jù)較差，那么就建議您先評(píng)估現(xiàn)有資產(chǎn)的質(zhì)量和內(nèi)容。自動(dòng)化工具可以填充元數(shù)據(jù)存儲(chǔ)庫(kù)，作為創(chuàng)建記分卡的基礎(chǔ)。使湖泊的內(nèi)容和質(zhì)量透明是邁向大數(shù)據(jù)治理的第一步。