如果您正在開始一個大數(shù)據(jù)項目，那么您可能會遇到一個或多個數(shù)據(jù)管理挑戰(zhàn)。您就如何實施數(shù)據(jù)治理以及如何控制數(shù)據(jù)流所做出的決策可能會影響您的項目。

以下是您應(yīng)該避免的五個數(shù)據(jù)治理錯誤：

1.您沒有數(shù)據(jù)治理策略

如果你對自己說，“嗯，什么是數(shù)據(jù)治理？”那么你很可能

犯這個錯誤。數(shù)據(jù)治理是指一種總體戰(zhàn)略，它定義了組織如何確保他們使用的數(shù)據(jù)清晰，準(zhǔn)確，可用和安全。

當(dāng)您的組織開始執(zhí)行大數(shù)據(jù)項目時，您通常會以臨時方式解決這些挑戰(zhàn)中的一個或多個。這種方法可能會持續(xù)一段時間，但隨著您獲得大數(shù)據(jù)成功并承擔(dān)更復(fù)雜的項目，缺乏治理可能會再次困擾您。

數(shù)據(jù)治理策略有幾個組成部分，包括：設(shè)置指示數(shù)據(jù)存儲和保護(hù)方式的流程;?制定一套標(biāo)準(zhǔn)和程序，以確保授權(quán)人員如何訪問和使用數(shù)據(jù);?并設(shè)置控制和程序以確保遵守規(guī)則。

與生活和IT中的大多數(shù)事物一樣，數(shù)據(jù)治理無法實現(xiàn)“設(shè)置并忘記”的心態(tài)。從數(shù)據(jù)治理計劃開始，然后隨著時間的推移逐步擴(kuò)展，以滿足組織的特定需求。

2.對Unicorns的依賴太多了

許多商店都會向他們的數(shù)據(jù)科學(xué)家（即獨角獸）求助于與大數(shù)據(jù)相關(guān)的所有事務(wù)。像可憐的磨坊主一樣

誰發(fā)現(xiàn)他可以將稻草變成黃金，企業(yè)老板希望他們的獨角獸能夠?qū)⒃紨?shù)據(jù)神奇地轉(zhuǎn)化為可操作的洞察力。

這種方法可能不會長期有效。事實上，如果你足夠幸運地獲得了一只獨角獸，那么你付出太多代價就不會讓他們成為“數(shù)據(jù)管理員”，更不用說負(fù)責(zé)整個數(shù)據(jù)治理策略了。

數(shù)據(jù)治理最好由來自IT部門，業(yè)務(wù)線和合規(guī)性的數(shù)據(jù)利益相關(guān)者集合領(lǐng)導(dǎo)。數(shù)據(jù)治理研究所還建議雇用數(shù)據(jù)治理官（DGO）。

3.讓架構(gòu)運行狂野

這個錯誤通常與數(shù)據(jù)湖的實施同時發(fā)生。HDFS的寬恕使您可以將任何類型的數(shù)據(jù)與任何類型的數(shù)據(jù)放入Hadoop數(shù)據(jù)湖中，并擔(dān)心以后將其排序。

這種“讀取模式”方法可能適用于某些類型的數(shù)據(jù)，尤其是那些經(jīng)常更改并且無法歸入預(yù)先設(shè)定的模式的數(shù)據(jù)。但是讀取模式只能帶你到目前為止，并且在某些時候，必須強(qiáng)制執(zhí)行模式。

Hadoop帶來了大量的數(shù)據(jù)處理引擎，如Spark，Pig和良好的舊MapReduce，可幫助您為數(shù)據(jù)提供形狀和形式 - 即使其可用。讀取模式與核心數(shù)據(jù)治理主體相反，后者要求您知道要存儲和處理的數(shù)據(jù)類型。

4.永遠(yuǎn)存儲一切

良好的數(shù)據(jù)治理策略的一個重要方面是數(shù)據(jù)

退休。在某些時候，每一塊數(shù)據(jù)都必須進(jìn)入天空中那個偉大的回收箱。但很多時候，組織決定再也不會丟棄另一條數(shù)據(jù)。

如果你的組織遵循這個“保持一切”的命令，祝你好運。你可能需要很多額外的周期來保持腐爛的垃圾堆順序。請考慮最新Veritas的2016年數(shù)據(jù)基因組學(xué)指數(shù)調(diào)查中的統(tǒng)計數(shù)據(jù)，該調(diào)查發(fā)現(xiàn)，目前普通組織存儲的數(shù)據(jù)中有40％到60％是冗余，過時或無關(guān)緊要（ROT）。

組織每年花費數(shù)百萬美元存儲他們永遠(yuǎn)不會使用的數(shù)據(jù)。這不僅僅是良好的商業(yè)意識的失敗 - 它是數(shù)據(jù)治理的失敗。

5.不使用電動工具

因此，有一個有效的數(shù)據(jù)治理策略。您需要合適的人員來實施它，您需要一個良好的策略來規(guī)劃優(yōu)先級和一般策略，并且您需要良好的流程來幫助您在日常的基礎(chǔ)上實施數(shù)據(jù)治理。

但是也有一個案例可以讓合適的產(chǎn)品發(fā)揮作用。沒有一個工具可以解決您的每個數(shù)據(jù)治理挑戰(zhàn)。但是，大數(shù)據(jù)生態(tài)系統(tǒng)正在提供越來越引人注目的工具集，這些工具可以幫助自動化大塊數(shù)據(jù)。

例如，Apache Atlas（孵化）等工具是Hortonworks數(shù)據(jù)治理計劃的開源數(shù)據(jù)治理框架，它有助于在Hadoop環(huán)境中實施數(shù)據(jù)控制。數(shù)據(jù)質(zhì)量工具也有助于解決數(shù)據(jù)治理挑戰(zhàn)的特定方面。

在最近的杠桿大數(shù)據(jù)'16活動中，湯普森路透社技術(shù)部門全球業(yè)務(wù)總監(jiān)Asif Alam承認(rèn)，數(shù)據(jù)治理是一個巨大而且不斷增長的挑戰(zhàn)，但他補(bǔ)充說，工具正在使事情變得更好。“我們現(xiàn)在解決的問題在三年前無法解決，”阿拉姆說。