當我在1983年開始擔任數據庫管理員時，一切都是關于技術的集中化。數據安全地存儲在企業大型機上，只有具備導航預處理數據庫技能的程序員才能訪問它。將近四十年后，全部都是關于數據民主化以及強大的數據治理戰略的需求。

在當天，業務分析師不得不對IT部門負責，因為他們不知道如何導航信息管理系統數據庫，即使他們可以也不會被授予訪問權限。IT部門打印出月度報告并分發它們，就像摩西從石頭上下山一樣。

隨著個人計算機的出現，權力的平衡從根本上發生了變化。突然之間，商人可以訪問電子表格，并可以創建自己的計算和分析，即使數據仍然大部分無法觸及。然后是客戶端/服務器計算和急于分散數據，帶來了新的可能性，但也因為不同部門使用不同版本的數據而產生混淆。分析師爭論誰的版本是正確的。分析現在可以由業務分析師完成，但如果沒有就數據源的合法性達成一致，則會出現混亂。

數據治理的曙光

IT部門使用數據倉庫進行響應，數據倉庫會在斷開連接的交易系統中收集數據，僅用于分析。出現了聰明的報告工具，可以更輕松地操作，加入和匯總原始交易表，甚至可以將它們下載到電子表格中。當然，原始數據仍然存儲在不同的應用程序和格式中，但只要付出足夠的努力，就可以誘使數據倉庫理解所有這些，提供客戶，產品，資產和位置等維度。但是，要實際生成一致的客戶和產品列表，必須解決底層系統的不一致問題。

主數據管理（MDM）誕生了，與此同時，還需要數據治理策略。鼓勵或哄騙業務用戶決定哪些客戶和產品的分類是“黃金記錄”，要在整個企業中高舉，哪些將被投入到部門特定的本地術語的荒野中。這是一個經常激烈的過程，不同的部門爭論哪個是分類數據的最佳方式。一些公司文化比其他文化更適合這種方法。高度集中的公司習慣于從高度但分散的方式決定結構，并努力保持數據治理結構。這些公司的分析師認為自己是自由戰士，而中央辦公室的分析師則認為他們是數據恐怖分子。

很明顯，至少在很多公司中，自由戰士現在方興未艾。這標志著數據準備工具的市場不斷增長。這些產品能夠訪問來自各種來源的數據，包括傳統數據庫，應用程序包，Excel或企業防火墻外的應用程序。它們支持一些數據質量技術，例如分析，并使業務用戶能夠設置數據轉換，并通過可重復的工作流程自動執行此類提取，數據清理和轉換。這些工具擁有自己的分析工具，或者可以調用最新的可視化和數據挖掘產品，使分析師能夠根據自己的內容處理數據。

如果企業數據倉庫和MDM正在開展工作，那么這樣的市場就不會存在。數據準備，質量檢查和轉換正是準備將數據輸入數據倉庫的準備。麻煩的是公司數據倉庫已超出其自然限制。數據現在來自各種各樣的來源 - 其中大部分來自企業之外 - 并且在這樣的數量中傳統方法正在崩潰。電子商務系統可以生成如此大小的網絡流量日志，使得普通數據庫不能處理該處理。車輛和機械上的傳感器現在產生大量的流數據：波音787每次飛行產生幾乎1TB的數據。其他行業也是如此，有汽車，家庭中的智能電表甚至是道路上的傳感器都會產生大量的數據進行分析。所有這些都是傳統企業數據以及來自業務合作伙伴和數據經紀人的數據的補充。有了這么多數據，誰有時間參加會議討論不同客戶分類層次結構的優點？

掌握數據管理

公司需要以某種方式收回對這種快速流動的數據流的控制，如果他們要理解它的話。如果沒有辦法深入了解數據湖并理解它，數據湖就成了數據沼澤。數據治理策略可能不是一個性感的主題，但它是需要發生的事情的核心。那些使用新工具構建自己的提取和轉換的分析師需要幫助決定如何管理數據，因為如果你不能就底層數據是否值得信任達成一致，所有漂亮的圖表和AI工具都沒有任何意義。

在沒有某種結構的情況下，我們將回到過去，分析師互相交換圖表并爭論誰的數據是正確的。將數據精靈放回瓶子中將是困難的并且需要紀律，但是在所有太多的組織中，事情現在感覺混亂而不是管理。它不是要從高層實施規則，而是要在整個組織層面嵌入分析和數據管理規程。否則，有價值的商業見解可能會被忽視，競爭優勢也會喪失。

一個2018麥肯錫的報告忽視高績效的公司也比兩倍，可能有一個強大的數據治理策略和可能有一個清晰和易于理解的數據戰略的兩倍以上。同一份報告認為，表現優異的人與包裝之間的差距正在迅速擴大。如果您要利用分析并獲得業務優勢，時間至關重要。