2013年被眾多的IT人定義為中國的大數(shù)據(jù)元年，這一年國內(nèi)的大數(shù)據(jù)項目開始在交通、電信、金融部門被廣泛推動。各大銀行對Hadoop的規(guī)劃、POC尤其風生水起，帶動了一波大數(shù)據(jù)應用的熱潮，這個熱潮和當初數(shù)據(jù)倉庫進入中國時的2000年左右很相似：應用還沒有想好，先歸集一下數(shù)據(jù)，提供一些查詢和報表，以技術建設為主，業(yè)務推動為輔。這就導致了這股Hadoop熱潮起來的時候，傳統(tǒng)企業(yè)都是以數(shù)據(jù)歸集為主的，而BAT這樣的企業(yè)則天生以數(shù)據(jù)為生，早早進入了數(shù)據(jù)驅動技術和業(yè)務創(chuàng)新的階段。

隨著Hadoop技術的提升，數(shù)據(jù)如何進來，如何整合，開展什么樣的應用都已經(jīng)有了成熟的案例，可是，同傳統(tǒng)數(shù)倉時代一樣，垃圾進垃圾出，如何破？相比傳統(tǒng)數(shù)倉時代，進入Hadoop集群的數(shù)據(jù)更加的多樣、更加的復雜、量更足，這個數(shù)倉時代都沒有處理好的事情，如何能夠在大數(shù)據(jù)時代處理好，這是所有大數(shù)據(jù)應用者最最期盼的改變，也是大數(shù)據(jù)平臺建設者最有挑戰(zhàn)的難題：數(shù)據(jù)治理難的不是技術，而是流程，是協(xié)同，是管理。

數(shù)據(jù)治理并不等同于數(shù)據(jù)管理，而只是數(shù)據(jù)管理的頂層執(zhí)行層面。數(shù)據(jù)管理指規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)，發(fā)揮數(shù)據(jù)和信息資產(chǎn)的價值，強調(diào)在企業(yè)間或企業(yè)內(nèi)部進行。數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理活動行使權力和控制的活動集合（規(guī)劃、監(jiān)控和執(zhí)行）。數(shù)據(jù)治理制定正確的原則、政策、流程、操作規(guī)程，確保以正確的方式對數(shù)據(jù)和信息進行管理。

數(shù)據(jù)資產(chǎn)管理是業(yè)務部門和IT部門的共同職責，需要由業(yè)務部門和IT部門分別或共同制定相關決策，如業(yè)務運營模型、數(shù)據(jù)治理模型、企業(yè)信息模型、業(yè)務規(guī)范、信息規(guī)范、數(shù)據(jù)庫架構、數(shù)據(jù)倉庫/商務智能架構、元數(shù)據(jù)架構、技術元數(shù)據(jù)、數(shù)據(jù)安全管理等。

數(shù)據(jù)資產(chǎn)管理方法主要是面向數(shù)據(jù)的整個生命周期，從空間視角和時間視角實現(xiàn)治理和管控。從空間視角上看，因為數(shù)據(jù)在不同業(yè)務、不同系統(tǒng)中流動，因此數(shù)據(jù)治理必須實現(xiàn)跨系統(tǒng)、跨業(yè)務的端到端治理，需要有機構統(tǒng)籌規(guī)劃與決策、協(xié)調(diào)與推進。從時間視角上看，企業(yè)管理數(shù)據(jù)資產(chǎn)，就是管理數(shù)據(jù)的生命周期。數(shù)據(jù)首先被創(chuàng)建或獲得，然后存儲、維護和使用，最終被銷毀。因而有效的數(shù)據(jù)管理，開始于數(shù)據(jù)獲取之前，企業(yè)先期制定數(shù)據(jù)規(guī)劃、定義數(shù)據(jù)規(guī)范，以期獲得實現(xiàn)數(shù)據(jù)采集、交付、存儲和控制所需的技術能力。

數(shù)據(jù)資產(chǎn)管理主要工作包括數(shù)據(jù)治理政策制定、數(shù)據(jù)標準管理、數(shù)據(jù)結構管理、數(shù)據(jù)流管理、數(shù)據(jù)庫管理、數(shù)據(jù)運用管理、數(shù)據(jù)治理質量改善等方面。

數(shù)據(jù)管理是系統(tǒng)化的工程，不僅僅是單純的技術問題、管理問題或者實施問題，而是三者緊密聯(lián)系，共同發(fā)揮作用，共同促進數(shù)據(jù)管理機制完善并發(fā)揮作用的過程。相應的，大數(shù)據(jù)平臺數(shù)據(jù)治理也應采取分步驟實施，有序推進的策略。

建立完整的、科學的、安全的、高質量的數(shù)據(jù)管控技術體系，是首要的任務。作為數(shù)據(jù)管控的基石，為了更好支撐后續(xù)工作的開展，技術體系必須一步到位，是功能完備、高質量、高擴展性的，而不是僅實現(xiàn)部分功能，或者功能不完善的“半成品”。

疊加更多業(yè)務數(shù)據(jù)、細化數(shù)據(jù)業(yè)務屬性與管理屬性、優(yōu)化與調(diào)整數(shù)據(jù)管控流程，尤其是適應未來的現(xiàn)代企業(yè)數(shù)據(jù)管控制度的建立完善，是逐步積累推廣、不斷磨合改進的長期過程。這些工作應及早啟動，并成為后續(xù)大數(shù)據(jù)平臺建設工作的重點。

演進目標一般分為兩步走，當前和遠期。

當前要做的是功能框架的完善，而完善的著力點則是“數(shù)據(jù)資產(chǎn)目錄”：用資產(chǎn)化的視角來管理一個企業(yè)的數(shù)據(jù)，只有把數(shù)據(jù)作為資產(chǎn)來認識和管理，大數(shù)據(jù)項目才能達成預期，也能夠治理好。大數(shù)據(jù)時代帶來的價值，個人認為主要有兩個，一個是技術架構，主要是架構理念的進步，另外一個更重要的則是對數(shù)據(jù)的重視。大數(shù)據(jù)時代是數(shù)據(jù)的時代，IT向DT轉型，不單單是BAT，所有的IT公司，未來都在數(shù)據(jù)這兩個字上。

對于一個企業(yè)來說，把數(shù)據(jù)作為資產(chǎn)，才是建設大數(shù)據(jù)的最終目的，而不是僅僅是因為Hadoop架構帶來性價比和未來的擴展性。當一個企業(yè)把數(shù)據(jù)作為資產(chǎn)，他就像管理自己名下存折、信用卡一樣，定期梳理，無時無刻不關心資產(chǎn)的變化情況，關注資產(chǎn)的質量。

而資產(chǎn)目錄就是管理資產(chǎn)的形式和手段，他像菜單一樣對企業(yè)的資產(chǎn)進行梳理、分門別類，提供給使用者；使用者通過菜單，點選自己需要的數(shù)據(jù)，認可菜單對應的后端處理價值，后廚通過適當?shù)募庸ぃ瞥鱿鄳臄?shù)據(jù)服務；這是一個標準的流程，而這些流程之上，附著一整套數(shù)據(jù)管理目標和流程。

大數(shù)據(jù)平臺以數(shù)據(jù)資產(chǎn)目錄為核心，將元數(shù)據(jù)、數(shù)據(jù)標準、主數(shù)據(jù)、數(shù)據(jù)質量、數(shù)據(jù)生命周期、數(shù)據(jù)輪廓等信息在邏輯層面關聯(lián)起來，在管理層面上整合成統(tǒng)一的整體，構建起數(shù)據(jù)管理體系，全面的支持數(shù)據(jù)服務等具體應用。

大數(shù)據(jù)平臺實現(xiàn)了數(shù)據(jù)存儲、清洗和應用。在數(shù)據(jù)匯入和匯出的過程中，需要對數(shù)據(jù)的元數(shù)據(jù)進行統(tǒng)一記錄和管理，以利于后續(xù)的數(shù)據(jù)應用和數(shù)據(jù)血緣分析。數(shù)據(jù)質量一直是數(shù)據(jù)集成系統(tǒng)的基礎工作，對數(shù)據(jù)的各個環(huán)節(jié)設置數(shù)據(jù)質量檢查點，對數(shù)據(jù)質量進行剖析、評估，以保證后續(xù)應用的可信度。

在數(shù)據(jù)收集的過程中，隨著數(shù)據(jù)維度、指標的聚集，如何找到所需的業(yè)務指標及屬性，并且評估相關屬性的業(yè)務及技術細節(jié)，需要對收集的所有數(shù)據(jù)進行業(yè)務屬性，并進行分類，建立完善的數(shù)據(jù)資產(chǎn)目錄。

數(shù)據(jù)資產(chǎn)目錄是整個大數(shù)據(jù)平臺的數(shù)據(jù)管理基礎，而數(shù)據(jù)資產(chǎn)目錄由于數(shù)據(jù)的多樣性，在使用的過程中，必然涉及數(shù)據(jù)權限的申請、審批管控流程，而管控流程的建立依賴于相應崗位的設立和對應職責的建立。

大數(shù)據(jù)平臺的數(shù)據(jù)管理架構規(guī)劃，通過數(shù)據(jù)物理集中和數(shù)據(jù)邏輯整合，徹底擺脫企業(yè)“數(shù)據(jù)豎井”的困境。大數(shù)據(jù)平臺數(shù)據(jù)管理架構分為功能架構、流向規(guī)劃和數(shù)據(jù)架構三個層面。

數(shù)據(jù)管理功能架構：借鑒DAMA數(shù)據(jù)管理和DMM數(shù)據(jù)成熟度理論，著眼于數(shù)據(jù)管理技術和數(shù)據(jù)管理流程融合，組織數(shù)據(jù)管理功能。

數(shù)據(jù)流向規(guī)劃架構：規(guī)劃整個大數(shù)據(jù)平臺的數(shù)據(jù)流向，并在數(shù)據(jù)流入、數(shù)據(jù)整合、數(shù)據(jù)服務的具體環(huán)節(jié)實現(xiàn)精細化管理。

數(shù)據(jù)管理的數(shù)據(jù)架構：以數(shù)據(jù)資產(chǎn)目錄為核心，數(shù)據(jù)項為最小管理單元，將技術元數(shù)據(jù)（實體、屬性和關系）、業(yè)務元數(shù)據(jù)和管理元數(shù)據(jù)（數(shù)據(jù)標準、主數(shù)據(jù)、數(shù)據(jù)質量、數(shù)據(jù)安全）融合為彼此緊密聯(lián)系、密不可分的整體，共同構成精細化管理的數(shù)據(jù)基礎。

數(shù)據(jù)管理在整個大數(shù)據(jù)平臺不僅僅是一個主要功能模塊，它還是整個企業(yè)層面數(shù)據(jù)治理的重要組成部分，它是技術和管理流程的融合，也需要合理管控流程框架下組織機構之前的協(xié)調(diào)合作。如何利用統(tǒng)一的數(shù)據(jù)管理模塊對企業(yè)所有進入到數(shù)據(jù)湖的數(shù)據(jù)進行有效管控，不單單取決于數(shù)據(jù)管理模塊本身，也取決于元數(shù)據(jù)的合理采集、維護，組織結構及制度的強力支持保證。