01 那些讓人眼花繚亂的概念

不知道大家有沒有發(fā)現(xiàn)，這幾年的數(shù)據(jù)領(lǐng)域有好多的概念，例如：大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、邊緣計算、數(shù)據(jù)治理、數(shù)據(jù)湖、數(shù)據(jù)中臺、數(shù)據(jù)可視化……。這說明數(shù)據(jù)這個領(lǐng)域真的很“火”，可謂是“百花齊放”！

新技術(shù)、新概念的出現(xiàn)，為企業(yè)業(yè)務和管理的創(chuàng)新，社會經(jīng)濟的發(fā)展，注入新活力，激發(fā)新動能。很多企業(yè)都認識到了數(shù)據(jù)的重要性，數(shù)據(jù)是企業(yè)的重要資產(chǎn)，成為了企業(yè)的普遍共識。這激活了企業(yè)創(chuàng)新和改革的動力，加速了企業(yè)向互聯(lián)網(wǎng)化、數(shù)字化方向的轉(zhuǎn)型，提高了企業(yè)跨行業(yè)、跨領(lǐng)域的學習能力，推動了整個社會的數(shù)字化發(fā)展。

紛至沓來的新概念在推動社會的數(shù)字化發(fā)展的同時，給相關(guān)領(lǐng)域的從業(yè)人員帶來了一定的困惑。一個新概念還未來及吸收和消化，新新的概念又來了。再加上，一些“別有用心”的廠商不遺余力的“忽悠”和“炒作”，導致了很多人的迷茫困惑、心浮氣躁！有的人一味追求新概念、新技術(shù)而脫離了業(yè)務、脫離了實際，認為新概念（例如：數(shù)據(jù)中臺）能夠“包治百病”，一些企業(yè)花費很大的成本買來數(shù)據(jù)中臺之后才發(fā)現(xiàn)：在人家那兒是治病的良藥，而到了你這里卻成了“埋人的深坑”。所以有人叫苦道：“中臺搞了2年，項目叫停，CIO被裁！本以為是個送分題，沒想到是個送命題！”

面對著紛繁蕪雜的新概念，面對著浩瀚的數(shù)字化海洋，面對著“廠商們”的炒作，不論是企業(yè)，還是我們這些IT從業(yè)人員，都需要保持好初心，堅守初衷。不要看：“人家都【數(shù)據(jù)中臺】了，你還在做數(shù)據(jù)報表，人家都【數(shù)據(jù)湖】了，你還在搞數(shù)據(jù)倉庫，人家都【人工智能】了，你還在抽數(shù)、取數(shù)”！

這里說明下，我并不是一個頑固的守舊派，也不是排斥新概念、新技術(shù)。反而，我也非常喜歡研究一些新概念，也非常支持大家對新的概念、技術(shù)進行探索和實踐。但要強調(diào)的是，企業(yè)也好，個人也好，在使用引進或使用一個新概念和新技術(shù)的同時，不要忘記問自己：我們使用它們的初衷是什么？我們的本質(zhì)需求是什么？要用這些新的概念和技術(shù)來幫我們解決什么問題？……

堅守初心，不被繁雜的概念所迷惑，才能找到適合企業(yè)或個人的數(shù)字化轉(zhuǎn)型之路！

02 數(shù)據(jù)湖和數(shù)據(jù)中臺的概念

我們先說說數(shù)據(jù)湖

數(shù)據(jù)湖(Data Lake)概念最早是2011年由CITO Research網(wǎng)站的CTO和作家Dan Woods所提出，其比喻是：如果我們把數(shù)據(jù)比作大自然的水，那么各個江川河流的水未經(jīng)加工，源源不斷地匯聚到數(shù)據(jù)湖中。

數(shù)據(jù)湖的權(quán)威定義（來自維基百科）：數(shù)據(jù)湖（Data Lake）是一個以原始格式存儲數(shù)據(jù)的存儲庫或系統(tǒng)，它按原樣存儲數(shù)據(jù)，而無需事先對數(shù)據(jù)進行結(jié)構(gòu)化處理。一個數(shù)據(jù)湖可以存儲結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫中的表），半結(jié)構(gòu)化數(shù)據(jù)（如CSV、日志、XML、JSON），非結(jié)構(gòu)化數(shù)據(jù)（如電子郵件、文檔、PDF）和二進制數(shù)據(jù)（如圖形、音頻、視頻）。

數(shù)據(jù)湖概念的提出時間是僅次于大數(shù)據(jù)，可以說是一個很老的概念了。筆者認為數(shù)據(jù)湖本質(zhì)上就是一個大數(shù)據(jù)平臺，它隨著大數(shù)據(jù)的技術(shù)不斷完善，目前成熟的數(shù)據(jù)湖體系已具備了大數(shù)據(jù)存儲、大數(shù)據(jù)處理、機器學習、大數(shù)據(jù)分析等等能力。國外公司好像對數(shù)據(jù)湖情有獨鐘，像亞馬遜的AWS、Informatica、微軟等公司都有數(shù)據(jù)湖的相關(guān)產(chǎn)品和解決方案。而在國內(nèi)，數(shù)據(jù)湖到底是個啥？他有啥用？時至今日依然存在著不少的爭議。

正如來自網(wǎng)友 @流風（網(wǎng)名）的疑問：絕大部分企業(yè)的需求數(shù)據(jù)倉庫基本都能滿足了，只有少部分企業(yè)才能用到數(shù)據(jù)湖或大數(shù)據(jù)平臺，好多企業(yè)都被忽悠上了大數(shù)據(jù)平臺，光有個架子，卻不知道能用來干嘛。對非結(jié)構(gòu)化數(shù)據(jù)的處理，大多數(shù)企業(yè)本身除了數(shù)據(jù)存儲之外，幾乎不知道該怎么用。甚至大多數(shù)據(jù)企業(yè)連結(jié)構(gòu)化數(shù)據(jù)都還處理不好，數(shù)據(jù)意識還停留在起步階段。

@流風（網(wǎng)名）所說的是事實，也是目前的普遍現(xiàn)象。但在筆者看來：一項新技術(shù)，一個新事物從誕生到發(fā)展到普及，是需要一個由“基礎認知---知識學習---能力建設---探索應用---成熟應用”的過程。在這個過程中，各企業(yè)的發(fā)展水平一定是參差不齊的，沒有那兩家企業(yè)的現(xiàn)狀、需求、目標、數(shù)據(jù)是完全相同的，所以不同企業(yè)對數(shù)據(jù)的意識程度不相同、技術(shù)能力不一樣、應用水平差異大也是正常的。

我們再說數(shù)據(jù)中臺

對于數(shù)據(jù)中臺，筆者閱讀了很多大咖的文章，查閱了很多資料，也沒有找到關(guān)于數(shù)據(jù)中臺的標準定義。事實上也確實如此，數(shù)據(jù)中臺是具有“中國特色”的一個概念，在國外并沒有太多的人談數(shù)據(jù)中臺。而我們中國人創(chuàng)造的數(shù)據(jù)中臺概念，目前還未形成一個統(tǒng)一的認知和基于共識的標準定義。

中臺概念的鼻祖——阿里巴巴的數(shù)據(jù)產(chǎn)品部總經(jīng)理朋新宇表示：“數(shù)據(jù)中臺是數(shù)據(jù)+技術(shù)+產(chǎn)品+組織的組合，是企業(yè)開展新型運營的一個中樞系統(tǒng)。具象的說，它是一套解決方案，抽象的理解，它是一種新的公司運營理念”。

云徙首席架構(gòu)師陳新宇表示：“數(shù)據(jù)中臺與業(yè)務中臺的一體化，其核心作用便是業(yè)務中臺天然打通、統(tǒng)一了各個渠道的數(shù)據(jù)，所有數(shù)據(jù)都是高質(zhì)量的，而這些數(shù)據(jù)通過分析能夠反哺到業(yè)務本身，業(yè)務本身又將數(shù)據(jù)留給數(shù)據(jù)平臺，從而形成良好的正向反饋”。

網(wǎng)易嚴選的魏文慶給出了網(wǎng)易嚴選對數(shù)據(jù)中臺的定義：“數(shù)據(jù)中臺是高質(zhì)量、高效賦能數(shù)據(jù)前臺的一系列數(shù)據(jù)系統(tǒng)和數(shù)據(jù)服務的組合”，無論是數(shù)據(jù)中臺、業(yè)務總臺、技術(shù)中臺，核心都是“標準化”，實現(xiàn)流程都是先“規(guī)范化”，然后把規(guī)范“產(chǎn)品化工具化”。

百分點程佳表示：“數(shù)據(jù)中臺是一個集數(shù)據(jù)采集、融合、治理、組織管理、智能分析為一體，持續(xù)促進業(yè)務創(chuàng)新為目標的整體平臺”。

我們看到這么多企業(yè)都試圖給數(shù)據(jù)中臺下一個標準的定義，盡管各家的說法都略有差異，并不相同，但卻也有異曲同工之妙！那么，數(shù)據(jù)湖與數(shù)據(jù)中臺到底有什么關(guān)系？我們不妨先看一看業(yè)界典型的數(shù)據(jù)湖和數(shù)據(jù)中臺架構(gòu)。

03 典型的數(shù)據(jù)湖和數(shù)據(jù)中臺架構(gòu)

1、亞馬遜AWS數(shù)據(jù)湖

亞馬遜AWS的張俠看來：“數(shù)據(jù)湖是一個中心數(shù)據(jù)存儲的容器，這個容器可以存儲格式化、非格式化的各種各樣的數(shù)據(jù)；這些數(shù)據(jù)非常容易被快速縮放、有各種方法和工具對這些數(shù)據(jù)進行查詢、可以做各種各樣的分析”。如下圖所示，AWS數(shù)據(jù)湖提供了大量的數(shù)據(jù)處理組件，支持把數(shù)據(jù)按需要移動、加載到不同地方；然后把數(shù)據(jù)清理好，建成數(shù)據(jù)目錄。這些數(shù)據(jù)要安全的、合規(guī)的存好、管好，需要的時候使用工具把這些數(shù)據(jù)拿出來做各種分析。

AWS數(shù)據(jù)湖架構(gòu)

2、微軟Azure數(shù)據(jù)湖

Azure數(shù)據(jù)湖是在微軟內(nèi)部的大數(shù)據(jù)平臺Cosmos的技術(shù)和經(jīng)驗教訓基礎上構(gòu)建的。Cosmos用來處理應用程序比如Azure， AdCenter， Bing，MSN, Skype和Windows Live的數(shù)據(jù)。Cosmos有一個像SQL一樣的查詢引擎叫做SCOPE，U-SQL是在其上構(gòu)建的。Azure數(shù)據(jù)湖包括Azure Datalake Store和Azure Datalake Analytics。前者是存儲，有API提供。后者是分析平臺。它的分析平臺支持Hadoop的那一套，也支持一個全新的U-SQL。如果你想要同時讀取在Datalake里面的數(shù)據(jù)和Datalake外面的數(shù)據(jù)做分析的話，那就只有U-SQL可以選了。由于U-SQL和Hadoop生態(tài)圈不兼容，而且是基于沒有多少人愿意學習的C#語言的，這導致了Azure數(shù)據(jù)湖賣的并不好。也有內(nèi)部人傳由于各種原因，Azure數(shù)據(jù)湖幾乎要涼涼了。

微軟Azure數(shù)據(jù)湖

3、阿里系數(shù)據(jù)中臺

作為“中臺”的開山鼻祖——阿里巴巴的數(shù)據(jù)中臺全景圖如下圖所示：阿里巴巴數(shù)據(jù)中臺核心內(nèi)核是OneData體系，即數(shù)據(jù)中臺構(gòu)建的方法論體系總稱，包括數(shù)據(jù)構(gòu)建管理的OneModel，實現(xiàn)數(shù)據(jù)融通連接的OneID，再到提供統(tǒng)一數(shù)據(jù)服務的One Service，貫穿于整個數(shù)據(jù)研發(fā)流程中并且通過工具實施落地，幫助企業(yè)高效建設及管理數(shù)據(jù)。有興趣可以參考筆者之前寫的一篇：《什么是One Data體系？阿里數(shù)據(jù)中臺解讀》。

阿里巴巴數(shù)據(jù)中臺

實際上阿里的數(shù)據(jù)中臺并不是一套產(chǎn)品，而是阿里的數(shù)據(jù)中臺方法論體系+生態(tài)產(chǎn)品。這里所謂的數(shù)據(jù)中臺生態(tài)產(chǎn)品，就是帶著明顯的阿里基因的數(shù)據(jù)中臺產(chǎn)品或解決方案，例如：奇點云、云徙等創(chuàng)業(yè)公司都屬于阿里生態(tài)，他們很多公司的核心成員甚至創(chuàng)始人都是從阿里巴巴出來的，所以帶著阿里基因也很正常。阿里基因是什么？筆者認為的阿里基因即做電商或者說2C業(yè)務的商業(yè)化思維。由于這篇文章重點在寫數(shù)據(jù)湖與數(shù)據(jù)中臺的關(guān)系，就不對阿里基因和阿里系數(shù)據(jù)中臺做過多介紹了。其實，通過以下各公司的數(shù)據(jù)中臺架構(gòu)，您就可以窺探一二了。

04 數(shù)據(jù)湖與數(shù)據(jù)中臺的關(guān)系

看過了各大廠的數(shù)據(jù)湖和數(shù)據(jù)中臺的介，我們回過頭來再來看數(shù)據(jù)湖與數(shù)據(jù)中臺的關(guān)系。大數(shù)據(jù)時代，數(shù)據(jù)量越來越多，數(shù)據(jù)形式日益復雜，而以數(shù)據(jù)倉庫為代表的、現(xiàn)有的數(shù)據(jù)存儲和處理技術(shù)無法滿足海量、多樣的數(shù)據(jù)處理需求的背景下產(chǎn)生的。“數(shù)據(jù)湖”是將復雜的事物具象化，偏技術(shù)一些，以一個形象的名字，反應了它在大數(shù)據(jù)存儲和大數(shù)據(jù)處理方面的優(yōu)勢和能力。數(shù)據(jù)湖作為一個集中的存儲庫，可以在其中存儲任何形式（結(jié)構(gòu)化和非結(jié)構(gòu)化）、任意規(guī)模的數(shù)據(jù)。在數(shù)據(jù)湖中，可以不對存儲的數(shù)據(jù)進行結(jié)構(gòu)化，只有在使用數(shù)據(jù)的時候，再利用數(shù)據(jù)湖強大的大數(shù)據(jù)查詢、處理、分析等組件對數(shù)據(jù)進行處理和應用。因此，數(shù)據(jù)湖具備運行不同類型數(shù)據(jù)分析的能力。數(shù)據(jù)中臺從技術(shù)的層面承接了數(shù)據(jù)湖的技術(shù)，通過數(shù)據(jù)技術(shù)，對海量、多源、多樣的數(shù)據(jù)進行采集、處理、存儲、計算，同時統(tǒng)一標準和口徑，把數(shù)據(jù)統(tǒng)一之后，以標準形式存儲，形成大數(shù)據(jù)資產(chǎn)層，以滿足前臺數(shù)據(jù)分析和應用的需求。數(shù)據(jù)中臺更強調(diào)應用，離業(yè)務更近，強調(diào)服務于前臺的能力，實現(xiàn)邏輯、算法、標簽、模型、數(shù)據(jù)資產(chǎn)的沉淀和復用，能更快速的相應業(yè)務和應用開發(fā)的需求，可追溯，更精準。

05 數(shù)據(jù)湖和數(shù)據(jù)中臺哪家強？

我們都數(shù)據(jù)中臺了，為什么老外還在數(shù)據(jù)湖？

在近代史上，由于歐美國家的工業(yè)起步早，所以在科技領(lǐng)域我們的創(chuàng)新能力（從0到1的能力）一直不如一些歐美國家，但是中國人的應用能力非常強，更注重商業(yè)和管理的創(chuàng)新（商業(yè)模式的各種玩法和創(chuàng)新），中國人始終要比老外玩的溜，也就是說我們從1到100的能力是極強的。因此，更強調(diào)業(yè)務和應用的“數(shù)據(jù)中臺”在國內(nèi)以迅雷不及掩耳之勢，迅速成為了國內(nèi)IT界的“頭牌網(wǎng)紅”。隨著以大數(shù)據(jù)、云計算、人工智能等新技術(shù)為主要特征的第四次工業(yè)革命的到來，中國大數(shù)據(jù)戰(zhàn)略的布局和“新基建”的發(fā)展，我相信，在這場數(shù)字化的變革中，我們的技術(shù)創(chuàng)新能力也一定會追上甚至超越歐美的！

最后，再回答網(wǎng)友的一個問題：數(shù)據(jù)湖與數(shù)據(jù)中臺哪家強？

在筆者來看，不論是數(shù)據(jù)湖還是數(shù)據(jù)中臺，都是“千人千面”的，不同的人理解不同，數(shù)據(jù)湖和數(shù)據(jù)中臺也沒有孰弱孰強之說。對企業(yè)而言，不為眼花繚亂的“概念”所迷惑，一切要從實際需求出發(fā)，不能人云亦云，盲目跟風，也不能墨守成規(guī)、固步自封。企業(yè)數(shù)據(jù)項目的建設還是應當從企業(yè)的業(yè)務需求出發(fā)構(gòu)建與企業(yè)相匹配的一套數(shù)據(jù)管理和使用流程，以及與之需求相匹配的數(shù)據(jù)平臺和工具。