芒果哥

2022-05-12

數(shù)據(jù)中臺、數(shù)據(jù)平臺和數(shù)據(jù)湖沒有直接的關(guān)系，三者在某個維度上為業(yè)務產(chǎn)生價值的形式有不同的側(cè)重；數(shù)據(jù)中臺可以建立在數(shù)據(jù)湖和數(shù)據(jù)平臺之上，是加速企業(yè)從數(shù)據(jù)到業(yè)務價值的過程的中間層。
1）數(shù)據(jù)中臺是企業(yè)級的邏輯概念，體現(xiàn)企業(yè)數(shù)據(jù)向業(yè)務價值轉(zhuǎn)化的能力，為業(yè)務提供服務的主要方式是數(shù)據(jù) API；數(shù)據(jù)中臺距離業(yè)務更近，能夠更快速的響應業(yè)務和應用開發(fā)需求，從而為業(yè)務提供速度更快的服務。
2）數(shù)據(jù)平臺是在大數(shù)據(jù)基礎上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎平臺，為業(yè)務提供服務的方式主要是直接提供數(shù)據(jù)集；
3）數(shù)據(jù)湖是一個集中的存儲庫，可以在其中存儲任何形式（結(jié)構(gòu)化和非結(jié)構(gòu)化）、任意規(guī)模的數(shù)據(jù)。

數(shù)據(jù)中臺是一個集數(shù)據(jù)采集、數(shù)據(jù)編排、數(shù)據(jù)治理、數(shù)據(jù)分析為一體，并將數(shù)據(jù)對象封裝成服務，提供給前臺應用的整體平臺，來滿足業(yè)務快速變化的需求。從數(shù)據(jù)治理的角度，數(shù)據(jù)中臺可以促進跨部門的合作，統(tǒng)一數(shù)據(jù)的標準和口徑，以標準形式存儲，形成大數(shù)據(jù)資產(chǎn)層，以數(shù)據(jù)即服務的形式，滿足前臺數(shù)據(jù)分析和應用的需求。
數(shù)據(jù)湖基于大數(shù)據(jù)的技術(shù)，通過對海量、多源、多樣的數(shù)據(jù)進行采集、處理、存儲，保留了數(shù)據(jù)的原始格式。
數(shù)據(jù)平臺在對數(shù)據(jù)湖的原始數(shù)據(jù)進行清洗、轉(zhuǎn)換等數(shù)據(jù)處理后，按照統(tǒng)一的標準規(guī)范進行存儲，來為前端數(shù)據(jù)分析應用提供數(shù)據(jù)集。
數(shù)據(jù)中臺是企業(yè)級的概念，從業(yè)務作為出發(fā)點，將數(shù)據(jù)服務化之后提供給各個系統(tǒng)，不僅限于分析型場景，也適用于交易型場景。數(shù)據(jù)中臺可以基于數(shù)據(jù)湖和數(shù)據(jù)平臺進行搭建，通過企業(yè)級的數(shù)據(jù)治理，提供統(tǒng)一口徑的數(shù)據(jù)模型，以提供高效，豐富的數(shù)據(jù)服務能力。
數(shù)據(jù)中臺是指通過企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析，應用，使數(shù)據(jù)對內(nèi)優(yōu)化管理提高業(yè)務，對外可以數(shù)據(jù)合作價值釋放，成為企業(yè)數(shù)據(jù)資產(chǎn)管理中樞。數(shù)據(jù)中臺建立后，會形成數(shù)據(jù)API，為企業(yè)和客戶提供高效各種數(shù)據(jù)服務。

數(shù)據(jù)中臺對一個企業(yè)的數(shù)字化轉(zhuǎn)型和可持續(xù)發(fā)展起著至關(guān)重要的作用。數(shù)據(jù)中臺為解耦而生，企業(yè)建設數(shù)據(jù)中臺的最大意義就是應用與數(shù)據(jù)解藕。這樣企業(yè)就可以不受限制地按需構(gòu)建滿足業(yè)務需求的數(shù)據(jù)應用。

數(shù)據(jù)平臺：個性化、多樣化數(shù)據(jù)，以處理海量數(shù)據(jù)存儲、計算及流數(shù)據(jù)實時計算等場景為主的一套基礎設施，使用大數(shù)據(jù)平臺，企業(yè)可以比競爭對手更快地作出數(shù)據(jù)驅(qū)動的決策，更快地推出適應客戶需求的產(chǎn)品。

數(shù)據(jù)湖（Data Lake）是一個存儲企業(yè)的各種各樣原始數(shù)據(jù)的大型倉庫，其中的數(shù)據(jù)可供存取、處理、分析及傳輸。數(shù)據(jù)湖是以其自然格式存儲的數(shù)據(jù)的系統(tǒng)或存儲庫，通常是對象blob或文件。數(shù)據(jù)湖通常是企業(yè)所有數(shù)據(jù)的單一存儲，包括源系統(tǒng)數(shù)據(jù)的原始副本，以及用于報告、可視化、分析和機器學習等任務的轉(zhuǎn)換數(shù)據(jù)。數(shù)據(jù)湖可以包括來自關(guān)系數(shù)據(jù)庫（行和列）的結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)（CSV，日志，XML，JSON），非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進制數(shù)據(jù)（圖像，音頻，視頻）。
目前，Hadoop是最常用的部署數(shù)據(jù)湖的技術(shù)，所以很多人會覺得數(shù)據(jù)湖就是Hadoop集群。數(shù)據(jù)湖是一個概念，而Hadoop是用于實現(xiàn)這個概念的技術(shù)。