大數(shù)據(jù)，其實就是數(shù)據(jù)庫技術(shù)以及分布式體系的結(jié)合。所以要搞好大數(shù)據(jù)，就得從這兩方面入手！

今天咱們主要聊聊數(shù)據(jù)倉庫技術(shù)。本質(zhì)上，數(shù)據(jù)倉庫就是一種數(shù)據(jù)庫，由一張一張數(shù)據(jù)表組成，用來存放數(shù)據(jù)。

當然，兩者之間的差異也是非常大的，比如數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設(shè)計的，數(shù)據(jù)倉庫是為分析數(shù)據(jù)而生。目的和應(yīng)用場景不同，讓它們在架構(gòu)體系和建模設(shè)計上面有非常大的不同。這里就不過多贅述了。

數(shù)倉通常是一個企業(yè)數(shù)據(jù)分析的起點，架構(gòu)和邏輯一般如下圖所示：

數(shù)倉在構(gòu)建的時候通常需要ETL處理和分層設(shè)計，基于業(yè)務(wù)系統(tǒng)采集的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行各種ETL處理成為DWD層，再基于DWD層設(shè)計上層的數(shù)據(jù)模型層，形成DM，中間會有DWB/DWS作為部分中間過程數(shù)據(jù)。

而在實踐中，數(shù)倉隨著技術(shù)和業(yè)務(wù)的不斷發(fā)展，也演進出了幾種主要的架構(gòu)方法，從傳統(tǒng)數(shù)倉架構(gòu)，到Lambda架構(gòu)（離線數(shù)倉+實時數(shù)倉），再到Kappa架構(gòu)（實時數(shù)倉）不一而足。

各個架構(gòu)各有優(yōu)劣，實際工作中到底選擇哪種架構(gòu)，還是需要根據(jù)具體的業(yè)務(wù)需求來決定。

當然，更多的時候，為了應(yīng)對更廣泛的場景，大多數(shù)公司采用的是混合架構(gòu)，也就是Lambda和Kappa的結(jié)合，比如大部分實時指標統(tǒng)計使用Kappa架構(gòu)完成計算，少量關(guān)鍵指標使用Lambda架構(gòu)用批處理重新計算，增加一次校對過程。

這些復雜架構(gòu)落地的過程中，大數(shù)據(jù)工程師們會面臨非常多的挑戰(zhàn)，比如離線&實時數(shù)倉的技術(shù)選型要怎么選、分層設(shè)計要怎么做，更具體的，基于Spark SQL的離線數(shù)倉要怎么搭建、基于FlinkSQL的實時數(shù)倉又要怎么搭建……非常容易踩坑！

那要怎么更自如地應(yīng)對呢？

給你推薦個大佬專題：基于 Flink/SparkSQL的企業(yè)級數(shù)倉設(shè)計與搭建，3節(jié)課，帶你吃透實時+離線數(shù)倉建設(shè)思路、技巧與方案。

主講老師是前eBay中國資深大數(shù)據(jù)專家金瀾濤，還是復旦大學MSE外聘教師，不僅技術(shù)牛，講課也厲害，復雜的技術(shù)也能帶你輕松掌握。

最后想跟大家多嘮幾句，大規(guī)模的數(shù)據(jù)往往意味著大規(guī)模的問題，從事大數(shù)據(jù)方向，平時遇到的問題會很多，如果沒有掌握核心競爭力，只是浮于表面或者單純遇到問題解決問題，往往會把自己逼得非常累，被動陷入“內(nèi)卷”。

這是我們一定要避免的，平時的工作、學習中一定要多問幾個為什么，多去探尋技術(shù)背后的本質(zhì)~