智能數(shù)據(jù)治理平臺

睿治作為國內(nèi)功能最全的數(shù)據(jù)治理產(chǎn)品之一，入選IDC企業(yè)數(shù)據(jù)治理實施部署指南。同時，在IDC發(fā)布的《中國數(shù)據(jù)治理市場份額》報告中，連續(xù)四年蟬聯(lián)數(shù)據(jù)治理解決方案市場份額第一。

在線免費試用 DEMO體驗視頻介紹

睿治智能數(shù)據(jù)治理平臺

IDC蟬聯(lián)數(shù)據(jù)治理解決方案市場第一

詳解企業(yè)級數(shù)倉設計與搭建，F(xiàn)link/SparkSQL全部涵蓋！

時間：2022-04-21來源：三月瀏覽數(shù)：203次

本質(zhì)上，數(shù)據(jù)倉庫就是一種數(shù)據(jù)庫，由一張一張數(shù)據(jù)表組成，用來存放數(shù)據(jù)。

大數(shù)據(jù)，其實就是數(shù)據(jù)庫技術(shù)以及分布式體系的結(jié)合。所以要搞好大數(shù)據(jù)，就得從這兩方面入手！

今天咱們主要聊聊數(shù)據(jù)倉庫技術(shù)。本質(zhì)上，數(shù)據(jù)倉庫就是一種數(shù)據(jù)庫，由一張一張數(shù)據(jù)表組成，用來存放數(shù)據(jù)。

當然，兩者之間的差異也是非常大的，比如數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設計的，數(shù)據(jù)倉庫是為分析數(shù)據(jù)而生。目的和應用場景不同，讓它們在架構(gòu)體系和建模設計上面有非常大的不同。這里就不過多贅述了。

數(shù)倉通常是一個企業(yè)數(shù)據(jù)分析的起點，架構(gòu)和邏輯一般如下圖所示：

數(shù)倉在構(gòu)建的時候通常需要ETL處理和分層設計，基于業(yè)務系統(tǒng)采集的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行各種ETL處理成為DWD層，再基于DWD層設計上層的數(shù)據(jù)模型層，形成DM，中間會有DWB/DWS作為部分中間過程數(shù)據(jù)。

而在實踐中，數(shù)倉隨著技術(shù)和業(yè)務的不斷發(fā)展，也演進出了幾種主要的架構(gòu)方法，從傳統(tǒng)數(shù)倉架構(gòu)，到Lambda架構(gòu)（離線數(shù)倉+實時數(shù)倉），再到Kappa架構(gòu)（實時數(shù)倉）不一而足。

各個架構(gòu)各有優(yōu)劣，實際工作中到底選擇哪種架構(gòu)，還是需要根據(jù)具體的業(yè)務需求來決定。

當然，更多的時候，為了應對更廣泛的場景，大多數(shù)公司采用的是混合架構(gòu)，也就是Lambda和Kappa的結(jié)合，比如大部分實時指標統(tǒng)計使用Kappa架構(gòu)完成計算，少量關鍵指標使用Lambda架構(gòu)用批處理重新計算，增加一次校對過程。

這些復雜架構(gòu)落地的過程中，大數(shù)據(jù)工程師們會面臨非常多的挑戰(zhàn)，比如離線&實時數(shù)倉的技術(shù)選型要怎么選、分層設計要怎么做，更具體的，基于Spark SQL的離線數(shù)倉要怎么搭建、基于FlinkSQL的實時數(shù)倉又要怎么搭建……非常容易踩坑！

（部分內(nèi)容來源網(wǎng)絡，如有侵權(quán)請聯(lián)系刪除）

立即申請數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費試用我要試用

上一篇：數(shù)據(jù)治理：管理數(shù)據(jù)資產(chǎn)的最佳實踐框架...

下一篇：運營商數(shù)據(jù)湖技術(shù)設計的5個要點...