來 源：數據社彭友們好，我是老彭啊。前兩天，有個新彭友問我：總聽說數倉要分層分層，可是為啥要分層？我楞了一下，分層是為了解耦啊。然后他說：啥是解耦？為啥要解耦？emmm，今天就跟彭友們好好嘮嘮這個嗑兒~~~01經典的數倉分層
首先跟彭友們聊一個經典的數倉分層結構，主要包括ODS、DWS、DW、APP四層。
ODS：抽取的原始業務數據，結構一般和原始業務數據庫表結構或者抽取的業務日志數據結構保持一致。一句話：從業務系統增量抽取，數據不做清洗轉換，與業務系統數據模型保持一致。
DWS：根據ODS層，增加一些維度信息，過濾一些異常數據。為DW層提供來源明細數據，提供業務系統細節數據的長期沉淀，為未來分析類需求的擴展提供歷史數據支撐。
DW：模型層，根據DWS層數據，按各個業務需求，以某個維度ID進行粗粒度匯總聚合。此層一般會根據數倉涉及的業務發展或者主數據的建立等，抽象出一些公用的聚合匯總模型
APP：應用層/指標層/報表層，每個公司的叫法不一樣，一般指根據特定的某個應用或者報表進行的數據指標開發匯總。
02
數倉為什么分層
那么為什么數據倉庫會有分層呢？
每多一層不就會多一些開發工作嗎？還會經常有多層數據重復？不分層可不可以？
也許上面這些問題會困擾你，可能還會有人說，我來公司的時候已經有開發規范了，不分層不行！
其實數據倉庫分層原因可以概括為以下4個方面：
用空間換時間：數倉的發展已經幾十年了，在大數據技術出現之前，我們一般采用Oracle等一些關系型數據庫來做數倉，但隨著數據量的發展，特別是電信和銀行業務的快速發展（那時候互聯網企業還沒起來），在進行一個數倉應用開發過程中，我們需要分很多步驟來進行，所以會考慮用空間來換時間，包括現在市面上也會有一些用空間換時間這樣的OLAP產品。
減少重復開發：可以把一些指標用到的匯總數據進行抽象，建立一個或者多個模型，這些模型可以支撐我們建立多個數倉報表，這一步需要對業務非常了解，不然就會出現上面問題說的
“ 還會經常有多層數據重復？” 復雜的問題簡單化：做過傳統數倉的都知道，以前Oracle的存儲過程會寫幾千行，所以現在我們一般很少寫幾千行的業務ETL邏輯了，而是分為多個ETL過程，從明細層到應用層進行邏輯拆解，中間也會進行一些邏輯合并，形成模型層。
數據安全：通過分層，可以更方便地對不同層，不同的數據模型進行權限管理，特定業務場景下，對不同的開發人員和業務人員屏蔽一些敏感的數據。
03
數倉分層的模板
我們可以看到現在網上有很多數倉建模的規范，那么到底有沒有一套萬能的規范模板，直接拿來就能用呢？
每個公司的業務發展都不盡相同，不能完全套搬一些規范，在建立數倉之前是要對自己公司的業務進行梳理，包括業務種類、數據量、需求量等，也許公司的數據量本來就不大，而且業務比較單一，那么明細層(DWS)可以不要呀，直接通過原始數據層來建立模型匯總層。
規范是給彭友們拓展思路參考的，數倉的開發建設本來就是和業務強關聯的。開發效率提升了，分析人員用著模型說好了，業務應用人員用著說好了，那就可以了。
（部分內容來源網絡，如有侵權請聯系刪除）
