日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

數倉的命名規范

時間:2023-07-17來源:落葉記憶瀏覽數:873

傳統上,企業中數據倉庫作為全企業數據匯聚的場所,不能直接保留原系統名稱,需要進行規范命名,其命名規范也是數據標準的一部門。本文介紹的規范可供大家參考!

01 詞根設計規范

詞根屬于數倉建設中的規范,屬于元數據管理的范疇,現在把這個劃到數據治理的?部分。完整的數倉建設是包含數據治理的,只是現在談到數倉偏向于數據建模,而談到數據治理,更多的是關于數據規范、數據管理。表命名,其實在很大程度上是對元數據描述的?種體現,表命名規范越完善,我們能從表名獲取到的信息就越多。比如:?部分業務是關于貨架的,英?名是:rack,rack 就是?個詞根,那我們就在所有的表、字段等?到的地?都叫 rack,不要叫成別的什么。這就是詞根的作?,來統?命名,表達同?個含義。指標體系中有很多“率”的指標,都可以拆解成 XXX+率,率可以叫 rate,那我們所有的指標都叫做 XXX+rate。詞根:可以?來統?表名、字段名、主題域名等等。舉例:以流程圖的?式來展?,更加直觀和易懂,本圖側重 dwm 層表的命名規范,其余命名是類似的道理:

第?個判斷條件是該表的用途,是中間表、原始日志還是業務展示用的表如果該表被判斷為中間表,就會??下?個判斷條件:表是否有 group 操作通過是否有 group 操作來判斷該表該劃分在 dwd 層還是 dwm 和 dws 層如果不是 dwd 層,則需要判斷該表是否是多個行為的匯總表 (即寬表) 最后再分別填上事業群、部門、業務線、自定義名稱和更新頻率等信息即可。 分層:表的使?范圍 事業群和部門:?產該表或者該數據的團隊 業務線:表明該數據是哪個產品或者業務線相關 主題域:分析問題的?度,對象實體 ?定義:?般會盡可能多描述該表的信息,?如活躍表、留存表等 更新周期:?如說天級還是?級更新

??02 數倉表的命名規范
1、數倉層次:
公?維度:dim DM 層:dm ODS 層:ods DWD 層:dwd DWS 層:dws
2、周期/數據范圍:
?快照:d 增量:i 全量:f 周 :w 拉鏈表:l ?分區全量表:a
3、表命名規范
常規表 常規表是我們需要固化的表,是正式使用的表,是?前?段時間內需要去維護去完善的表。 **規范:分層前綴[dwd|dws|ads]部門業務域_主題域XXX更新周期|數據范圍** 業務域、主題域我們都可以?詞根的?式枚舉清楚,不斷完善。 更新周期主要的是時間粒度、? 、? 、年、周等。
中間表
中間表?般出現在 Job 中,是 Job 中臨時存儲的中間數據的表,中間表的作?域只限于當前 Job 執?過程中,Job ?旦執?完成,該中間表的使命就完成了,是可以刪除的? (按照??公司的場景自由選擇,以前公司會保留?天 的中間表數據,?來排查問題)? 。 **規范:mid_table_name_ [0~9|dim] ** table_name 是我們任務中?標表的名字,通常來說?個任務只有?個?標表。這?加上表名,是為了防??由發揮的時候表名沖突,?末尾?家可以選擇?由發揮,起?些有意義的名字,或者簡單粗暴,使?數字代替,各有優劣吧,謹慎選擇。通常會遇到需要補全維度的表,這里使? dim 結尾。如果要保留歷史的中間表,可以加上?期或者時間戳。 臨時表 臨時表是臨時測試的表,是臨時使用一次的表,就是暫時保存下數據看看,后續一般不再使用的表,是可以隨時刪除的表。 **規范:tmp_xxx ** 只要加上 tmp 開頭即可,其他名字隨意,注意 tmp 開頭的表不要?來實際使?, 只是測試驗證而已。
維度表
維度表是基于底層數據,抽象出來的描述類的表。維度表可以?動從底層表抽象出來,也可以??來維護。 **規范:dim_xxx ** 維度表,統?以 dim 開頭,后?加上,對該指標的描述。
??表
??表是??維護的表,??初始化?次之后,?般不會?動改變,后?變更,也是??來維護。?般來說,??的數據粒度是偏細的,所以暫時統?放在 dwd 層,后?如果有?標值或者其他類型??數據,再根據實際情況分層。**規范:dwd_業務域_manual_xxx **??表,增加特殊的主題域,manual,表???維護表。
03 指標命名規范
1、公共規則
所有單詞?寫 單詞之間下劃線分割? (反例:appName 或 AppName) 可讀性優于長度 (詞根,避免出現同?個指標,命名?致性) 禁止使用?sql 關鍵字,如字段名與關鍵字沖突時 +col 數量字段后綴 _cnt 等標識... ?額字段后綴 _price 標識 天分區使?字段 dt,格式統?? (yyyymmdd 或 yyyy-mm-dd) ?時分區使?字段 hh,范圍? (00-23) 分鐘分區使?字段 mi,范圍? (00-59) 布爾類型標識:is_{業務},不允許出現空值
2、指標命名規范

結合指標的特性以及詞根管理規范,將指標進?結構化處理。

基礎指標詞根,即所有指標必須包含以下基礎詞根。 業務修飾詞,用于描述業務場景的詞匯,例如 trade-交易。 日期修飾詞,用于修飾業務發生的時間區間。 聚合修飾詞,對結果進?聚集操作。 基礎指標,單?的業務修飾詞+基礎指標詞根構建基礎指標,例如:交易?額 -trade_amt。 派?指標,多修飾詞+基礎指標詞根構建派?指標。派?指標繼承基礎指標的特性,例如:安裝門店數量-install_poi_cnt。 普通指標命名規范,與字段命名規范?致,由詞匯轉換即可以。
(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢