日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

億信ABI

一站式數(shù)據(jù)分析平臺(tái)

ABI(ALL in one BI)是億信華辰歷經(jīng)19年匠心打造的國(guó)產(chǎn)化BI工具,技術(shù)自主可控。它打通從數(shù)據(jù)接入、到數(shù)據(jù)建模與處理、再到數(shù)據(jù)分析與挖掘整個(gè)數(shù)據(jù)應(yīng)用全鏈路,可滿足企業(yè)經(jīng)營(yíng)中各類復(fù)雜的分析需求,幫助企業(yè)實(shí)現(xiàn)高效數(shù)字化轉(zhuǎn)型。

億信ABI

一站式數(shù)據(jù)分析平臺(tái)

億信華辰深耕商業(yè)智能十多年,
打造一體化的填報(bào)、處理、可視化平臺(tái)。

數(shù)據(jù)建模方法論及實(shí)施步驟

時(shí)間:2021-11-08來源:億信華辰瀏覽數(shù):324

了解數(shù)據(jù)建模之前首先要知道的是什么是數(shù)據(jù)模型。數(shù)據(jù)模型(Data Model)是數(shù)據(jù)特征的抽象,它從抽象層次上描述了系統(tǒng)的靜態(tài)特征、動(dòng)態(tài)行為和約束條件,為數(shù)據(jù)庫系統(tǒng)的信息表示與操作提供一個(gè)抽象的框架。

一、概要:數(shù)據(jù)建模簡(jiǎn)介
數(shù)據(jù)基本用于兩種目的:1、操作型記錄的保存2、分析型決策的制定。簡(jiǎn)單地說就是操作型系統(tǒng)保存數(shù)據(jù),分析型系統(tǒng)使用數(shù)據(jù);前者反映數(shù)據(jù)的最新狀態(tài),后者反映數(shù)據(jù)一段時(shí)間的狀態(tài)變化。操作型系統(tǒng)簡(jiǎn)稱為OLTP(On-Line Transaction Processing)聯(lián)機(jī)事務(wù)處理,分析型系統(tǒng)簡(jiǎn)稱為OLAP(On-Line Analytical Processing)聯(lián)機(jī)分析處理。在OLTP場(chǎng)景中,常用的是使用實(shí)體關(guān)系模型(ER)來存儲(chǔ),從而在事務(wù)處理中解決數(shù)據(jù)的冗余和一致性問題。在OLAP場(chǎng)景中,有多種建模方式有:ER模型、星型模型和多維模型。

數(shù)據(jù)建模是一種用于定義和分析數(shù)據(jù)的要求和其需要的相應(yīng)支持的信息系統(tǒng)的過程。從需求到實(shí)際的數(shù)據(jù)庫,有三種不同的類型。用于信息系統(tǒng)的數(shù)據(jù)模型作為一個(gè)概念數(shù)據(jù)模型,本質(zhì)上是一組記錄數(shù)據(jù)要求的最初的規(guī)范技術(shù)。數(shù)據(jù)首先用于討論適合企業(yè)的最初要求,然后被轉(zhuǎn)變?yōu)橐粋€(gè)邏輯數(shù)據(jù)模型,該模型可以在數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)概念模型中實(shí)現(xiàn)。一個(gè)概念數(shù)據(jù)模型的實(shí)現(xiàn)可能需要多個(gè)邏輯數(shù)據(jù)模型。數(shù)據(jù)建模中的最后一步是確定邏輯數(shù)據(jù)模型到物理數(shù)據(jù)模型中到對(duì)數(shù)據(jù)訪問性能和存儲(chǔ)的具體要求。數(shù)據(jù)建模定義的不只是數(shù)據(jù)元素,也包括它們的結(jié)構(gòu)和它們之間的關(guān)系。

1) 概念數(shù)據(jù)模型(Conceptual Data Model)
簡(jiǎn)稱概念模型 ,主要用來描述世界的概念化結(jié)構(gòu)。概念數(shù)據(jù)模型是最終用戶對(duì)數(shù)據(jù)存儲(chǔ)的看法,反映了最終用戶綜合性的信息需求,它以數(shù)據(jù)類的方式描述企業(yè)級(jí)的數(shù)據(jù)需求,數(shù)據(jù)類代表了在業(yè)務(wù)環(huán)境中自然聚集成的幾個(gè)主要類別數(shù)據(jù)。概念數(shù)據(jù)模型的目標(biāo)是統(tǒng)一業(yè)務(wù)概念,作為業(yè)務(wù)人員和技術(shù)人員之間溝通的橋梁,確定不同實(shí)體之間的最高層次的關(guān)系。

2) 邏輯數(shù)據(jù)模型(Logical Data Model)
簡(jiǎn)稱數(shù)據(jù)模型,這是用戶從數(shù)據(jù)庫所看到的模型,是具體的DBMS所支持的數(shù)據(jù)模型,如網(wǎng)狀數(shù)據(jù)模型(Network Data Model)、 層次數(shù)據(jù)模型 (Hierarchical Data Model)等等。 此模型既要面向用戶,又要面向系統(tǒng) ,主要用于 數(shù)據(jù)庫管理系統(tǒng) (DBMS)的實(shí)現(xiàn)。邏輯數(shù)據(jù)模型的內(nèi)容包括所有的實(shí)體和關(guān)系,確定每個(gè)實(shí)體的屬性,定義每個(gè)實(shí)體的主鍵,指定實(shí)體的外鍵,需要進(jìn)行范式化處理。邏輯數(shù)據(jù)模型的目標(biāo)是盡可能詳細(xì)的描述數(shù)據(jù),但并不考慮數(shù)據(jù)在物理上如何來實(shí)現(xiàn)。邏輯數(shù)據(jù)建模不僅會(huì)影響數(shù)據(jù)庫設(shè)計(jì)的方向,還間接影響最終數(shù)據(jù)庫的性能和管理。

3) 物理數(shù)據(jù)模型(Physical Data Model)
簡(jiǎn)稱物理模型 ,是面向計(jì)算機(jī)物理表示的模型,描述了數(shù)據(jù)在儲(chǔ)存介質(zhì)上的組織結(jié)構(gòu),它不但與具體的DBMS 有關(guān),而且還與操作系統(tǒng)和硬件有關(guān)。每一種邏輯數(shù)據(jù)模型在實(shí)現(xiàn)時(shí)都有起對(duì)應(yīng)的物理數(shù)據(jù)模型。DBMS為了保證其獨(dú)立性與可移植性,大部分物理數(shù)據(jù)模型的實(shí) 現(xiàn)工作又系統(tǒng)自動(dòng)完成,而設(shè)計(jì)者只設(shè)計(jì)索引、聚集等特殊結(jié)構(gòu)。物理結(jié)構(gòu)圖顯示物理數(shù)據(jù)模型是在邏輯數(shù)據(jù)模型的基礎(chǔ)上,考慮各種具體的技術(shù)實(shí)現(xiàn)因素,進(jìn)行數(shù)據(jù)庫體系結(jié)構(gòu)設(shè)計(jì),真正實(shí)現(xiàn)數(shù)據(jù)在數(shù)據(jù)庫中的存放。

二、方法:數(shù)據(jù)建模常用模型
1)D-R模型
D-R模型(Entity-relationship model)實(shí)體關(guān)系模型,E-R模型的構(gòu)成成分是實(shí)體集、屬性和聯(lián)系集。其表示方法如下:(1) 實(shí)體集用矩形框表示,矩形框內(nèi)寫上實(shí)體名。(2) 實(shí)體的屬性用橢圓框表示,框內(nèi)寫上屬性名,并用無向邊與其實(shí)體集相連。(3) 實(shí)體間的聯(lián)系用菱形框表示,聯(lián)系以適當(dāng)?shù)暮x命名,名字寫在菱形框中,用無向連線將參加聯(lián)系的實(shí)體矩形框分別與菱形框相連,并在連線上標(biāo)明聯(lián)系的類型,即1—1、1—N或M—N。如圖1-1所示。

圖1-1 E-R圖

2)多維模型
它是維度模型的另一種實(shí)現(xiàn)。當(dāng)數(shù)據(jù)被加載到OLAP多維數(shù)據(jù)庫時(shí),對(duì)這些數(shù)據(jù)的存儲(chǔ)的索引,采用了為維度數(shù)據(jù)涉及的格式和技術(shù)。性能聚集或預(yù)計(jì)算匯總表通常由多維數(shù)據(jù)庫引擎建立并管理。由于采用預(yù)計(jì)算、索引策略和其他優(yōu)化方法,多維數(shù)據(jù)庫可實(shí)現(xiàn)高性能查詢。這種模型可以以星型模式,雪花模式,或事實(shí)星座模式的形式存在。

3)星型模型
它是維度模型在關(guān)系型數(shù)據(jù)庫上的一種實(shí)現(xiàn)。它是多維的數(shù)據(jù)關(guān)系,它由事實(shí)表(Fact Table)和維表(Dimension Table)組成。每個(gè)維表中都會(huì)有一個(gè)維作為主鍵,所有這些維的主鍵結(jié)合成事實(shí)表的主鍵。事實(shí)表的非主鍵屬性稱為事實(shí),它們一般都是數(shù)值或其他可以進(jìn)行計(jì)算的數(shù)據(jù)。該模型表示每個(gè)業(yè)務(wù)過程包含事實(shí)表,事實(shí)表存儲(chǔ)事件的數(shù)值化度量,圍繞事實(shí)表的多個(gè)維度表,維度表包含事件發(fā)生時(shí)實(shí)際存在的文本環(huán)境。這種類似于星狀的結(jié)構(gòu)通常稱為'星型連接'。其重點(diǎn)關(guān)注用戶如何更快速地完成需求分析,同時(shí)具有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能。如圖1-2所示。

圖1-2 星型模型

4)雪花模型
它是當(dāng)有一個(gè)或多個(gè)維表沒有直接連接到事實(shí)表上,而是通過其他維表連接到事實(shí)表上時(shí),其圖解就像多個(gè)雪花連接在一起,故稱雪花模型。雪花模型是對(duì)星型模型的擴(kuò)展。如圖1-3所示。

圖1-3 雪花模型

三、方案:數(shù)據(jù)建模六步驟
數(shù)據(jù)建模,通俗地說,就是通過建立數(shù)據(jù)科學(xué)模型的手段解決現(xiàn)實(shí)問題的過程。數(shù)據(jù)建模也可以稱為數(shù)據(jù)科學(xué)項(xiàng)目的過程,并且這個(gè)過程是周期性循環(huán)的。具體可分為六大步驟,如圖2-1所示。

圖2-1 建模步驟
1) 收集業(yè)務(wù)需求與數(shù)據(jù)實(shí)現(xiàn):在開始維度建模工作之前,需要理解業(yè)務(wù)需求,以及作為底層源數(shù)據(jù)的實(shí)際情況。通過與業(yè)務(wù)方溝通交流、查看現(xiàn)有報(bào)表等來發(fā)現(xiàn)需求,用于理解他們的基于關(guān)鍵性能指標(biāo)、競(jìng)爭(zhēng)性商業(yè)問題、決策制定過程、支持分析需求的目標(biāo)。同時(shí),數(shù)據(jù)實(shí)際情況可通過與數(shù)據(jù)庫系統(tǒng)專家交流,了解訪問數(shù)據(jù)可行性等。

2) 選擇業(yè)務(wù)過程:業(yè)務(wù)過程是組織完成的操作型活動(dòng)。業(yè)務(wù)過程時(shí)間建立或獲取性能度量,并轉(zhuǎn)換為事實(shí)表中的事實(shí)。多數(shù)事實(shí)表關(guān)注某一業(yè)務(wù)過程的結(jié)果。過程的選擇非常重要的,因?yàn)檫^程定義了特定的設(shè)計(jì)目標(biāo)以及對(duì)粒度、維度、事實(shí)的定義。

3) 聲明粒度:聲明粒度是維度設(shè)計(jì)的重要步驟。粒度用于確定某一事實(shí)表中的行表示什么。在選擇維度或事實(shí)前必須聲明粒度,因?yàn)槊總€(gè)候選維度或事實(shí)必須與定義的粒度保持一致。在從給定的業(yè)務(wù)過程獲取數(shù)據(jù)時(shí),原子粒度是最低級(jí)別的粒度。強(qiáng)烈建議從關(guān)注原子級(jí)別粒度數(shù)據(jù)開始設(shè)計(jì),因?yàn)樵恿6葦?shù)據(jù)能夠承受無法預(yù)期的用戶查詢。

4) 確認(rèn)維度:維度提供圍繞某一業(yè)務(wù)過程事件所涉及的'誰、什么、何處、何時(shí)、為什么、如何'等背景。維度表包含分析應(yīng)用所需要的用于過濾及分類事實(shí)的描述性屬性。牢牢掌握事實(shí)表的粒度,就能夠?qū)⑺锌赡艽嬖诘木S度區(qū)分開來。

5) 確認(rèn)事實(shí):事實(shí),涉及來自業(yè)務(wù)過程事件的度量,基本上都是以數(shù)據(jù)值表示。一個(gè)事實(shí)表行與按照事實(shí)表粒度描述的度量事件之間存在一對(duì)一關(guān)系,因此事實(shí)表對(duì)應(yīng)一個(gè)物理可觀察的事件。在事實(shí)表內(nèi),所有事實(shí)只允許與聲明的粒度保持一致。

6) 部署方式:選擇一種維度模型的落地方式。既可以選擇星型模型,部署在關(guān)系數(shù)據(jù)庫上,通過事實(shí)表及通過主外鍵關(guān)聯(lián)的維度表;也可以選擇多維模型,落地于多維數(shù)據(jù)庫中。

看了這么多方法論,你是不是摩拳擦掌躍躍欲試了呢??jī)|信華辰數(shù)據(jù)工廠(EsDataFactory)不光可以幫你實(shí)現(xiàn)數(shù)據(jù)建模而且還可以更快更方便更高效。億信華辰數(shù)據(jù)工廠(EsDataFactory)是一款面向數(shù)倉實(shí)施的自主研發(fā)的軟件工具,集數(shù)據(jù)建模與ETL設(shè)計(jì)于一體,內(nèi)置新型的混合計(jì)算引擎,在建模的同時(shí)同步完成ETL流程設(shè)計(jì),提供一站式數(shù)據(jù)處理服務(wù),彌補(bǔ)傳統(tǒng)ETL工具對(duì)模型管控的缺失與不足。想要了解很多功能可私信小編免費(fèi)試用哦~
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)
立即申請(qǐng)數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費(fèi)試用 我要試用
  • 相關(guān)主題
  • 相關(guān)大數(shù)據(jù)問答
  • 相關(guān)大數(shù)據(jù)知識(shí)
產(chǎn)品功能
數(shù)據(jù)填報(bào)

對(duì)分析表中的數(shù)據(jù)進(jìn)行補(bǔ)錄或修改

數(shù)據(jù)處理

在可視化建模的同時(shí)同步完成ETL流程設(shè)計(jì)

大屏可視化

可任意制作酷炫靈動(dòng)的圖標(biāo)和大屏

自助式分析

只需簡(jiǎn)單拖拽維度和指標(biāo)即可生成相應(yīng)的分析圖表

預(yù)測(cè)挖掘

讓繁瑣復(fù)雜的數(shù)據(jù)挖掘過程變得簡(jiǎn)單易用

customer

在線咨詢

在線咨詢

點(diǎn)擊進(jìn)入在線咨詢