日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

數據架構:90%的人搞不清的事情

時間:2024-06-12來源:攬你入懷瀏覽數:935

數據架構可以說是數據工作的藍圖,我以為數據架構有標準的定義和內涵,但翻遍全網,發現業界對數據架構的認識并不完全一樣。

考慮到數據架構對于數據工作的極端重要性,在研究了眾多文獻后,結合自己的真實經歷,我這里給出全新版本的數據架構圖,見下圖,共包括6大模塊。

為什么會是這些內容?它們的具體內涵是什么?下面聽我道來。

一、傳統數據架構定義

1、DAMA

數據架構識別企業的數據需求,并設計和維護總藍圖以滿足需求,使用總藍圖來指導數據集成、控制數據資產、并使數據投資與業務戰略保持一致。主要包括數據模型、數據流設計。

2、華為數據之道

數據架構是指以結構化的方式描述在業務運作和管理決策中所需要的各類信息及其關系的一套整體組件規范。主要包括數據資產目錄、數據標準、數據模型及數據分布。

3、DCMM

數據架構通過組織級數據模型定義數據需求,指導對數據資產的分布控制和整合,部署數據的共享和應用環境,以及元數據管理的規范。

4、Software Architecture Academy

數據架構是數據系統的藍圖,它滿足產品的業務需求,并描述如何收集、存儲、轉換和分發數據。它由數據模型、治理策略、規則和標準組成,需要實施和遵循這些模型、治理策略、規則和標準,以構建強大而安全的數據系統。

5、IBM

數據架構描述如何管理從收集到轉換、分發和使用的數據。它為數據及其在數據存儲系統中流動的方式設定了藍圖。它是數據處理操作和人工智能 (AI) 應用程序的基礎。

6、TOGAF 9.2

數據架構描述了一個組織的邏輯和物理數據資產及其數據管理資源的結構。

從以上定義中,我們能看出一些共性,但似乎也說不清楚,然后我們回到第一性原理,看看架構的本質是什么。

架構是對組件要素的設計,旨在優化整個結構或系統的功能、性能、可行性、成本和用戶體驗。在國際標準ISO/IEC/IEEE 42010:2011中,將架構定義為:“系統的基本結構、具體體現在架構構成的組件、組件之間的相互關系以及管理其設計和演變的原則”。

綜合以上所有的定義,最后我得到了一個比較滿意的定義:

數據架構是對組織中數據資產的結構化表示,它涵蓋了數據的定義、存儲、組織、集成和管理方式,旨在提供一個清晰的藍圖,使組織能夠有效地管理和利用其數據資產,確保數據的一致性、完整性和可訪問性,支持業務需求和決策過程。

但關于數據架構具體內涵是什么,包含哪些輸出物,業界各有看法,比如《華為數據之道》認為數據架構應該包括數據資產目錄、數據標準、數據模型及數據分布,如下圖所示。

溫昱在《業務架構.應用架構.數據架構實戰》一書中認為數據架構應該包括數據類型及其來源、數據模型、數據存儲、數據流及數據管理,如下圖所示。

二、新版數據架構內涵

那么,數據架構到底應包含哪些內容呢?

首先,數據模型和數據流動是肯定入選的,因為無論是數據資產的結構化表示,還是定義數據實體和實體之間的關系,都與這兩者有關,華為數據之道,DAMA也分別包含這兩者。

但數據實體除了與數據實體有關系外,還與業務和應用實體有關系,在TOGAF中體現這一關系的就是數據實體/業務功能矩陣和應用程序/數據矩陣,這些矩陣幫助定義和管理數據需求,確保數據架構能夠有效支持業務流程的執行和優化,并且實現數據在不同業務功能中的一致性和完整性,因此我認為數據實體/業務功能矩陣、應用程序/數據矩陣即數業映射應成為數據架構的一部分。

其次,數據管理和數據治理也應入選,前者明確了數據管理的方法和流程,后者通過制定和執行數據管理的政策、標準和流程,確保數據在創建、存儲、處理和使用過程中保持一致和完整性,TOGAF和Software Architecture Academy也有類似的觀點。

再次,我認為數據架構應該包括數據聲明,描述清楚數據架構的實施愿景、范圍和目標等內容,作為評估數據架構成功執行的依據,也應包括數據原則,用于指導企業架構設計和實施的基本準則和指導方針,例如,"數據是企業的資產"、"確保數據安全和隱私"等。

最后,參考TOGAF在數據架構中給出的主要輸出物,包括數據實體/數據組件目錄、數據實體/業務功能矩陣、應用程序/數據矩陣、概念數據圖、邏輯數據圖、數據傳播圖、數據安全性圖、數據遷移圖、數據生命周期圖等,可以認為數據模型、數據流動、數據管理等屬于數據架構的重要組成部分。

基于以上分析,我認為數據架構的主要輸出物包括6個方面,分別是數據聲明、數據原則、數據模型、數據流動、數據管理及數據治理,下面對數據架構各部分內容進行詳細介紹。

三、新版數據架構詳解

1、數據聲明

架構工作聲明是TOGAF架構開發方法(ADM)中的關鍵文檔之一,用于詳細描述架構開發的范圍、方法、資源和計劃。它定義了架構項目的基本框架和預期成果,數據申明是其中的一部分。下面是一個示例:

2、數據原則

架構原則是用于指導企業架構設計和實施的一組基本準則和指導方針。它們幫助確保架構的一致性、靈活性和可擴展性,使架構決策在不同的項目和團隊中保持一致。架構原則通常由組織的高級管理層和架構師共同制定,并在整個組織中推廣和遵循。下面是一個示例:

3、數據模型

定義數據元素、它們的屬性以及數據元素之間的關系。輸出物包括概念模型、邏輯模型、物理模型、數據目錄等等。

(1)概念模型

概念模型是高層次的抽象模型,用于描述業務實體及其關系,主要面向業務用戶和利益相關者。它通常不涉及技術細節,而是強調業務需求。下面是在線書店的概念模型圖:

圖中包含四個實體:Customer(客戶)、Order(訂單)、Book(書籍)和Payment(支付)。實體之間的關系如下:

Customer下Order:一對多關系(1:N)

Order包含Book:多對多關系(N:N)

Order有Payment:一對一關系(1:1)

(2)邏輯模型

邏輯模型是對概念模型的進一步細化,描述數據的結構和關系,但不涉及具體的數據庫實現細節。邏輯模型詳細定義了數據元素、屬性及其關系,面向系統分析師和設計師。下面是在線書店的邏輯模型圖:

圖中包含五個實體:Customer(客戶)、Order(訂單)、OrderItem(訂單項)、Book(書籍)和Payment(支付),每個實體標注了屬性,各實體之間的關系如下:

Customer下Order:一對多關系(1:N)

Order有OrderItem:一對多關系(1:N)

OrderItem包含Book:多對多關系(N:N)

Order有Payment:一對一關系(1:1)

(3)物理模型

物理模型是對邏輯模型的進一步細化,描述具體的數據庫實現細節。物理模型包括表、列、數據類型、索引、約束等,面向數據庫管理員和開發人員。下面是在線書店的物理模型圖:

圖中包含五個實體:Customer(客戶)、Order(訂單)、OrderItem(訂單項)、Book(書籍)和Payment(支付)。每個實體包括其屬性和數據類型,各實體之間的關系如下:

Customer下Order:一對多關系(1:N)

Order有OrderItem:一對多關系(1:N)

OrderItem包含Book:多對多關系(N:N)

Order有Payment:一對一關系(1:1)

(4)數據目錄

數據目錄提供了一個中央存儲庫,用于管理和發現數據模型資產,數據目錄幫助組織確保數據的一致性、可發現性和可管理性。如下示例:

4、數據流動

描述數據在系統內和系統間的流動和傳輸方式。數據流動的主要輸出物包括數據流轉、數業映射等。

(1)數據流轉

數據分布用于表示數據在系統間的流動過程,包括數據流圖、數據映射文檔、數據流規范、數據轉換規則等,如下示例:

(2)數業映射

數業映射是數據流動的基礎,定義了數據實體存在于在哪些業務功能和應用程序中,幫助定義和管理數據需求,確保數據與業務功能的一致性和完整性,有效支持業務流程的執行和優化。以下是數據實體/業務功能矩陣、應用程序/數據矩陣示例:

5、數據管理

數據管理是指對企業內所有數據資產的管理和控制,旨在確保數據的高質量、完整性、安全性、可用性和可訪問性,以支持業務決策和運營。數據管理的主要輸出物包括數據質量管理、元數據管理、數據安全管理、數據存儲管理、數據集成管理及數據生命周期管理等等。

(1)數據質量管理

數據質量管理包括數據清洗、數據驗證和數據質量監控,以確保數據的準確性和完整性。如下示例:

(2)元數據管理

元數據管理涉及收集、存儲和維護描述數據的數據(元數據),以便于數據發現和使用。如下示例:

(3)數據安全管理

數據安全管理涉及保護數據免受未經授權的訪問、使用和泄露,確保數據的機密性、完整性和可用性,如下是數據安全視圖的示例:

(4)數據存儲管理

數據存儲管理涉及設計和優化數據存儲方案,確保數據的高效存儲和訪問。如下示例:

(5)數據集成管理

數據集成管理涉及將來自不同源的數據集成到統一的數據平臺,以支持業務分析和決策。如下示例:

(6)數據生命周期管理

數據生命周期管理涉及數據從創建、使用、存儲到歸檔和銷毀的整個生命周期管理。如下是數據生命周期視圖的示例:

6、數據治理

數據治理涉及制定數據策略、建立數據管理組織結構和流程,以確保數據的一致性、完整性和使用合規性。數據治理的主要輸出物包括數據策略、數據政策、數據組織及數據標準等等。

(1)數據策略

制定企業的數據戰略,包括數據管理的總體目標和方向。如下示例:

(2)數據政策

數據政策是指導數據管理和使用的高層次原則和規定,旨在確保數據的一致性、完整性、可用性和安全性。這些政策通常由企業的管理層制定和批準,并在整個組織中實施,包括有。如下示例:

(3)數據標準

數據標準是關于如何定義、格式化和管理數據的詳細規則和技術規范。數據標準確保在整個組織中一致地創建、管理和使用數據。包括有數據命名標準、數據格式標準、數據質量標準及元數據標準等,如下示例:

(4)數據組織

明確數據管理的角色和職責,確保數據管理活動的有效執行,如下示例:

幾年前,我曾經寫過一篇數據架構的文章《數據架構的本質到底是什么》,但隨著經歷的增多,我認為以前的簡潔定義不足以形成對數據架構的全面描述,因為我自己并不是那么簡單做數據的,這一版數據架構是最新的一次嘗試,希望對你有啟示。

(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢