- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2019-08-07來源:CSDN瀏覽數:1569次
建數據中心離不開數據,以前設計數據庫都是從事務性數據庫考慮(做的都是業務系統,思維模式太固定了),沒有從數據倉庫的角度來統管分析。以下是從數據倉庫的角度考慮數據中心的建設:

?
政府的數據中心建設基本就包括這幾個步驟:
1、數據源:支持不同部門的各類來源數據,包括文件型、數據庫型、Http服務型和JMS消息型,可以讀取各類數據
2、數據匯聚:這里是通過軟件實現原始數據的讀取存儲,將不同的數據都存儲到各自的數據庫;因為保證與每個部門不發生扯皮的問題,所以必須保證讀取的原始數據是對的,要獨立存儲不做任何加工,組織就按照同步的部門科室進行存放;所以就對應數據倉庫的ODS層
3、數據處理:這里是對匯聚的原始數據進行初步的ETL處理,實現對數據的清洗、加工,補全各類信息(包括編碼字典解釋等),這個步驟的目的是實現數據的規范化,這里的數據也是落地存儲物理庫,作為抽取中間庫DWD層
4、數據融合:這里是對規范化的原始數據進行融合處理,建立數據之間的關系模型,比如抽取成獨立的人口庫模型:

?
數據融合主要是按照一個業務領域進行數據建模。
5、數據集市:是對領域模型數據進行匯總統計分析,將統計分析的結果進行存儲,簡單解釋可以理解為一般業務統計的中間表(提高統計效率,將統計成果進行定期存儲),當然這里不止這么點,結合現在時髦的大數據分析,也就是將分析結果在集市層存儲,為上層應用提供數據源。
6、最后一個是核心的元數據庫,這里的元數據核心要存儲以上4個庫的表及字段元數據,可以實現整個數據處理過程的追溯。
從以上分析,了解共享交換的同學,可能直接就說了上面的數據匯聚、數據處理不就是傳統的交換嗎?只是換了一個說法;這個說法也沒問題,只是這里是從政府業務和數據倉庫的角度來說,傳統的交換是直接將原始數據文件讀取到后進行了ETL處理,形成交換庫;這里是從政府安全追責的角度分析,形成2個步驟;所以數據中心的建設是包括數據交換的,只是交換處理的思路在變化。
從數據處理到數據融合,這里是要創建業務模型,按照業務模型進行數據處理,處理的工具一般也是ETL工具;所以共享交換只是強調了軟件技術,沒有從整體進行規劃,它只是真個數據中心建設里的一個技術工具之一。
從數據融合到數據集市,又有幾種形態:1、傳統的數據統計,2、數據挖掘,3、大數據分析;這幾種技術都可以形成數據集市的數據。
數據治理是一個更大的概念:

?
在數據倉庫的基礎上,更加強調數據的質量與數據安全;現在的數據治理也是叫大數據治理,是大數據建設的基礎,畢竟是強調大數據平臺里的核心,數據部分。只有數據是可依靠的,才能用來做大數據分析,否則就是無源之水了,誰也不敢相信。
數據質量,核心就是要依靠元數據的管理;來實現整個數據處理過程的跟蹤,知道目標數據的源頭可以一步步的追溯到數據的提供者。
數據中心則是一個業務上的叫法,包括機制規范、相關軟件、數據、處理過程的構建,都是數據中心建設的步驟。數據中心就是通過數據治理形成可以對外統一提供服務的數據。
上一篇:數據治理的全過程...
下一篇:數據治理中元數據的作用...