當下,刮起了一場數據中臺風,立馬席卷了大數據行業的各個角落。人人都在談什么是數據中臺,我們需不需要建數據中臺,數據中臺要怎么建?今天,小億結合億信華辰的實踐經驗,用一張架構圖來回答這些問題,并讓大家看透數據中臺架構中每一個部分的功能以及作用。
談論數據中臺時,他們在談什么
“中臺”早期是由美軍的作戰體系演化而來的,使用“中臺”這種作戰體系,目的就在于給予前方高效、靈活和強大炮火支持。2015年,阿里巴巴率先提出了“中臺戰略”,以及其有名的“大中臺、小前臺”的機制。2018年8月,阿里發布“雙中臺+ET”
數字化轉型方法論,阿里的雙中臺包括了數據中臺和業務中臺。
在阿里中臺概念的引領下,很多企業也提出了自己的“中臺戰略”。如把內部一些通用性技術平臺、支撐系統打包在一起,稱之為技術中臺;把一些大的業務服務系統,邏輯上集中起來稱之為業務中臺;或干脆把現有的
數據倉庫、
數據治理平臺、數據運維平臺整合稱之為數據中臺;還有一種更簡單的方式,就是把以前內部IT支撐系統的后臺直接改名,與數據相關的部分就叫數據中臺,與業務耦合度較緊密的就叫業務中臺。
當下,人人都在談論數字化轉型,但怎么轉,做什么,中臺有可能成為企業推進數字化轉型的有效方法之一。
理想的數據中臺架構,是什么樣的
我們先來看下網易嚴選的數據體系(上圖),就更清楚數據中臺的定位了。
數據中臺的下層是數據平臺,數據平臺主要解決跟業務無關的問題,主要是大數據的存儲和計算問題。
數據中臺的上層就是數據前臺,主要包括
BI 報表、數據產品和業務系統。
數據中臺首先賦能分析師通過 BI 報表的形式來驅動業務精細化運營。
可以看到,數據中臺的主要作用在于將企業內部所有數據統一處理形成標準化數據,挖掘出對企業最有價值的數據,構建企業數據資產庫,對內對外提供一致的、高可用大數據服務。下面重點來看看億信華辰根據多年大數據經驗的累積及數據中臺的項目實踐總結出來的數據中臺技術架構,主要分為以下5個部分:
數據匯聚
數據中臺不產生數據,數據其實來源于各個業務系統、數據庫、網絡環境等,是日常操作所產生的數據,多數存儲在網絡環境和存儲平臺中,且各個系統之間獨立存在,很難直接使用,需要去進行數據抽取、采集、整合和處理,將異構
數據采集到統一的平臺進行存儲,進而通過建模將數據進行加工處理,變為對業務有用的數據,只有這樣才能有效匯聚數據,形成數據中臺的統一數據資源。
數據存儲計算
將采集補錄、抽取整合的業務數據匯聚后,以數據形態存儲,當下大數據發展的節奏讓數據庫技術也由傳統關系型數倉架構,向Hadoop分布式架構演變,并隨著業務實時性決策需要,推動融合MPP、SQL on Hadoop、流處理等大數據技術服務的實時流式計算存儲應用,實現海量數據高效統一管理,為企業提供實時數據支撐。
數據治理
數據平臺建好后,業務數據可能雜亂無章,
數據質量低,需要經過一系列的治理提高數據質量,將數據統一起來進行管控,這個過程中就包括數據模型管理、
數據標準管理、
元數據管理、數據質量管理、生命周期管理、數據安全管理。
數據模型管理是根據業務對數據進行分層、整合處理,方便數據的分析應用;元數據管理方便技術人員進行分析數據來龍去脈以及對數據庫底層數據質量進行把控;數據標準用來指定一系列標準,對元數據進行標準的檢查;數據質量是根據一系列規則,對庫表數據進行校驗和整改;數據生命周期和安全貫穿整個流程,為數據保駕護航。
數據資產管理
經過數據匯聚、數據治理,已經形成的數據資源需要有統一的地方去進行管理,方便業務人員理解數據,這時就需要建立數據資產管理體系,需要先根據業務先形成資產目錄,數據擁有者將自己的數據資產掛到對應的類目樹,梳理成一套完整的資產目錄,將數據資產開放出去,展示給業務人員或外部人員,提供企業的數據意識。
數據服務
經過前期一系列梳理工作,數據還沒有真正發揮它的價值,而數據服務則是將數據資產轉化成一種服務能力,那么如果我們需要調用某個數據資產要怎么操作使用?數據提供方又如何將數據資產提供給別人使用?這就是我們說的數據服務功能,幫助用戶實現數據規劃咨詢,數據資產服務開放及
數據可視化展示應用等。
經驗總結
每個企業都夢想要一個非常強大的數據中臺,對企業內部提升運營效率、決策效率,對外支撐各種場景應用。希望實現如下功能:
在實施上,把數據來龍去脈梳理特別清楚,輕松解決數據加工、存儲、分析、建模等與數據有有關的所有事情;
在管理上,想有一個可以管理一切的入口,把一切的數據、口徑、項目、工程等都管理起來;
面對客戶,想讓客戶可以一站式在這個平臺上獲取到任何想要的東西,并可以獲取到足夠的
數據應用能力。
為了這個愿望,大部分的數據人朝著這個終極目標去努力。億信華辰作為專業的智能數據產品與服務提供商,基于成熟的采集、存儲、計算、治理等大數據技術,推出了符合企業數字化轉型的數據中臺解決方案。數據匯聚我們有數據工廠工具,數據治理有我們一整套睿治數據治理工具,數據資產管理和數據服務有數據資產管理工具,數據中臺需要這一系列的工具去進行輔助實現,幫助企業建設自己的數據中臺。
在億信華辰實施眾多項目過程中,我們認為數據中臺是一個運營迭代的過程,通過業務閉環不斷完善,使業務的場景化應用效果越來越好,最終達到數據業務價值的最大化。
數據中臺的幕布已經揭開,如對億信華辰數據中臺解決方案感興趣,歡迎留言探討哦。
(部分內容來源網絡,如有侵權請聯系刪除)