這兩年,越來越多的大數(shù)據(jù)從業(yè)者提到“數(shù)據(jù)中臺”的概念。在信息系統(tǒng)建設(shè)工作中,我們熟知系統(tǒng)可以分為前臺和后臺,但什么是中臺,每個人的理解并不一致,小億結(jié)合億信華辰的實踐經(jīng)驗,在本文中講述了什么是數(shù)據(jù)中臺,以及數(shù)據(jù)中臺的架構(gòu),讓大家了解一下架構(gòu)中每一個部分的功能以及作用。
企業(yè)也紛紛規(guī)劃起自己的中臺。那數(shù)據(jù)中臺到底要經(jīng)過哪些加工、如何將數(shù)據(jù)用起來,相信很多人都會有這個疑問,這次將講解數(shù)據(jù)中臺的架構(gòu),讓大家了解一下架構(gòu)中每一個部分的功能以及作用。
談?wù)摂?shù)據(jù)中臺時,他們在談?wù)撌裁?br>
當下,人人都在談?wù)?a href="http://m.122re.com/" title="數(shù)字化轉(zhuǎn)型" target="_blank">數(shù)字化轉(zhuǎn)型,但怎么轉(zhuǎn),做什么,中臺有可能成為企業(yè)推進數(shù)字化轉(zhuǎn)型的有效方法之一。“中臺”早期是由美軍的作戰(zhàn)體系演化而來的,使用“中臺”這種作戰(zhàn)體系,目的就在于給予前方高效、靈活和強大炮火支持。2015年,阿里巴巴率先提出了“中臺戰(zhàn)略”,以及其有名的“大中臺、小前臺”的機制。2018年8月,阿里發(fā)布“雙中臺+ET”數(shù)字化轉(zhuǎn)型方法論,阿里的雙中臺包括了數(shù)據(jù)中臺和業(yè)務(wù)中臺。在“業(yè)務(wù)中臺”模式下,前端業(yè)務(wù)部門可以像搭積木一樣調(diào)用平臺上的產(chǎn)品技術(shù)模塊,從而快速搭建新業(yè)務(wù)場景。“數(shù)據(jù)中臺”則打破了不同業(yè)務(wù)部門之間的煙囪式IT架構(gòu),從而打通數(shù)據(jù)孤島,實現(xiàn)了“一切業(yè)務(wù)數(shù)據(jù)化”的目標。ET大腦是指其面向特定行業(yè)的智能化解決方案。
在阿里中臺概念的引領(lǐng)下,很多企業(yè)也提出了自己的“中臺戰(zhàn)略”。如把內(nèi)部一些通用性技術(shù)平臺、支撐系統(tǒng)打包在一起,稱之為技術(shù)中臺;把一些大的業(yè)務(wù)服務(wù)系統(tǒng),邏輯上集中起來稱之為業(yè)務(wù)中臺;或干脆把現(xiàn)有的
數(shù)據(jù)倉庫、
數(shù)據(jù)治理平臺、數(shù)據(jù)運維平臺整合稱之為數(shù)據(jù)中臺;還有一種更簡單的方式,就是把以前內(nèi)部IT支撐系統(tǒng)的后臺直接改名,與數(shù)據(jù)相關(guān)的部分就叫數(shù)據(jù)中臺,與業(yè)務(wù)耦合度較緊密的就叫業(yè)務(wù)中臺。以上定義,各有各有道理,但有一點大家都有一致的意見,就是建立中臺的目的在于:減少冗余,增加復(fù)用,快速響應(yīng)用戶需求。
一般來說,數(shù)據(jù)中臺是指企業(yè)利用大數(shù)據(jù)技術(shù),對內(nèi)外部海量數(shù)據(jù)統(tǒng)一進行采集、計算、存儲,并使用統(tǒng)一的數(shù)據(jù)規(guī)范進行管理,數(shù)據(jù)規(guī)范包括數(shù)據(jù)口徑、數(shù)據(jù)模型、元數(shù)據(jù)規(guī)范、參考
數(shù)據(jù)標準、
主數(shù)據(jù)標準、業(yè)務(wù)規(guī)則等。更進一步,廣義的數(shù)據(jù)中臺,還包括企業(yè)長期積累下來與業(yè)務(wù)有較強關(guān)聯(lián)性的一些技術(shù)組件,如業(yè)務(wù)標簽、算法模型、數(shù)據(jù)產(chǎn)品等。數(shù)據(jù)中臺的主要作用在于將企業(yè)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標準化數(shù)據(jù),挖掘出對企業(yè)最有價值的數(shù)據(jù),構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫,對內(nèi)對外提供一致的、高可用大數(shù)據(jù)服務(wù)。
理想的數(shù)據(jù)中臺架構(gòu),是什么樣的
我們先來看下面網(wǎng)易嚴選數(shù)據(jù)體系的圖,就更清楚數(shù)據(jù)中臺的定位了。

數(shù)據(jù)中臺的下層是數(shù)據(jù)平臺,數(shù)據(jù)平臺主要解決跟業(yè)務(wù)無關(guān)的問題,主要是大數(shù)據(jù)的存儲和計算問題。
數(shù)據(jù)中臺的上層就是數(shù)據(jù)前臺,主要包括
BI 報表、數(shù)據(jù)產(chǎn)品和業(yè)務(wù)系統(tǒng)。
數(shù)據(jù)中臺首先賦能分析師通過 BI 報表的形式來驅(qū)動業(yè)務(wù)精細化運營。
數(shù)據(jù)中臺的目標是通過中臺提供的工具、方法和運行機制,把異構(gòu)資源的數(shù)據(jù)進行加工處理,最后變?yōu)橐环N服務(wù)能力,讓數(shù)據(jù)更方便地被業(yè)務(wù)使用。上圖為中臺架構(gòu)圖,底層是業(yè)務(wù)系統(tǒng)的各路數(shù)據(jù)源,中間是進行數(shù)據(jù)匯集、處理和數(shù)據(jù)治理,最后是形成數(shù)據(jù)服務(wù)進行應(yīng)用。

數(shù)據(jù)中臺架構(gòu)主要分為以下5個部分:
數(shù)據(jù)匯聚
數(shù)據(jù)中臺不產(chǎn)生數(shù)據(jù),數(shù)據(jù)其實來源于各個業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)環(huán)境等,是日常操作所造成的數(shù)據(jù),多數(shù)存儲在網(wǎng)絡(luò)環(huán)境和存儲平臺中,且各個系統(tǒng)之間獨立存在,很難直接使用,需要去進行數(shù)據(jù)抽取、采集、整合和處理,將異構(gòu)
數(shù)據(jù)采集到統(tǒng)一的平臺進行存儲,進而通過建模將數(shù)據(jù)進行加工處理,變?yōu)閷I(yè)務(wù)有用的數(shù)據(jù),只有這樣才能有效匯聚數(shù)據(jù),形成數(shù)據(jù)中臺的統(tǒng)一數(shù)據(jù)資源。
數(shù)據(jù)治理
數(shù)據(jù)平臺建好后,業(yè)務(wù)數(shù)據(jù)可能雜亂無章,
數(shù)據(jù)質(zhì)量低,需要經(jīng)過一系列的治理提高數(shù)據(jù)質(zhì)量,將數(shù)據(jù)統(tǒng)一起來進行管控,這個過程中就包括數(shù)據(jù)模型管理、數(shù)據(jù)標準管理、
元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、生命周期管理、數(shù)據(jù)安全管理。數(shù)據(jù)模型管理是根據(jù)業(yè)務(wù)對數(shù)據(jù)進行分層、整合處理,方便數(shù)據(jù)的分析應(yīng)用;元數(shù)據(jù)管理方便技術(shù)人員進行分析數(shù)據(jù)來龍去脈以及對數(shù)據(jù)庫底層數(shù)據(jù)質(zhì)量進行把控;數(shù)據(jù)標準用來指定一系列標準,對元數(shù)據(jù)進行標準的檢查;數(shù)據(jù)質(zhì)量是根據(jù)一系列規(guī)則,對庫表數(shù)據(jù)進行校驗和整改;數(shù)據(jù)生命周期和安全貫穿整個流程,為數(shù)據(jù)保駕護航。
數(shù)據(jù)資產(chǎn)管理
經(jīng)過數(shù)據(jù)匯聚、數(shù)據(jù)治理,已經(jīng)形成的數(shù)據(jù)資源需要有統(tǒng)一的地方去進行展示,方便業(yè)務(wù)人員理解數(shù)據(jù),這時就需要建立數(shù)據(jù)資產(chǎn)管理體系,需要先根據(jù)業(yè)務(wù)先形成資產(chǎn)目錄,數(shù)據(jù)擁有者將自己的數(shù)據(jù)資產(chǎn)掛到對應(yīng)的類目樹,梳理成一套完整的資產(chǎn)目錄,將數(shù)據(jù)資產(chǎn)開放出去,展示給業(yè)務(wù)人員或外部人員,提供企業(yè)的數(shù)據(jù)意識。
數(shù)據(jù)服務(wù)
經(jīng)過前期一系列梳理工作,其實數(shù)據(jù)還沒有產(chǎn)生價值,那數(shù)據(jù)服務(wù)其實是將數(shù)據(jù)資產(chǎn)變?yōu)橐环N服務(wù)能力,簡單來說,我們可以對數(shù)據(jù)資產(chǎn)一覽無余,那么如果看上了某個數(shù)據(jù)資產(chǎn),需要如何進行使用呢?數(shù)據(jù)提供方將數(shù)據(jù)資產(chǎn)提供給別人使用,他又能獲取到什么利益呢?這就是我們的數(shù)據(jù)服務(wù)功能,數(shù)據(jù)資產(chǎn)已經(jīng)對外開放,如果我們需要這個數(shù)據(jù)資產(chǎn),就需要這個數(shù)據(jù)資產(chǎn)開放對應(yīng)的服務(wù),服務(wù)支持多樣式,例如API、數(shù)據(jù)交換、文件、在線查詢等,申請的人可以進行加購獲取到這個數(shù)據(jù)資產(chǎn)的信息,快速進行分析應(yīng)用等。
運營體系
通過數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù),以及完成數(shù)據(jù)中臺的建立,數(shù)據(jù)得到價值,但是數(shù)據(jù)中臺如果需要持續(xù)運轉(zhuǎn),需要一套運營體系,讓中臺得以健康、持續(xù)運營,讓數(shù)據(jù)不斷發(fā)揮價值。
說到這里,必須介紹下我們億信華辰,致力于數(shù)據(jù)領(lǐng)域十余年,產(chǎn)品覆蓋數(shù)據(jù)的全生命周期,數(shù)據(jù)匯聚有我們的數(shù)據(jù)工廠工具,數(shù)據(jù)治理有我們一整套睿治數(shù)據(jù)治理工具,數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)服務(wù)有數(shù)據(jù)資產(chǎn)管理工具,數(shù)據(jù)中臺需要這一系列的工具去進行輔助實現(xiàn),幫助企業(yè)建設(shè)自己的數(shù)據(jù)中臺。
億信華辰作為專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商,基于成熟的采集、存儲、計算、治理等大數(shù)據(jù)技術(shù),推出了符合企業(yè)數(shù)字化轉(zhuǎn)型的數(shù)據(jù)中臺解決方案。數(shù)據(jù)中臺的幕布已經(jīng)揭開,如對億信華辰數(shù)據(jù)中臺解決方案感興趣,歡迎留言探討哦。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)