- 產(chǎn)品
- 產(chǎn)品解決方案
- 行業(yè)解決方案
- 案例
- 數(shù)據(jù)資產(chǎn)入表
- 賦能中心
- 伙伴
- 關于
-
數(shù)據(jù)治理
-
醫(yī)療衛(wèi)生
制造
-
億信動態(tài)
時間:2023-05-15來源:三月瀏覽數(shù):705次
數(shù)據(jù)中臺最核心的是OneData體系。這個體系實質上是一個數(shù)據(jù)管理體系,包括全局數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)連接萃取、數(shù)據(jù)運維監(jiān)控、數(shù)據(jù)資產(chǎn)管理工具等。數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程,提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合,出于分析性報告和決策支持目的而創(chuàng)建。
數(shù)據(jù)中臺是一個數(shù)據(jù)集成平臺,它不僅僅是為數(shù)據(jù)分析挖掘而建,它更重要的功能是作為各個業(yè)務的數(shù)據(jù)源,為業(yè)務系統(tǒng)提供數(shù)據(jù)和計算服務。數(shù)據(jù)中臺的本質就是“數(shù)據(jù)倉庫+數(shù)據(jù)服務中間件”。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前臺解決,這樣就避免了重復建設,既省時、省力,又省錢。
在二戰(zhàn)時期,美軍是以龐大的軍隊為單位作戰(zhàn);到了越戰(zhàn)時,以營為單位作戰(zhàn);到了中東戰(zhàn)斗的時候,以7人或者11人的極小班排去作戰(zhàn),這就是今天具備最強核心競爭力和打擊能力的組織。而美軍之所以能靈活作戰(zhàn),敢放這么小的團隊到前方,是因為有非常強的中臺能力,這些能力包括戰(zhàn)斗直升機、艦炮遠程支援、戰(zhàn)術導彈系統(tǒng)、戰(zhàn)斗機支援體系等,這些能力能支持小團隊快速做判斷,并且引領整個炮火覆蓋和定點清除。
而對比今天多變的市場競爭環(huán)境,企業(yè)也正在尋找像美軍一樣具備創(chuàng)新性、靈活性的中臺能力。今天我們就從以下幾個方面來說說數(shù)據(jù)中臺:
1.數(shù)據(jù)中臺產(chǎn)生的歷史背景
2.數(shù)據(jù)中臺對企業(yè)有什么價值
3.到底什么是數(shù)據(jù)中臺
4.數(shù)據(jù)中臺與數(shù)據(jù)庫、數(shù)據(jù)湖和BI有什么區(qū)別
5.企業(yè)搭建數(shù)據(jù)中臺需要注意什么
6.企業(yè)如何使用數(shù)據(jù)中臺
一、數(shù)據(jù)中臺產(chǎn)生的歷史背景
數(shù)據(jù)從軟件誕生的那一天開始就存在,但是,數(shù)據(jù)并不是第一天就被存儲和利用的。在信息化時代,企業(yè)早期通過流程來進行生產(chǎn)和管理,流程是預先設計好的,然后在設計好的流程中產(chǎn)生了數(shù)據(jù)。比如現(xiàn)在銷售部門依賴于CRM(客戶關系管理平臺),售后部門主要看客服系統(tǒng),市場營銷部門關心微信平臺,數(shù)據(jù)分析團隊使用各類數(shù)據(jù)分析工具…在這個過程中,各個企業(yè)分別都在用不同的方式來盡可能的利用數(shù)據(jù)產(chǎn)生的價值。但是隨著企業(yè)為了適應需求端(市場和消費者)的變化,早期工具各自產(chǎn)生新的、孤立的、片面的客戶數(shù)據(jù),卻無法快速同步,甚至團隊之間還懷疑對方數(shù)據(jù)是否正確。因此,企業(yè)急需調整和改革供應端(生產(chǎn)制造和供應鏈),也就是需要一個統(tǒng)一真實的數(shù)據(jù)源來描述客戶,而不是任由客戶的不同維度數(shù)據(jù)由不同部門各自存儲,于是在這樣的場景下數(shù)據(jù)中臺應運而生。數(shù)據(jù)中臺跟之前大數(shù)據(jù)平臺最大的區(qū)別,在于數(shù)據(jù)中臺距離業(yè)務更近,能更快速地響應業(yè)務和應用開發(fā)的需求,可追溯,更精準。

圖為:DataHunter數(shù)據(jù)中臺 Data Formula
數(shù)據(jù)中臺的概念是最早由阿里巴巴首次提出,是為了應對像雙十一這樣的業(yè)務高峰、應對大規(guī)模數(shù)據(jù)的線性可擴展問題、應對復雜業(yè)務系統(tǒng)的解耦問題,而在技術、組織架構等方面采取的一些變革,其本質上還是一個平臺,阿里稱之為“共享服務平臺(Shared Platform as Service,SPAS)”。SPAS采用的是基于面向服務的架構SOA理念的 “去中心化”的服務架構,所有的服務都是以“點對點”的方式進行交互。阿里之所以選擇“去中心化”的分布式服務架構,主要是考慮到擴展性.
二、數(shù)據(jù)中臺對企業(yè)有什么價值
數(shù)據(jù)中臺對一個企業(yè),起著至關重要的作用,可以讓數(shù)據(jù)在數(shù)據(jù)平臺和業(yè)務系統(tǒng)之間形成了一個良性的閉環(huán)。為什么這么說呢,不得不提到兩個概念“前臺”和“后臺”。
前臺是由各個應用組成的前端系統(tǒng)平臺。前端系統(tǒng)直接觸達用戶,通過前臺,企業(yè)與最終用戶直接進行信息交互。例如,企業(yè)搭建的電子商務網(wǎng)站、門戶網(wǎng)站、手機APP、微信公眾號等都屬于前臺。
后臺是由各個業(yè)務管理系統(tǒng)組成的后端平臺。每個后臺業(yè)務系統(tǒng)管理了企業(yè)的一塊業(yè)務,例如,財務系統(tǒng)、產(chǎn)品系統(tǒng)、客戶管理系統(tǒng)、倉庫物流管理系統(tǒng)等。基礎設施、存儲和計算平臺作為企業(yè)的核心計算資源,也屬于后臺的一部分。
因為企業(yè)后臺往往并不能很好的支撐前臺快速創(chuàng)新響應用戶的需求,后臺更多解決的是企業(yè)管理效率的問題,而中臺要解決的才是前臺的創(chuàng)新問題。此時的前臺和后臺就像是兩個不同轉速的齒輪,前臺由于要快速響應前端用戶的需求,講究的是快速創(chuàng)新迭代,所以要求轉速越快越好;但后臺由于面對的是相對穩(wěn)定的后端資源,而且往系統(tǒng)陳舊復雜,甚至還受到法律法規(guī)審計等相關合規(guī)約束,所以往往是穩(wěn)定至上,越穩(wěn)定越好,轉速也自然是越慢越好。所以,隨著企業(yè)務的不斷發(fā)展,這種“前臺+后臺”的雙輪速率“匹配失衡”的問題就逐步顯現(xiàn)出來。隨著企業(yè)業(yè)務的發(fā)展壯大,因為后臺修改的成本和風險較大,所以驅使我們會盡量選擇保持后臺系統(tǒng)的穩(wěn)定性,但還要響應用戶持續(xù)不斷的需求,自然就會將大量的業(yè)務邏輯(業(yè)務能力)直接塞到了前臺系統(tǒng)中,引入重復的同時還會致使前臺系統(tǒng)不斷膨脹,變得臃腫,形成了一個個滾泥球的“煙囪式單體應用”。漸漸拖垮了前臺系統(tǒng)的“客戶響應力”,用戶滿意度降低,企業(yè)競爭力也隨之不斷下降。而中臺鏈接了前臺用戶與后臺核心資源,既可以將早已臃腫不堪的前臺系統(tǒng)中的穩(wěn)定通用業(yè)務能力“沉降”到中臺層,為前臺減肥,實施“大中臺,小前臺”戰(zhàn)略,恢復前臺的響應力。前臺可以快速生成各種微應用;又可以將后臺系統(tǒng)中需要頻繁變化或是需要被前臺直接使用的業(yè)務能力“提取”到中臺層,賦予這些業(yè)務能力更強的靈活度和更低的變更成本,從而為前臺提供更強大的“能力炮火”?援。中臺就像是在前臺與后臺之間添加的一組“變速齒輪”,將前臺與后臺的速率進行匹配,是前臺與后臺的橋梁。它為前臺而生,易于前臺使用,將后臺資源順滑流向用戶,響應用戶。
三、到底什么是數(shù)據(jù)中臺
數(shù)據(jù)中臺是指通過數(shù)據(jù)技術,對海量數(shù)據(jù)進行采集、計算、存儲、加工,同時統(tǒng)一標準和口徑。數(shù)據(jù)中臺把數(shù)據(jù)統(tǒng)一之后,會形成標準數(shù)據(jù),再進行存儲,形成大數(shù)據(jù)資產(chǎn)層,進而為客戶提供高效服務。這些服務跟企業(yè)的業(yè)務有較強的關聯(lián)性,是這個企業(yè)獨有的且能復用的,它是企業(yè)業(yè)務和數(shù)據(jù)的沉淀,其不僅能降低重復建設、減少煙囪式協(xié)作的成本,也是差異化競爭優(yōu)勢所在。
數(shù)據(jù)中臺主要提供三類服務:依賴接口的服務、依賴工具的服務和依賴數(shù)據(jù)的服務(包括垂直數(shù)據(jù)中心、公共數(shù)據(jù)中心和萃取數(shù)據(jù)中心)。
在這三種服務中,重點關注的是依賴于數(shù)據(jù)的服務,數(shù)據(jù)中臺具有大數(shù)據(jù)分析能力,并將該能力通過接口服務等方式對外提供。這一點是數(shù)據(jù)中臺與數(shù)據(jù)倉庫的最大區(qū)別,數(shù)據(jù)倉庫對外直接提供規(guī)整的數(shù)據(jù)分析能力,一般由BI工具或者大數(shù)據(jù)挖掘工具負責,而數(shù)據(jù)中臺直接將數(shù)據(jù)封裝成服務,以API等方式對外輸出。數(shù)據(jù)中臺原則上只提供通用的服務接口,個性化在業(yè)務層實現(xiàn),簡化上層業(yè)務使用,提升對業(yè)務需求的響應效率。“數(shù)據(jù)中臺”不是既有的專業(yè)術語,而是企業(yè)在持續(xù)思索“如何讓數(shù)據(jù)產(chǎn)生更多價值”的過程中,演變成型的一種管理理念。數(shù)據(jù)中臺并不是一個模板,不同的企業(yè)、不同的業(yè)務所需要的數(shù)據(jù)中臺并不相同,技術部門需要和業(yè)務部門協(xié)調,從企業(yè)的業(yè)務需求出發(fā)構建與企業(yè)相匹配的一套數(shù)據(jù)應用的流程機制。同時企業(yè)也需要有前瞻性,考慮到業(yè)務未來的發(fā)展和豐富性,傳統(tǒng)系統(tǒng)發(fā)展到數(shù)據(jù)中臺時需要考慮到擴展性,靈活性。
四、與數(shù)據(jù)庫、數(shù)據(jù)湖和BI的區(qū)別
1.數(shù)據(jù)中臺和BI
BI更多的是做了用數(shù)據(jù)展示工作,詳細內(nèi)容請參考《一文講透商業(yè)智能BI到底是什么 | 推薦收藏》,是在一種滯后的業(yè)務數(shù)據(jù)分析,而用數(shù)據(jù)管理工作,用數(shù)據(jù)推動工作(用人為的方式推動)做的很少,所以BI偏重分析;數(shù)據(jù)中臺則提出了數(shù)據(jù)滲透到整個業(yè)務的閉環(huán)中,用系統(tǒng)的方式推動工作,所以更實用和全面,并實時滲透到業(yè)務的全過程。
2.數(shù)據(jù)中臺與數(shù)據(jù)倉庫
數(shù)據(jù)中臺最核心的是OneData體系。這個體系實質上是一個數(shù)據(jù)管理體系,包括全局數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)連接萃取、數(shù)據(jù)運維監(jiān)控、數(shù)據(jù)資產(chǎn)管理工具等。數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程,提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合,出于分析性報告和決策支持目的而創(chuàng)建。
數(shù)據(jù)中臺是一個數(shù)據(jù)集成平臺,它不僅僅是為數(shù)據(jù)分析挖掘而建,它更重要的功能是作為各個業(yè)務的數(shù)據(jù)源,為業(yè)務系統(tǒng)提供數(shù)據(jù)和計算服務。數(shù)據(jù)中臺的本質就是“數(shù)據(jù)倉庫+數(shù)據(jù)服務中間件”。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前臺解決,這樣就避免了重復建設,既省時、省力,又省錢。
3.數(shù)據(jù)中臺與數(shù)據(jù)湖
數(shù)據(jù)的聚集、加工的目的也是為了數(shù)據(jù)的服務,但是數(shù)據(jù)湖泊只是解決了聚集問題,詳細內(nèi)容請參考《什么是數(shù)據(jù)湖?有什么用?終于有人講明白了》,在數(shù)據(jù)加工方面由于不可控制的需求變得異常繁重,由于數(shù)據(jù)的繁雜和混亂引入數(shù)據(jù)治理讓數(shù)據(jù)的加工更是舉步維艱。數(shù)據(jù)倉庫、數(shù)據(jù)湖泊、BI主要是是圍繞“讀”數(shù)據(jù)展開的,強調利用數(shù)據(jù)的能力,而不修改數(shù)據(jù),而數(shù)據(jù)中臺則不單提供數(shù)據(jù),同時強調圍繞數(shù)據(jù)的各種形式的服務,一旦涉及數(shù)據(jù)的“寫”,又想提供通用的服務,就變成了主數(shù)據(jù)管理了。但是站在靈活性上來說,數(shù)據(jù)中臺,主要解決的還是數(shù)據(jù)“讀”的能力的聚集和向多方賦能。
五、企業(yè)搭建數(shù)據(jù)中臺需要注意什么
對于很多準備或者正在規(guī)劃商業(yè)智能BI項目的企業(yè)來說,業(yè)務分析需求的梳理是整個項目開始的第一步,往往也是最困難的,主要表現(xiàn)如下:業(yè)務部門往往提不出比較具體的分析需求,而IT部門很難深入到業(yè)務,也提不出適合業(yè)務部門的分析需求。BI項目需求分析涉及到很多部門,有的時候內(nèi)部資源的溝通、協(xié)調都是很困難的...

圖為:DataHunter數(shù)據(jù)中臺 Data Formula
搭建數(shù)據(jù)中臺需要圍繞“規(guī)劃、治理、整合、共享”四步,將企業(yè)海量、多維的數(shù)據(jù)資產(chǎn)盤點、整合、分析、確保整個公司數(shù)據(jù)一致性和可復用性,為前臺提供數(shù)據(jù)資產(chǎn)、數(shù)據(jù)定制創(chuàng)新、數(shù)據(jù)監(jiān)測與數(shù)據(jù)分析等服務,最終實現(xiàn)數(shù)據(jù)資產(chǎn)的價值最大化。在這里需要注意:
(1)需要一把手重視,認識數(shù)據(jù)中臺價值,他們的業(yè)務模式數(shù)據(jù)是重要的支撐,是重要的推動力,而且從心底認知到技術不僅僅是服務業(yè)務,更是可以引領業(yè)務。從思想上也要認識到,基于客戶在不斷變化,個性化、社交化和高品質需求,企業(yè)需要所提供的體驗也必須實時在線,不斷改進;
(2)需要數(shù)據(jù)生態(tài)建設思維。數(shù)據(jù)生態(tài)體系的構建能夠為企業(yè)的管理、人才、銷售與伙伴,提供更好的競爭環(huán)境和,資源配置效率,實現(xiàn)可持續(xù)發(fā)展的戰(zhàn)略轉折。并通過開放式數(shù)據(jù)生態(tài)合作,創(chuàng)新連通上下游產(chǎn)業(yè)鏈,保持存量市場,擴大增量市場;
(3)需要建立數(shù)據(jù)湖的概念,推動數(shù)據(jù)的3融合,5跨越的建設(技術融合、業(yè)務融合、數(shù)據(jù)融合,實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的協(xié)同管理和服務)。在具體建設策略方面,企業(yè)應基于自身的業(yè)務戰(zhàn)略,選擇明確數(shù)據(jù)資產(chǎn)對象,由業(yè)務或應用(需求)驅動。數(shù)據(jù)中臺需要匯聚企業(yè)的內(nèi)部數(shù)據(jù)、公開數(shù)據(jù)、線上數(shù)據(jù)和線下數(shù)據(jù),比如內(nèi)部數(shù)據(jù)包含企業(yè)的各業(yè)務系統(tǒng)中實時產(chǎn)?的數(shù)據(jù),如CRM、ERP等系統(tǒng),記錄企業(yè)?常 ?為數(shù)據(jù);公開數(shù)據(jù)主要是通過爬?等?式抓取的數(shù)據(jù),如電商?站商品、社交?站的?戶評論等。線上數(shù)據(jù)指通過SDK等?式獲取的數(shù)據(jù),主要是移動設備上的?戶?為數(shù)據(jù)、LBS位置數(shù) 據(jù)等;線下數(shù)據(jù)指?類是通過WIFI、藍?探針獲取的數(shù)據(jù),另?類是公安、運營商、銀聯(lián)等?價 值數(shù)據(jù)。
六、企業(yè)如何使用數(shù)據(jù)中臺
1.需要一份好用的企業(yè)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)中臺來源數(shù)據(jù)多樣、多源、多域,通過數(shù)據(jù)的清洗、分類整合拉通、維度匯總等,數(shù)據(jù)使用者想要了解數(shù)據(jù)的前世今生難度很大,需要有一份清晰的數(shù)據(jù)資產(chǎn)目錄,并能通過智能的搜索、推薦等方式滿足數(shù)據(jù)使用者快速找到合適的數(shù)據(jù)。
2.了解企業(yè)數(shù)據(jù)資產(chǎn)更多的關聯(lián)性企業(yè)數(shù)據(jù)資產(chǎn)除了常用的各層模型數(shù)據(jù),還有很多指標、報表、文檔、腳本等,都是數(shù)據(jù)資產(chǎn)的重要組成部分,如何便捷地把需求、數(shù)據(jù)等多種形態(tài)的數(shù)據(jù)資產(chǎn)拉通理解,對企業(yè)組織流程提出了更高要求。
3.在相同認知下進行交流和知識共享數(shù)據(jù)中臺的數(shù)據(jù)整合、數(shù)據(jù)服務封裝等,打破了企業(yè)部門壁壘,形成了很多跨業(yè)務條線的數(shù)據(jù)服務、組件,數(shù)據(jù)使用者可使用數(shù)據(jù)的范圍較以往有極大擴展,如何讓數(shù)據(jù)使用者快速對新業(yè)務、新數(shù)據(jù)進行學習和積累,需要給數(shù)據(jù)使用者提供一種統(tǒng)一的界面對數(shù)據(jù)理解、數(shù)據(jù)使用方式等進行密切交流,及時互動。
4.需要一種新的合作方式來加快創(chuàng)新活動為實現(xiàn)企業(yè)快速業(yè)務響應能力和規(guī)模化創(chuàng)新能力,數(shù)據(jù)使用者除了對跨業(yè)務條線數(shù)據(jù)、業(yè)務的學習和積累,還需要跨出部門界限,強強聯(lián)合。特別是當前金融科技創(chuàng)新、跨界競爭壓力不斷增強的情況下,企業(yè)急需借助數(shù)據(jù)和分析的力量,創(chuàng)造一種與數(shù)據(jù)資產(chǎn)、用數(shù)環(huán)境密切關聯(lián)的創(chuàng)新流程,形成靈活試錯、快速驗證、敏捷開發(fā)的合作模式,以加快企業(yè)數(shù)據(jù)資產(chǎn)的變現(xiàn)能力。數(shù)據(jù)中臺的建設是一個長期的過程,需要全企業(yè)組織、工作流程的密切配合與支持。數(shù)據(jù)中臺的價值體現(xiàn),更加需要企業(yè)為數(shù)據(jù)使用者創(chuàng)造一種基于數(shù)據(jù)的協(xié)同工作模式,提高企業(yè)用數(shù)效率,為業(yè)務前臺快速提供有效的數(shù)據(jù)支撐和分析支撐,實現(xiàn)企業(yè)的用戶增長和業(yè)績增長。
七、小結
1.數(shù)據(jù)中臺是為解決“創(chuàng)新驅動快速變化”的前臺和“穩(wěn)定可靠驅動變化周期相對較慢”的后臺之間的?盾而存在的;
2.數(shù)據(jù)中臺是一種支持以用戶為中心的持續(xù)規(guī)模化的創(chuàng)新,并想方設法持續(xù)提高企業(yè)對于?戶的響應?;3.數(shù)據(jù)中臺是企業(yè)業(yè)務能力模式從當前狀態(tài)逐步進化的一種企業(yè)架構方法論,它更重要的支撐是以共享為目標的“業(yè)務流程再造”和“業(yè)務組織重構”的過程。
在線咨詢
點擊進入在線咨詢