一.數據中臺是什么？

1. 定義

數據中臺是一套可持續“讓企業的數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續不斷把數據變成資產并服務于業務的機制數據中臺是處于業務前臺和技術后臺的中間層，是對業務提供的數據能力的抽象和共享的過程，數據中臺通過將企業的數據變成數據資產，并提供數據能力組件和運行機制，形成聚合數據接入、集成、清洗加工、建模處理、挖掘分析，并以共享服務的方式將數據提供給業務端使用，從而與業務產生聯動，而后結合業務系統的數據生產能力，最終構建數據生產>消費>再生的閉環，通過這樣持續使用數據、產生智能、反哺業務從而實現數據變現的系統和機制。

2. 本質

數據中臺服務于數字化轉型，而企業數字化轉型的終局是傳統業務變成數字化業務，數字化業務的本質就是以數據作為新生產要素進行加工，構建以數據作為主要存在形式的產品，產生商業價值的業務模型。

因此數據中臺的本質更像一種企業架構，是一套互聯網技術和行業特性，在企業發展的不確定性中，尋找確定性，并且持續沉淀和提煉企業核心能力，最終支持企業快速、高效、低成本進行業務創新和增強的企業架構。

3. 數據中臺、數倉、大數據平臺的區別

1）數據中臺VS數據倉庫

數據倉庫的主要場景是支持管理決策和業務分析，而數據中臺則是將數據服務化之后提供給業務系統，目標是將數據能力滲透到各個業務環節，不限于決策分析類場景。數據中臺持續不斷地將數據進行資產化、價值化并應用到業務，而且關注數據價值的運營。

數據中臺建設包含數據體系建設，也就是數據中臺包含數據倉庫的完整內容，數據中臺將企業數據倉庫建設的投入價值進行最大化，以加快數據賦能業務的速度，為業務提供速度更快、更多樣的數據服務。數據中臺也可以將已建好的數據倉庫當成數據源，對接已有數據建設成果，避免重復建設。當然也可以基于數據中臺提供的能力，通過匯聚、加工、治理各類數據源，構建全新的離線或實時數據倉庫。

2）數據中臺vs大數據平臺

大數據基礎能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、Elasticsearch等。在大數據組件上搭建的ETL流水線，包括數據分析、機器學習程序。數據治理系統。數據倉庫系統。數據可視化系統。

數據中臺應該是大數據平臺的一個超集。在大數據平臺的基礎之上，數據中臺還應該提供下面的系統功能：

全局的數據應用資產管理

全局的數據治理機制

自助的、多租戶的數據應用開發及發布

數據應用運維

數據應用集成

數據即服務，模型即服務

數據能力共享管理

完善的運營指標

二.數據中臺核心能力

數據中臺需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現４個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。

1、匯聚整合（數據治理-數據整合和管理能力）

數據豐富和完善：多樣的數據源進行合并和完善

管理易用：可視化任務配置、豐富的監控管理功能 數據集成運營：數據接入、轉換、寫入或緩存內部來源的各來源數據 數據目錄與治理：用戶可以方便定位所需數據，理解數據（技術/業務治理） 數據安全：確保數據的訪問權限 數據可用：用戶可簡便、可擴展的訪問異構數據，可用性和易用性高 部署靈活：本地、公有云、私有云等多種部署方式

2、提純加工（數據資產化——數據提煉與分析加工能力）

完善的安全訪問控制

完善的數據質量保障體系 規范的、緊密結合業務的可擴展的標簽體系 面向業務主題的資產平臺 智能的數據映射能力，簡化數據資產生成

3、服務可視化（數據資產服務化能力）

提供自然語言等人工智能服務

提供豐富的數據分析功能 提供友好的數據可視化服務 便捷、快速的服務開發環境，方便業務人員開發數據應用 提供實時流數據分析 提供預測分析、機器學習等高級服務

4、價值變現

提供數據應用的管理能力

提供數據洞察直接驅動業務行動的通路 提供跨行業務場景的能力 提供跨部門的普適性業務價值能力 提供基于場景的數據應用 提供業務行動效果評估功能

三.數據中臺的價值

數據中臺價值如下：

1）業務價值（業務創新，形成核心壁壘）

1、以客戶為中心，用洞察驅動企業穩健行動

2、以數據為基礎，直系大規模商業模式創新

3、盤活全量數據，構筑堅實壁壘已持續領先

2）技術價值（成本低、能力多、應用廣）

1、應對多數據處理的需求

2、豐富標簽數據，減低管理成本

3、數據價值能體現業務系統效果而不僅是準確度

4、支持跨主題域訪問數據

5、數據可以快速復用、不僅是復制

總結：數據中臺是把業務生產資料轉變為數據生產力，同時數據生產力反哺業務，不斷迭代循環的閉環過程——數據驅動決策、運營

四.數據中臺要解決什么問題？

1.指標口徑不一致

通常表現在3個方面：業務口徑不一致、計算邏輯不一致、數據來源不一致。

業務口徑不一致：業務口徑不一致的指標，應該要有不同的標識去區分，比如上面提到的銷售額這一指標，明明口徑是不一致的，但卻沒有區分，容易讓業務誤解。 計算邏輯不一致：業務口徑的描述往往是一段話，但對于一些計算邏輯比較復雜的指標，一段話通常是描述不清楚的，如果碰巧兩個相同業務口徑的指標是不同的數據研發實現的，極有可能會出現計算邏輯不一致的情況。 數據來源不一致：對于部分指標，有多個數據源可供選擇，如果數據源正好有些細微差異不被發現時，即使加工邏輯一樣，也有可能結果不一致。另外，實時數據和離線數據也會有一定差異。 因此，要實現一致性，就要確保對同一個指標，只有一個業務口徑，只加工一次，且數據來源必須一致。

2.煙囪式建設數據平臺，大量源被浪費，響應速度慢

主要在于煙囪式的開發模式，使得數據復用性低，導致大量重復邏輯代碼的研發，影響需求響應速度。

比如，兩個指標都需要對同一份原始數據進行清洗，原則上來說，只用一個任務對原始數據做清洗，產出一張明細表，另一個指標開發時，便可直接引用已經清洗好的明細表，這樣便可節省一個清洗邏輯的研發工作量。但現實往往是對同一份原始數據做了兩次清洗。因此，要解決需求響應速度慢的問題，就要提升數據的復用性，確保相同數據只加工一次，實現數據的共享。

3.取數效率低

主要表現在兩個方面，一方面是找不到數據，另一方面是取不到數據。要解決找不到數據的問題，就要構建企業數據資產目錄，讓數據使用者快速找到并理解數據。取不到數據的主要是非技術人員不會寫SQL去提取數據，所以可以為其提供自助取數工具，使其簡單快速的獲取數據。

4.數據質量低

面對業務已經沉淀的大量數據，逐步形成了企業的數據資產。而這些數據資產如何成為可持續使用的，為企業帶來價值的數據，需要數據治理進行提升數據質量，比如設計數據質量校驗的規則和使用流程，設計數據管控權限，數據如何安全輸出及共享的設計等，如何在整體上發揮出數據的協同效應，為業務提供更高價值的數據服務鏈路，數據中臺可以將這些數據能力整合到一起，對業務端提供穩定的持續的服務能力。

五.什么企業適合做數據中臺？

數據中臺的構建需要大量人力物力的投入，所以數據中臺的建設一定要結合企業的現狀，按需選擇，不可盲目跟風。因此，企業在選擇是否構建數據中臺的時，可以從以下幾個方面思考：

首先，看企業是否有一定的數據基礎，是否實現了業務數據化的過程，有了一定的數據沉淀，數據中臺，顧名思義，數據是基礎；

其次，企業是否存在業務數據孤島，是否有需要整合各個業務系統的數據，進行關聯分析的需求，如果有，需要通過構建數據中臺，打通數據孤島，整合各業務系統數據，滿足關聯分析的需求。比如某零售企業，在業務發展初期，商品、銷售、供應鏈等都是獨立的數據倉庫，后期要構建智能補貨系統，需要打通多個業務系統的數據，因此選擇建設數據中臺；

最后，在日常的數據使用過程中是否遇到指標口徑不一致、需求響應速度慢、數據質量差、數據成本高等痛點，如果滿足前兩個條件，且在數據應用中存在以上所述的一些痛點，那建議你可以考慮將數據中臺項目提上日程了。

六.數據中臺怎么建設？

1. 入手點

應從面向“業務價值”入手，簡單來講就是，面向應用更有目標性，能更早地發揮數據的價值，讓企業客戶的數字化轉型路徑不再是一個漫長的周期建設，而是一個逐步演進的過程。換一個更好的理解方式，其實是面向企業客戶實際需求，以及業務價值構建數據中臺。

首先，上數據中臺的最好是業務發展或變化快速的部門，因為這些業務上中臺，一是ROI容易成正比，二也能充分發揮數據的價值，容易得到各方認可；

其次，一開始不一定就得從統一數據口徑入手，是不是可以先容忍數據層面一定程度的混亂，驗證價值。當業務發展起來后，再去治理它，這很大程度上符合敏捷的理念，也符合很多企業的實際情況。

然后，針對業務價值或實際存在的問題提供服務，務實而非務虛。比如，①先上專家或架構師，進行項目診斷；②用產品和解決方案，走通關鍵路徑；③當核心業務問題被解決后，也有一些事情是需要客戶自己來完成，這時也能夠針對性提供一些咨詢服務。

2. 匹配企業數字化進程

建設數據中臺要遵循企業數字化進程各階段的要求，因此，企業數字化發展可以分為數據匯集、融合、開放、智能化處理幾個階段。

第一階段，對于本身已經覆蓋較多信息系統的企業，需要考慮把有關數據匯聚到一起。而對于信息化程度相對偏低的企業，則要實現企業業務的在線化；

第二階段，需要企業評估其自身數據是否已經實現了有機地融合。所謂的“融合”指的是企業通過一種標準把各個系統產生的數據進行有效的資產化。也就是說，這個階段企業需要完成數據治理和歸集工作；

第三階段，涉及數據的開放，即企業需要有專門的部門把歸集以后的數據開放給內部各個部門，讓各部門了解企業的數據資產情況，從而更好地實現企業基于數據的服務提升與創新。有條件的企業再把數據開放給生態鏈上下游的企業，實現服務創新、協作方式的重構，從而形成更大范圍的協同；

第四階段，指的是利用數據進行智能化處理。眾所周知，企業通過機器學習等人工智能的方式進行數據處理，可以創造出十分廣闊的增值空間，就像尋找礦產資源一樣，通過數據智能的方式，企業可以從前所未有的角度挖掘出全新的數據價值。

以上的數字化進程對于計劃實施數字化戰略的企業而言，是相對比較適合的一個過程。同時，由于各企業的實際情況不同，各自的戰略也會有所差別。大型企業建設中臺主要需要考慮轉體系問題，即企業應從整個組織、商業模式、戰略協同方面，開展全面的改造，即三個全：全在線、全鏈接、全協同。而發展中企業則需要先考慮“工具化”問題，即企業可以借助數據平臺、工具，首先實現業務的在線化，然后再考慮基于數據的服務提升。

3. 數據中臺架構

從數據處理與數據治理兩個維度出發，可以設計一個解耦的數據中臺體系架構。該數據中臺體系架構具有一定的柔性，可按照企業應用需求進行組合，或者對單個模塊進行擴充，能滿足大多數企業數據中臺建設的需求。

數據中臺的通用體系架構如圖 所示。該中臺體系架構以減少功能冗余和提高功能復用為原則，把數據中臺解耦為 6 個可以分別獨立建設、演進的功能子系統。數據結構與數據處理子系統是數據中臺體系架構的核心，數據治理是提升數據價值的重要手段。該數據中臺體系架構的通用性表現在以下幾點：

（1）該數據中臺體系架構綜合考慮了數據中臺的各種要素，參考這個架構進行建設可以有效提升數據資產價值，提供數據及服務的共享。

（2）參考這個數據中臺體系架構，企業可以一次規劃、分步實施。首先建設處理子系統及數據存儲子系統，然后根據業務發展需求，逐步補充數據采集、數據安全及數據治理子系統。

（3）該數據中臺由 6 個解耦的子系統組成。企業在立項建設時可以靈活組合，每個子系統單獨招標建設，也可以把多個子系統合并招標建設。數據中臺通用體系架構包含數據采集框架、數據存儲框架、數據處理框架、數據治理框架、數據安全框架及數據運營框架等 6 大部分。

1）數據采集框架

數據中臺的采集框架應對納入數據中臺的各種源數據進行統一采集管理。數據采集框架中應提供多種數據采集方式，如文件傳輸協議采集、數據庫采集、接口應用程序接入采集、流式采集及網絡爬蟲采集。同時采集框架應按照數據采集規范對源數據進行預處理，從而去除明顯不需要的數據及多余數據，并對采集過程進行管理。雖然數據中臺的體系架構沒有統一模板，但各企業數據采集框架基本一致。

2）數據存儲框架

數據中臺的核心是數據，數據通過采集系統獲取，然后數據經過處理框架加工，并接受數據治理框架的管理，同時也要接受數據安全管理框架的管理，最后開放的價值數據將通過數據運營框架對外提供數據服務。數據中臺的數據架構應該獨立規劃，并采用合理的技術架構對不同類型的數據進行存儲。數據存儲框架中，無論數據采用對象存儲、塊存儲還是數據庫存儲技術，各種中臺數據可按照上圖所示分類管理。源數據主要由采集框架進行管理，數據治理框架按照數據特征把數據簡單分為結構化和非結構化數據兩大類，而規范化分域數據則是數據治理框架對全量數據的規范化分域整理。寬表數據是數據關聯的結果，利用寬表數據可以對人、事、地、物、組等對象進行完整的數據畫像，同時寬表數據也可以作為上層模型數據的中間層數據。元數據和標簽數據都是對數據的描述，其中元數據用來對數據的客觀屬性進行表示，標簽數據更傾向于管理者對數據的主觀表述及等級劃分，比如質量等級標簽、安全標簽、屬性標簽等。主數據需要在各系統間頻繁更新、交換，且需要獨立的存儲空間進行維護管理。

3）數據處理框架

數據處理是每個數據應用的基本環節之一，經典的數據抽取、轉換和加載（ETL）處理流程在數據采集預處理、數據整合、數據建模等多個地方均要使用。單獨建設數據處理框架有利于數據處理工具組件的集中開發與管理，也有利于數據中臺數據處理任務的協調與調度。數據處理框架專門負責數據處理相關的任務，包括批處理、流處理、人工智能分析、數據清洗、數據交換及查詢，此外數據處理的相關工具組件可在處理框架中配置。任務調度模塊在數據處理框架中處于居中指揮的作用，并對運行的數據處理任務進行監控及異常處理等操作。

4）數據治理框架

廣義的數據治理不僅包含提升數據價值的內容，如數據管理、數據目錄、數據質量等，也包含數據安全管理及數據共享服務。數據安全管理與數據價值提升是一個矛盾體，如果由一個廠商或開發團隊進行數據安全管理及數據價值提升相關軟件的開發，則開發者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優質的解決方案。另外，數據共享與數據治理的其他內容也存在相同的問題。

因此，本文建議數據中臺的數據治理框架中不包含數據安全與共享的相關內容。數據治理框架包含數據資產目錄、數據管理、模型管理和數據質量4 個模塊：

（1）數據地圖、數據資產目錄、知識圖譜及數據血緣的主要作用是展示數據的屬性及相互關系，因此都納入數據目錄模塊。

（2）數據模型能提高數據中臺對外部應用需求的反應能力，固化的中間模型數據需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。

（3）數據管理又可以細分為元數據管理、主數據管理、標簽數據管理及源數據管理。

（4）數據質量管理模塊按照制定的數據標準及數據稽核規則對數據中臺中的數據進行質量管理。

5）數據安全框架

數據已經成為數據資產，數據安全框架是數據中臺必不可少的組成部分。數據安全疊加在數據中臺其他功能框架之上，數據采集、處理、交換、共享等每個環節均必須實施安全控制策略。安全框架可以分為日志管理、用戶認證、權限管理及加解密等幾個功能模塊。此外，安全全門戶也可以對外提供安全能力封裝，展示數據中臺的安全態勢及安全視圖。

6）數據運營框架

數據中臺的核心功能是綜合眾多數據應用的數據處理及數據治理功能，集中建設、集中管理、減少冗余、增加復用。數據中臺的最終目的還是為其他應用或開發者提供數據服務，而對外數據服務功能將直接面向不確定的外部對象。因此單獨建設數據運營，一方面有利于針對外部用戶提供針對性功能；另一方面，數據運營模塊作為用戶與數據中臺核心數據服務之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數據及應用，可保護數據中臺的安全性及內部功能的穩定性。

綜合以上因素，數據運營應配置運營門戶、能力開放、數據開放及運營監控等功能：

（1）運營門戶：對數據中臺管理者提供管理門戶，對開發者提供開發者門戶。對內部應用提供內部應用門戶，對外部應用提供外部應用門戶。運營門戶針對不同的用戶提供不同的通道并開放不同的數據中臺能力。

（2）能力開放：把數據中臺的數據處理能力、數據分析能力等經過適當的封裝后對用戶提供服務，可以是微服務，也可以是 API 接口，或者直接提供二次開發能力。

（3）數據開放：通過數據目錄，數據/模型展示（可視化、數據視圖等）為其他數據應用系統提供數據服務。

（4）運營監控：對數據中臺的總體運營情況進行監控管理，包括硬件環境、軟件環境，并且確定監控指標，按需求提供運營日報，處理告警信息。

七.數據中臺發展趨勢

1、標準化與市場下沉

數據中臺的核心在于共享和沉淀能力，隨著數據中臺在行業頭部及領先企業逐漸落地，供應商經歷了各類業務場景能力沉淀的過程。

在深度上，數據中臺廠商承載細分行業的各類定制化業務，不斷沉淀業務能力。

在廣度上，隨著不同業務場景的持續輸入，數據中臺廠商產品的能力越來越豐富，覆蓋的領域也越來越廣泛。

完善數據中臺的深度和廣度，提煉和整合數據中臺的服務，尤其是對于對數據中臺能力要求相對簡單的中小企業，為客戶提供標準化的整體解決方案將成為數據中臺服務商的產品方向。

2、精細化

首先，數據中臺所提供的底層技術支撐能力，需要供應商在軟件架構、云技術、容器編排、DevOps等多方面有充足的技術儲備，還需要具備資本和技術實力的雙重積累。

縱觀中國數據中臺行業，雖然界限并不明晰，但是大致形成了以阿里、騰訊等技術雄厚的頭部企業側重提供底層架構技術，其他中小供應商側重提供行業化服務和產品的競爭格局。

其次，沒有一家供應商可以覆蓋企業龐大的、所有的需求，尤其是多組織、多板塊、跨業務的大型企業，所以在一個領域內已經完成實踐和形成規模的供應商會優先深耕本領域，提供更加細分的場景切入口。

最后，企業也會根據業務需求面向不同領域的數據中臺產品進行選擇，不會局限于一家中臺服務商。隨著創業公司不斷成長，細小賽道逐漸被填充，愈加激烈的市場競爭會使差異化成為供應商采取的產品戰略。

3、SAAS化

從內部來看，數據中臺不斷沉淀跨行業、跨企業復用的組件、模塊，存在朝SaaS和本地部署混合模式發展的趨勢。從外部來看，隨著云計算的普及，部分系統SaaS化趨勢較強。因此，作為前臺和后臺的連接，數據中臺與SaaS應用融合對接的 實踐越來越多，市場將逐漸形成一套成熟的中臺+SaaS系統融合閉環方案。

敏捷開發、快速迭代以適應業務需求是數據中臺的基本能力。隨著數據中臺市場滲透率的提高，應對小量應用調整的場景，低代碼需求在近期興起。允許通過零代碼或少量代碼就可以快速創建應用，對企業運維團隊的要求降低，將充分提升數據 中臺的應用性。

4、智能化

海量數據與多樣的業務場景導致數據中臺數據量大增，積累了豐富的數據指標，未來數據中臺將會應用智能技術提供通用化智能服務，為業務決策提供直接輔助場景，比如商品銷量預測，千人千面推薦算法、營銷活動預測等。同時，通過智能技術算法可以為前端員工降低數據使用的門檻，提高整體工作效率和生產效率。