一數(shù)據(jù)中臺定義

對于一個(gè)企業(yè)，數(shù)據(jù)中臺核心使命，沉淀有價(jià)值數(shù)據(jù)，形成企業(yè)數(shù)據(jù)共享，數(shù)據(jù)服務(wù)或應(yīng)用于企業(yè)各部門、各領(lǐng)域的工作。

從技術(shù)視角，數(shù)據(jù)中臺是一種數(shù)據(jù)管理體系，最重要的目標(biāo)是支持各部門業(yè)務(wù)數(shù)據(jù)和提供計(jì)算服務(wù)。數(shù)據(jù)中臺的本質(zhì)就是“數(shù)據(jù)倉庫+數(shù)據(jù)服務(wù)中間件”。

從業(yè)務(wù)視角，數(shù)據(jù)中臺是指通過完成企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析、應(yīng)用，打通數(shù)據(jù)孤島實(shí)現(xiàn)數(shù)據(jù)集中管理應(yīng)用,成為企業(yè)數(shù)據(jù)資產(chǎn)管理中樞。

數(shù)據(jù)中臺數(shù)據(jù)模型的分層，業(yè)界比較通用的分層方式是將數(shù)據(jù)模型分為5層：①ODS（Operate Data Store，操作數(shù)據(jù)層）、②DIM（Dictionary Data Layer ，維度數(shù)據(jù)層）、③DWD（Data Warehouse Detail ，明細(xì)數(shù)據(jù)層）、④DWS（Data Warehouse Service，匯總數(shù)據(jù)層）、⑤ADS（Application Data Store，數(shù)據(jù)應(yīng)用層）

數(shù)據(jù)中臺為行業(yè)熟知，由阿里興起并推廣，2015年阿里提出“大中臺，小前臺”的策略，方法論講“OneData（統(tǒng)一數(shù)據(jù)）、OneEntity（統(tǒng)一實(shí)體）、OneService（統(tǒng)一服務(wù)）”，OneData致力干統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，讓數(shù)據(jù)成為資產(chǎn)而非成本；OneEntity致力于統(tǒng)一實(shí)體，讓數(shù)據(jù)融通而以非孤島存在；OneService致力于統(tǒng)一數(shù)據(jù)服務(wù)，讓數(shù)據(jù)復(fù)用而非復(fù)制。

隨著金融行業(yè)數(shù)字化轉(zhuǎn)型加快，數(shù)據(jù)中臺在金融領(lǐng)域被重視，數(shù)據(jù)中臺甚至寫進(jìn)了各大銀行、保險(xiǎn)等機(jī)構(gòu)的發(fā)展戰(zhàn)略。例如，2019年12月，招商銀行宣布設(shè)置數(shù)據(jù)資產(chǎn)與平臺研發(fā)中心，其定位就是“數(shù)據(jù)中臺”；2020年，中國農(nóng)業(yè)銀行制定了“六大中臺”戰(zhàn)略，打造數(shù)據(jù)、信貸、開放銀行、零售營銷、對公營銷和運(yùn)營六大中臺；中國太保集團(tuán)攜手阿里云首次打造集團(tuán)級數(shù)據(jù)中臺，全面向數(shù)據(jù)智能要紅利。

大型企業(yè)在數(shù)據(jù)中臺建設(shè)過程中通常以IT條線人員作為產(chǎn)品經(jīng)理主導(dǎo)，雖然能夠做到技術(shù)架構(gòu)的先進(jìn)性，圍繞“ODS、DWD、DWS”大規(guī)模存儲及計(jì)算性能展開投入，但業(yè)務(wù)參與度太弱，導(dǎo)致系統(tǒng)對業(yè)務(wù)響應(yīng)的敏捷度較差，業(yè)務(wù)通用性低。往往企業(yè)新上一個(gè)業(yè)務(wù)，在業(yè)務(wù)看來很簡單的“接入數(shù)據(jù)、生成標(biāo)簽、報(bào)表統(tǒng)計(jì)、提取數(shù)據(jù)”業(yè)務(wù)需求，在數(shù)據(jù)中臺從需求分析到上線支持以月為周期。2020年底，傳出阿里掌門逍遙子要拆掉親自搭建的大中臺，核心原因?qū)I(yè)務(wù)一線響應(yīng)效率較差。

既然中臺是鏈接業(yè)務(wù)，驅(qū)動業(yè)務(wù)，支持業(yè)務(wù)，那么衡量數(shù)據(jù)中臺（包含業(yè)務(wù)中臺）價(jià)值應(yīng)該交給業(yè)務(wù)一線，那么從業(yè)務(wù)視角，“通用+標(biāo)準(zhǔn)+敏捷”三個(gè)維度評價(jià)中臺是否成功關(guān)鍵。

關(guān)于通用性，數(shù)據(jù)中臺的核心價(jià)值就是共享，因此數(shù)據(jù)中臺的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)接口、數(shù)據(jù)規(guī)則是否具備通用性衡量了數(shù)據(jù)中臺的成功與否的標(biāo)準(zhǔn)，如果每一個(gè)新接入的數(shù)據(jù)源需要重新設(shè)計(jì)接口，設(shè)計(jì)數(shù)據(jù)處理流程、更新寬表、開發(fā)新的標(biāo)簽，那么數(shù)據(jù)中臺不過是把數(shù)據(jù)煙囪平移到新的平臺而已。

關(guān)于標(biāo)準(zhǔn)化，數(shù)據(jù)中臺具有沉淀數(shù)據(jù)的價(jià)值使命，數(shù)據(jù)通用性、可用性主要依賴于“數(shù)據(jù)的標(biāo)準(zhǔn)化”，如對“地址“的現(xiàn)行大多企業(yè)標(biāo)準(zhǔn)化做到了“省市區(qū)鎮(zhèn)”的結(jié)構(gòu)化、參數(shù)化，但實(shí)際省市區(qū)鎮(zhèn)的由于國家城鎮(zhèn)改革，區(qū)劃參數(shù)在不斷變化中，每一次行政區(qū)劃變動涉及企業(yè)歷史地址數(shù)據(jù)更新，若能夠標(biāo)準(zhǔn)化到“經(jīng)緯度”，那么大幅減少歷史數(shù)據(jù)的更新工作量（僅需通過地址經(jīng)緯度翻譯出最新省市區(qū)鎮(zhèn)即可）。

關(guān)于敏捷性，數(shù)據(jù)中臺強(qiáng)調(diào)復(fù)用，復(fù)用最大的效果之一響應(yīng)業(yè)務(wù)需求“快速敏捷”；如果一個(gè)數(shù)據(jù)需求中臺響應(yīng)時(shí)效不如過去的數(shù)據(jù)集市，那么中臺難以滿足日益提速的業(yè)務(wù)節(jié)奏。

數(shù)據(jù)接入的“通用化+標(biāo)準(zhǔn)化+敏捷性”：實(shí)現(xiàn)接口的通用化，對實(shí)時(shí)接口、批量接口、文件上傳接口中字段的定義配置化與模塊化，如90%事件數(shù)據(jù)可以進(jìn)行通用化定義:事件來源（枚舉值/文本）、事件對象（枚舉值/文本）、事件開始時(shí)間（日期）、結(jié)束時(shí)間（日期）、事件內(nèi)容（枚舉值/文件/數(shù)值）、事件特殊標(biāo)記（枚舉值/文件/數(shù)值/日期），通用化標(biāo)準(zhǔn)化的接口可以節(jié)約數(shù)據(jù)接入需求分析及接口重復(fù)設(shè)計(jì)工作量，僅需維護(hù)數(shù)據(jù)源的定義表。同時(shí)考慮對于非分析數(shù)據(jù)應(yīng)用場景，允許數(shù)據(jù)應(yīng)用層可以跨層調(diào)用接入的數(shù)據(jù)（避免ODS層、DWD層處理流程消耗的時(shí)效），根據(jù)需要設(shè)置接入數(shù)據(jù)臨時(shí)表（只存儲一定周期接入原始數(shù)據(jù)），直接供應(yīng)用層調(diào)用（實(shí)際業(yè)務(wù)中很多事件數(shù)據(jù)無需DWS或DWD層進(jìn)行加工），可大幅提高響應(yīng)業(yè)務(wù)時(shí)效。

如在壽險(xiǎn)保險(xiǎn)領(lǐng)域，客戶的投保、保全、理賠、咨訴事件數(shù)據(jù)都可以納入通用化接口：事件類型設(shè)置3個(gè)數(shù)值字段（如應(yīng)用到咨訴-投訴-銷售投訴）、事件名稱設(shè)置2個(gè)文本字段（XX活動）、事件對象設(shè)置6個(gè)文本字段（客戶號、手機(jī)號、保單號）、事件開始與結(jié)束時(shí)間各設(shè)置兩個(gè)日期字段（客戶投訴時(shí)間、投訴事件發(fā)生時(shí)間、實(shí)際結(jié)案時(shí)間、客戶要求結(jié)案時(shí)間）、事件內(nèi)容設(shè)置三個(gè)文本字段（投訴內(nèi)容、客服備注內(nèi)容），特殊標(biāo)記設(shè)置2個(gè)數(shù)值、2個(gè)文本、2個(gè)日期（如投訴是否升級等），實(shí)踐證明通用化接口兼容80%以上保險(xiǎn)領(lǐng)域事件數(shù)據(jù)，減少需求分析及接口設(shè)計(jì)工作。考慮到壽險(xiǎn)實(shí)際業(yè)務(wù)中“作業(yè)報(bào)表、觸點(diǎn)推送”兩類應(yīng)用中很多數(shù)據(jù)無需在DWS或DWD層匯總加工。因此增加設(shè)置接入數(shù)據(jù)臨時(shí)表，供中臺的報(bào)表、觸點(diǎn)兩兩大應(yīng)用模塊取用進(jìn)行快速增量更新，實(shí)現(xiàn)與數(shù)據(jù)寫入ODS層流程解耦，有效解決排期不一致各種問題。

應(yīng)用層的“通用化+標(biāo)準(zhǔn)化+敏捷性”，此處主要探討從數(shù)據(jù)接入到完成業(yè)務(wù)部署的通用化流程。

首先最為常見的標(biāo)簽，實(shí)際傳統(tǒng)金融行業(yè)50%的標(biāo)簽可直接來源于ODS數(shù)據(jù)，且具有階段性需求特征，無需進(jìn)行加工計(jì)算。如客戶是否購買、是否理賠、是否參加活動、活動類型等，這類型標(biāo)簽完全可以在應(yīng)用層配置化，通用化，無需DWD、DWS層重新設(shè)計(jì)開發(fā)。

具體案例如在壽險(xiǎn)客戶標(biāo)簽應(yīng)用層，通過在ADS層預(yù)設(shè)“數(shù)值、枚舉值、文本、日期”四個(gè)類型的萬能標(biāo)簽。當(dāng)業(yè)務(wù)階需要新增的標(biāo)簽為臨時(shí)事件類標(biāo)簽，無需“匯總、排序”等計(jì)算，完全可以借用在ADS層預(yù)設(shè)的標(biāo)簽，繞開DWD、DWS層，直接通過ODS接入數(shù)據(jù)按照通用的“證件號、手機(jī)號、保單號”比對邏輯在原有的ADS層的客戶數(shù)據(jù)、保單數(shù)據(jù)上完成即時(shí)標(biāo)簽生成，并在界面自定義標(biāo)簽名稱，標(biāo)簽部署時(shí)效縮短至“分鐘”。

中臺另一個(gè)報(bào)表領(lǐng)域，傳統(tǒng)行業(yè)中業(yè)務(wù)生產(chǎn)數(shù)據(jù)報(bào)表80%的指標(biāo)計(jì)算規(guī)則是可復(fù)用的，可實(shí)現(xiàn)計(jì)算規(guī)則封裝。同時(shí)傳統(tǒng)作業(yè)管理報(bào)表使用源數(shù)據(jù)即可快速完成計(jì)算，無需“ODS層、DWD層、DWS層、ADS層”層層加工。因此基于數(shù)據(jù)中臺構(gòu)建的報(bào)表可以在數(shù)據(jù)接入模塊化的基礎(chǔ)上實(shí)現(xiàn)配置化。

如壽險(xiǎn)領(lǐng)域保全作業(yè)管理數(shù)據(jù)報(bào)表主要為“不同客群、產(chǎn)品下的保全事件數(shù)、客戶數(shù)、成功率、對應(yīng)業(yè)務(wù)人員數(shù)等固化指標(biāo)”，可以基于實(shí)時(shí)接入的保全事件數(shù)據(jù)，結(jié)合已經(jīng)構(gòu)建好的ADS層的保單數(shù)據(jù)、客戶數(shù)據(jù)，在界面快速配置數(shù)據(jù)源、調(diào)用封裝好指標(biāo)計(jì)算規(guī)則，快速生成指定的報(bào)表，由于跨過了龐大的“DWD層、DWS層”數(shù)據(jù)計(jì)算，報(bào)表更新頻率可提升至分鐘。

規(guī)則參數(shù)的“通用化+標(biāo)準(zhǔn)化+敏捷性”，在中臺構(gòu)建數(shù)據(jù)領(lǐng)域的規(guī)則引擎，統(tǒng)一前中后端規(guī)則。如對于“省市區(qū)、渠道、職業(yè)”等參數(shù)枚舉值統(tǒng)一由業(yè)務(wù)部門在規(guī)則引擎界面維護(hù)管理，實(shí)現(xiàn)規(guī)則透明化，前中后系統(tǒng)規(guī)則統(tǒng)一，可大幅減少數(shù)據(jù)清洗系統(tǒng)工作量。

如對地址的省市區(qū)的結(jié)構(gòu)化，中臺不僅統(tǒng)一枚舉值，同時(shí)可轉(zhuǎn)化出地址對應(yīng)的“經(jīng)緯度”，即便后續(xù)國家行政區(qū)劃參數(shù)發(fā)生變動，中臺可通過“經(jīng)緯度”翻譯出最新的“省市區(qū)”，避免歷史數(shù)據(jù)治理與清洗。

希望通過上述具象案例說明“數(shù)據(jù)中臺”建設(shè)需符合企業(yè)實(shí)際，中臺構(gòu)建應(yīng)以業(yè)務(wù)為導(dǎo)向。當(dāng)前傳統(tǒng)企業(yè)“IT與業(yè)務(wù)”分屬不同的部門，中臺建設(shè)多以支持者角色出現(xiàn)，難以滿足“中臺數(shù)據(jù)業(yè)務(wù)化+業(yè)務(wù)數(shù)據(jù)化”的管理組織要求，傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型可嘗試構(gòu)建“業(yè)務(wù)+IT+管理”融合型團(tuán)隊(duì)，培養(yǎng)“業(yè)務(wù)+數(shù)據(jù)，業(yè)務(wù)+技術(shù)”復(fù)合型團(tuán)隊(duì)。