作為一家高度數(shù)字化和技術驅(qū)動的公司，美團非常重視數(shù)據(jù)價值的挖掘。在公司日常運行中，通過各種數(shù)據(jù)分析挖掘手段，為公司發(fā)展決策和業(yè)務開展提供數(shù)據(jù)支持。經(jīng)過多年的發(fā)展，美團酒旅內(nèi)部形成了一套完整的解決方案，核心由數(shù)據(jù)倉庫+各種數(shù)據(jù)平臺的方式實現(xiàn)。其中數(shù)據(jù)倉庫整合各業(yè)務線的數(shù)據(jù)，消滅數(shù)據(jù)孤島；各種數(shù)據(jù)平臺擁有不同的特色和定位，例如：自助報表平臺、專業(yè)數(shù)據(jù)分析平臺、CRM數(shù)據(jù)平臺、各業(yè)務方向績效考核平臺等，滿足各類數(shù)據(jù)分析挖掘需求。早期數(shù)據(jù)倉庫與各種數(shù)據(jù)平臺的體系架構(gòu)如圖1所示：

圖1 酒旅早期各數(shù)據(jù)平臺和數(shù)據(jù)倉庫體系架構(gòu)圖

圖1所示的體系架構(gòu)，在業(yè)務需求的滿足上非常高效，但在長時間的使用過程中，也產(chǎn)生了如下一些問題：

· 各數(shù)據(jù)平臺或平臺內(nèi)不同模塊的指標定義不一致。

· 各數(shù)據(jù)平臺或平臺內(nèi)不同模塊指標計算口徑不一致。

· 各數(shù)據(jù)平臺或平臺內(nèi)不同模塊指標數(shù)據(jù)來源不一致。

上述這些問題總結(jié)歸納起來，就是指標數(shù)據(jù)不一致的問題，最終帶來的后果是指標數(shù)據(jù)可信度底，嚴重影響分析決策。通過后續(xù)追蹤分析，上述問題的由來，主要是不同業(yè)務線的數(shù)據(jù)分析人員、數(shù)據(jù)開發(fā)人員，以及不同的產(chǎn)品之間，缺乏有效的溝通，也沒有一個統(tǒng)一的入口，來記錄業(yè)務的發(fā)生和加工過程。在加上人員的流動，長時間積累之后就產(chǎn)生了這些問題。針對這些問題，酒旅內(nèi)部啟動了數(shù)據(jù)治理項目，通過建設一個專業(yè)數(shù)據(jù)治理平臺，實現(xiàn)指標維度及數(shù)據(jù)的統(tǒng)一管理，也探索一套高效的數(shù)據(jù)治理流程。

挑戰(zhàn)

在建設起源數(shù)據(jù)治理平臺的過程中，主要面臨的挑戰(zhàn)如下：

· 起源數(shù)據(jù)治理平臺應該在架構(gòu)中的哪個位置切入，減少對原有系統(tǒng)的侵入，并實現(xiàn)數(shù)據(jù)治理目標。

· 探索一套簡潔高效的管理流程，實現(xiàn)指標維度信息統(tǒng)一管理，保證信息的唯一性、正確性。

· 整合各種存儲引擎，實現(xiàn)一套高并發(fā)、高可用的數(shù)據(jù)唯一出口。

· 做好各業(yè)務線間的信息隔離和管理，確保數(shù)據(jù)安全。

解決思路

為了達成數(shù)據(jù)治理的目標，起源數(shù)據(jù)治理平臺就必須記錄下業(yè)務發(fā)展過程，并映射到數(shù)據(jù)加工和數(shù)據(jù)提取，規(guī)范約束這些過程。因此起源數(shù)據(jù)治理平臺歸納到數(shù)據(jù)治理層，該層就位于數(shù)據(jù)倉庫層（或數(shù)據(jù)集市層）之上，數(shù)據(jù)應用層之下起到橋梁的作用，而且提供一系列規(guī)則，改變原來無序交互方式，將數(shù)據(jù)倉庫層和數(shù)據(jù)應用層的交互變?yōu)橛行虻摹⒖刹樵儭⒖杀O(jiān)控。新的體系架構(gòu)如圖2所示：

圖2 數(shù)據(jù)治理后的新體系架構(gòu)圖

如上圖所示，在新的體系架構(gòu)下：對于數(shù)據(jù)倉庫層，起源數(shù)據(jù)治理平臺綜合業(yè)務組織形式、指標數(shù)據(jù)來源、上層產(chǎn)品的使用及查詢的效率，指導數(shù)據(jù)倉庫模型的建設；對于應用層的產(chǎn)品，業(yè)務元數(shù)據(jù)信息及數(shù)據(jù)信息都是由起源數(shù)據(jù)治理平臺提供，保證了各數(shù)據(jù)產(chǎn)品獲取到的信息一致，而且還簡化了應用層產(chǎn)品數(shù)據(jù)獲取成本，也降低了對原有系統(tǒng)的侵入。

平臺架構(gòu)

起源數(shù)據(jù)治理平臺核心是保證數(shù)據(jù)一致，在數(shù)據(jù)安全的前提下，盡可能提升數(shù)據(jù)分發(fā)能力。因此平臺內(nèi)部有著極其復雜的關系，需要在建設過程中進行抽象，形成具有相對單一功能的模塊；合理地組織模塊的層級和連接關系，降低平臺的開發(fā)難度，并提升平臺的可維護性。平臺架構(gòu)如圖3所示，展示了平臺的內(nèi)部模塊組織方式。

圖3 起源數(shù)據(jù)治理平臺架構(gòu)圖

如上圖所示起源數(shù)據(jù)治理平臺在功能模塊上由數(shù)據(jù)存儲、數(shù)據(jù)查詢、數(shù)據(jù)緩存、元數(shù)據(jù)管理、業(yè)務管理、安全管理、應用管理、對外API接口構(gòu)成，各模塊的功能介紹如下。

數(shù)據(jù)存儲

起源數(shù)據(jù)治理平臺管理的數(shù)據(jù)存儲范圍包括：數(shù)據(jù)倉庫中的Topic層和數(shù)據(jù)應用層，存儲方式包括：Hive、MySQL、Kylin、Palo、ES、Druid。如下圖4所示：

圖4 起源數(shù)據(jù)治理平臺管理的數(shù)據(jù)存儲

上圖所示的這些數(shù)據(jù)存儲中的數(shù)據(jù)的加工過程，由數(shù)據(jù)開發(fā)工程師負責，具體采用哪種存儲介質(zhì)，由數(shù)據(jù)開發(fā)工程師綜合所需數(shù)據(jù)存儲空間、查詢效率、模型的組織形式等因素決定。但后續(xù)的使用維護都由起源數(shù)據(jù)治理平臺管理，管理方式是通過管理這些數(shù)據(jù)表的元數(shù)據(jù)信息和查詢實現(xiàn)，具體實現(xiàn)細節(jié)會在下面章節(jié)中詳解。

數(shù)據(jù)存儲托管之后，數(shù)據(jù)表元數(shù)據(jù)信息變更監(jiān)控、表數(shù)據(jù)生產(chǎn)（存儲空間、生產(chǎn)狀態(tài)及完成時間）監(jiān)控、表數(shù)據(jù)波動（同環(huán)比等）監(jiān)控以及表的使用（模型的構(gòu)建及查詢效率等）監(jiān)控及評估，都由起源數(shù)據(jù)治理平臺自動完成，所有信息的變動都會自動周知對應的負責人，保證數(shù)據(jù)應用的安全和穩(wěn)定。

元數(shù)據(jù)管理

元數(shù)據(jù)信息宏觀上包括兩大部分：業(yè)務元數(shù)據(jù)信息和數(shù)據(jù)元數(shù)據(jù)信息。其中業(yè)務元數(shù)據(jù)信息包括：指標業(yè)務定義、維度的業(yè)務定義等；數(shù)據(jù)元數(shù)據(jù)信息包括：數(shù)據(jù)表元數(shù)據(jù)信息、模型元數(shù)據(jù)信息、維表與維度的綁定關系、數(shù)據(jù)模型字段與指標的綁定關系。

起源平臺為了實現(xiàn)元數(shù)據(jù)信息的管理，設計了四個模塊實現(xiàn)，分別是：數(shù)據(jù)表管理模塊、模型管理模塊、指標管理模塊、維度管理模塊。元數(shù)據(jù)管理是起源數(shù)據(jù)治理平臺的核心，起源平臺就是通過控制好元數(shù)據(jù)，來驅(qū)動數(shù)據(jù)的生產(chǎn)和消費。

數(shù)據(jù)表管理模塊

數(shù)據(jù)表管理模塊管理了數(shù)據(jù)庫信息和數(shù)據(jù)表信息。其中數(shù)據(jù)庫信息包括數(shù)據(jù)庫鏈接信息，數(shù)據(jù)庫信息維護后，起源數(shù)據(jù)治理平臺自動獲取對應庫中表的元數(shù)據(jù)信息。數(shù)據(jù)表信息包括：表的元數(shù)據(jù)信息（引擎、字段等）、表類型（維表或事實表）、表的使用情況（是否被模型使用）、表對應的ETL、表的負責人、表的推薦度、描述信息、表的監(jiān)控配置及報警歷史、以及樣例數(shù)據(jù)等。上述這些信息為業(yè)務用戶提供指導，為模型管理提供數(shù)據(jù)支持，為數(shù)據(jù)表和數(shù)據(jù)的穩(wěn)定提供監(jiān)控和預警。

模型管理模塊

模型管理模塊能夠還原業(yè)務落地后數(shù)據(jù)表的組織關系，包括：數(shù)據(jù)表的關聯(lián)方式（join、left join、semi join等）、數(shù)據(jù)表的關聯(lián)限制、模型ER圖、模型包含字段、模型字段與維度的綁定關系、模型與指標的綁定關系。不過在實際使用過程中，面向業(yè)務和面向分析的模型有所不同，起源數(shù)據(jù)治理平臺是面向分析的，所以主要的模型包括維度建模中的星型模型或雪花模型，再就是OLAP多維分析的MOLAP或ROLAP。模型管理如下圖5、圖6所示：

圖5 起源數(shù)據(jù)治理平臺數(shù)據(jù)表模型

圖6 起源數(shù)據(jù)治理平臺SQL模型

維度管理模塊

維度管理模塊包括基礎信息和技術信息，對應著不同人員維護。其中基礎信息對應維度的業(yè)務信息，由業(yè)務管理人員維護，包括維度名稱、業(yè)務定義、業(yè)務分類。技術信息對應維度的數(shù)據(jù)信息，由數(shù)據(jù)開發(fā)工程師維護，包括是否有維表（是枚舉維度還是有獨立的維表）、是否是日期維、對應code英文名稱和中文名稱、對應name英文名稱和中文名稱。如果維度有維表，則需要和對應的維度表綁定，設置code和name對應的字段；如果維度是枚舉維，則需要填寫對應的code和name。維度的統(tǒng)一管理，有利于以后數(shù)據(jù)表的標準化，也方便用戶的查看。

指標管理模塊

指標管理模塊核心包括基礎信息和技術信息管理，衍生信息包括關聯(lián)指標、關聯(lián)應用管理。基礎信息對應的就是指標的業(yè)務信息，由業(yè)務人員填寫，主要包括指標名稱、業(yè)務分類、統(tǒng)計頻率、精度、單位、指標類型、指標定義、計算邏輯、分析方法、影響因素、分析維度等信息；基礎信息中還有一個比較重要的部分是監(jiān)控配置，主要是配置指標的有效波動范圍區(qū)間、同環(huán)比波動區(qū)間等，監(jiān)控指標數(shù)據(jù)的正常運行。

技術信息構(gòu)成比較復雜，包括數(shù)據(jù)類型、指標代碼，但是核心部分是指標與模型的綁定關系，通過使用演進形成了當前系統(tǒng)兩類綁定關系：綁定物理模型和構(gòu)建虛擬模型。綁定物理模型是指標與模型管理中的物理模型字段綁定，并配置對應的計算公式，或還包含一些額外的高級配置，如二次計算、模型過濾條件等；創(chuàng)建虛擬模型是通過已有指標和其對應的物理模型，具體步驟首先配置已有指標的計算方式或指標維度的過濾，然后選擇指標已綁定的物理模型，形成一個虛擬模型，虛擬模型的分析維度就是所選指標基礎模型的公共維度。

衍生信息中的關聯(lián)指標、關聯(lián)應用管理，是為了方便觀察指標被那些其他指標和數(shù)據(jù)應用使用，這是因為指標技術信息采用了嚴格權(quán)限控制，一旦被使用為了保證線上的運行安全是禁止變更的，只有解綁并審核通過后才可以編輯，所以這些衍生信息就是方便管理人員使用。指標技術信息如圖7所示：

圖7 起源數(shù)據(jù)治理平臺指標技術信息

業(yè)務管理

業(yè)務管理按照功能劃分為業(yè)務線管理、主題管理和工單管理三部分，在系統(tǒng)的實際建設中是拆分為業(yè)務主題管理、數(shù)據(jù)主題管理和工單管理三大模塊實現(xiàn)的。相關模塊的建設主要保證業(yè)務人員和數(shù)據(jù)人員業(yè)務主題建設，相關模塊的權(quán)限控制，業(yè)務流程審核，對應資源的隔離以及業(yè)務資源加工申請和加工過程的記錄追蹤。具體實現(xiàn)和功能如下：

業(yè)務主題管理

實現(xiàn)業(yè)務業(yè)務線管理和業(yè)務主題管理，實現(xiàn)不同業(yè)務線的管理以及業(yè)務線下的業(yè)務主題管理。業(yè)務線的拆分還隱藏著其他模塊的權(quán)限管控和資源隔離的功能，不同業(yè)務線的用戶只能看到有權(quán)業(yè)務線的指標和維度；而且業(yè)務線的用戶劃分為普通用戶和管理員，分別查看或編輯維度和指標的業(yè)務信息。而且業(yè)務線和業(yè)務主題中分別維護的商分負責人對指標進行二級審核，因為新創(chuàng)建的指標僅僅是普通指標，如果想要全網(wǎng)都能查看，則需要發(fā)起認證，由這些人員審核。

數(shù)據(jù)主題管理

數(shù)據(jù)主題管理實現(xiàn)數(shù)據(jù)業(yè)務線和數(shù)據(jù)主題管理，實現(xiàn)不同數(shù)據(jù)線的管理以及數(shù)據(jù)線下的數(shù)據(jù)主題管理。數(shù)據(jù)線的拆分也隱藏著對數(shù)據(jù)表、模型、指標、維度的資源隔離和權(quán)限管控的功能，不同數(shù)據(jù)線的用戶只能查看有權(quán)數(shù)據(jù)線的資源；而且數(shù)據(jù)線的用戶分為普通用戶和管理員，對有權(quán)資源進行查看或編輯。數(shù)據(jù)線的接口人在工單模塊中具有審核工單的權(quán)限功能。數(shù)據(jù)主題的負責人擁有審核模型和指標技術信息的權(quán)限功能。

工單模塊管理

工單模塊管理實現(xiàn)了指標維度和對應模型加工線上申請、審核、加工、審批的流程。整個模塊也是圍繞著這四個流程實現(xiàn)的，具體是業(yè)務人員發(fā)起指標和維度集合的加工申請，然后由數(shù)據(jù)線接口人審核工單的合理性并分配對應的數(shù)據(jù)開發(fā)工程師，數(shù)據(jù)開發(fā)工程師加工模型并與對應的維度指標綁定，然后在工單中提交由數(shù)據(jù)接口人審核是否合理，最終由工單發(fā)起人驗收。

這個流程是一個標準的工單流程，每個節(jié)點的業(yè)務流程可能會反復，但是每次操作都進行記錄，方便業(yè)務人員后期追蹤。工單管理如下圖8所示：

圖8 起源數(shù)據(jù)治理平臺工單管理

安全管理

安全管理是起源數(shù)據(jù)治理平臺核心功能之一，分為平臺操作權(quán)限管理和接口調(diào)用權(quán)限管理兩大部分。其中平臺操作權(quán)限管理是通過與公司將軍令權(quán)限管理系統(tǒng)打通，并配合平臺其他模塊中權(quán)限控制代碼，實現(xiàn)了權(quán)限管理、審批、審計三大功能模塊；接口權(quán)限管理是通過平臺內(nèi)的數(shù)據(jù)應用管理和外部應用管理模塊的映射關系，并在接口調(diào)用時鑒權(quán)實現(xiàn)，這部分會在下面的應用管理章節(jié)中介紹。

權(quán)限管理模塊

權(quán)限管理模塊是將平臺的資源分劃分為頁面權(quán)限、業(yè)務線&數(shù)據(jù)線用戶權(quán)限、數(shù)據(jù)應用權(quán)限來實現(xiàn)的。頁面權(quán)限實現(xiàn)平臺內(nèi)頁面訪問控制。業(yè)務線&數(shù)據(jù)線用戶權(quán)限是將用戶分類為普通用戶和管理員，普通用戶只能查看業(yè)務線和數(shù)據(jù)線內(nèi)資源，管理員可以操作業(yè)務線和數(shù)據(jù)線內(nèi)的資源；并且通過業(yè)務線和數(shù)據(jù)線的獨立管理實現(xiàn)資源隔離，業(yè)務線實現(xiàn)了所屬維度和指標的隔離；數(shù)據(jù)線實現(xiàn)了所屬數(shù)據(jù)表和模型的隔離，并且通過建立業(yè)務線和數(shù)據(jù)線的關聯(lián)關系，也保證了指標和維度的技術信息操作隔離。數(shù)據(jù)應用中每個應用都是獨立管理的，每個應用權(quán)限都拆分普通用戶和管理員，普通用戶可以訪問查詢應用，管理員可以操作應用。

審批模塊

審批模塊包含審批工作流、我的申請、我的審批構(gòu)成。審批工作流是根據(jù)不同的應用場景實現(xiàn)不同層級的審批，例如：在指標管理中服務于個人的普通指標變更為服務于整個業(yè)務線的認證指標，就需要發(fā)起兩級審批，由業(yè)務主題負責人和業(yè)務商分審核通過才可以；模型管理中新增或修改模型上線，都需要數(shù)據(jù)主題負責人審批；數(shù)據(jù)應用的變更，都需要下游所有依賴外部應用負責人審批才生效。我的申請和我的審批是平臺頁面方便用戶查看流程進度和操作審核。審批模塊目標是保證發(fā)布信息的正確性、系統(tǒng)服務的穩(wěn)定性。

審計模塊

審計模塊包括用戶操作記錄和記錄查看追蹤。用戶操作記錄是平臺各模塊調(diào)用接口記錄用戶每次操作前后的數(shù)據(jù)變更；記錄查看追蹤是檢索查詢頁面，查看對應的變更。審計模塊保證了用戶操作追蹤追責，也保證誤操作的信息恢復。

應用管理

應用管理由數(shù)據(jù)應用、外部應用、數(shù)據(jù)地圖三大模塊組成，它們構(gòu)成了對外服務的主體，記錄了外部應用與平臺內(nèi)管理的指標、維度、模型和表的關聯(lián)關系，也提供數(shù)據(jù)查詢展示、應用層ETL生產(chǎn)的能力。而且數(shù)據(jù)開發(fā)人員從底層向上觀察，可以追蹤數(shù)據(jù)最終的所有流向；業(yè)務分析人員從頂層向下觀察，可以看到構(gòu)成服務的所有數(shù)據(jù)來源。

數(shù)據(jù)應用模塊

數(shù)據(jù)應用模塊是記錄生成每個服務所需的指標、維度和數(shù)據(jù)模型的關系。每次服務中可以包含多個指標，這些指標可以來源于多個數(shù)據(jù)模型，不過不同的數(shù)據(jù)模型中需要包含公共維度，因為是通過這些公共維度將不同模型關聯(lián)起來。

數(shù)據(jù)應用中構(gòu)建的服務可以發(fā)布成查詢服務、應用層ETL生產(chǎn)服務、對外API數(shù)據(jù)接口服務、通用報表配置服務，來滿足業(yè)務的不同需求。數(shù)據(jù)應用管理如下圖9所示：

圖9 起源數(shù)據(jù)治理平臺數(shù)據(jù)應用

外部應用模塊

外部應用模塊管理外部應用和應用內(nèi)的模塊，以及這些模塊訂閱的對應數(shù)據(jù)應用，目標是實現(xiàn)API接口調(diào)用的權(quán)限管理和數(shù)據(jù)最終流向的記錄。具體的實現(xiàn)上模塊首先創(chuàng)建對應的外部應用，記錄外部應用的名稱、URL、APPKEY等信息，然后由對應應用的負責人創(chuàng)建模塊，記錄模塊名稱、URL、moduleKey等信息。這些信息完善后，由對應的數(shù)據(jù)應用賦權(quán)給對應的模塊，建立起數(shù)據(jù)應用與外部應用的聯(lián)系。最后在外部應用調(diào)用平臺對外API接口時，進行權(quán)限管理。

數(shù)據(jù)地圖

數(shù)據(jù)地圖功能是追查數(shù)據(jù)的流向，可以從數(shù)據(jù)表、模型、指標、數(shù)據(jù)應用、外部應用任意節(jié)點查看上游數(shù)據(jù)來源和下游數(shù)據(jù)去向。起源數(shù)據(jù)治理平臺核心功能也是組織這些節(jié)點間的關系，形成完整的服務，數(shù)據(jù)地圖就是通過上面介紹模塊記錄的關系，追蹤數(shù)據(jù)流向，方便數(shù)據(jù)開發(fā)人員和業(yè)務分析人員了解數(shù)據(jù)消費和數(shù)據(jù)來源。數(shù)據(jù)地圖如下圖10所示：

圖10 起源數(shù)據(jù)治理平臺數(shù)據(jù)地圖

對外API

對外API接口是一套完整的對外信息提供接口，提供的功能分為元數(shù)據(jù)信息類的接口、數(shù)據(jù)類接口、監(jiān)控統(tǒng)計類接口，分別滿足外部平臺和分析人員的對應需求。外部系統(tǒng)通過起源數(shù)據(jù)治理平臺獲取到的元數(shù)據(jù)和數(shù)據(jù)是經(jīng)過認證并由平臺自動校驗后的，可以保證信息的一致性、正確性。

元數(shù)據(jù)信息接口

元數(shù)據(jù)信息接口提供的包括指標、維度業(yè)務元數(shù)據(jù)信息和數(shù)據(jù)表、模型、指標計算、維度維表相關的數(shù)據(jù)元數(shù)據(jù)信息，實現(xiàn)與上游系統(tǒng)信息共享，達到信息一致性的目標。

數(shù)據(jù)類接口

數(shù)據(jù)類接口提供指標維度數(shù)據(jù)查詢服務，不單單滿足常見的單條SQL查詢，而且可以實現(xiàn)多次查詢聚合運算（例如：同環(huán)比等）以及跨引擎查詢，并通過并發(fā)處理，可以有效提升查詢效率，滿足更多的業(yè)務場景。接口具有監(jiān)控功能，能夠評估每次查詢效率，提供查詢指導或預警的能力。

監(jiān)控統(tǒng)計類接口

監(jiān)控統(tǒng)計類接口提供指標數(shù)據(jù)監(jiān)控信息、指標維度使用統(tǒng)計、數(shù)據(jù)接口的調(diào)用效率統(tǒng)計等服務，幫助下游服務平臺了解服務質(zhì)量。

內(nèi)部工作原理

起源數(shù)據(jù)治理平臺內(nèi)部工作原理就是實現(xiàn)指標、維度業(yè)務信息與數(shù)據(jù)模型計算關系的映射管理，并根據(jù)外部應用所需的指標、維度以及查詢條件選擇最優(yōu)的模型動態(tài)的實現(xiàn)查詢SQL或查詢Query的拼接，然后通過分布式查詢引擎實現(xiàn)數(shù)據(jù)的高效查詢，具體過程如下圖11所示：

圖11 起源數(shù)據(jù)治理平臺內(nèi)部工作原理

上圖所示的分布式查詢引擎，整合了大數(shù)據(jù)分析常見的各種存儲，通過封裝的接口提供服務。而且分布式是通過Akka Cluster自主實現(xiàn)，通過Cluster Singleton解決單點故障的問題，通過Redis實現(xiàn)了任務隊列的持久化，通過平衡子節(jié)點任務量實現(xiàn)任務的合理調(diào)度，通過查詢狀態(tài)監(jiān)控自動實現(xiàn)查詢降級和任務隊列的拆解，并且也完善了整個調(diào)度的監(jiān)控，可以實時查看任務和節(jié)點的運行情況。

管理流程

起源數(shù)據(jù)治理平臺生產(chǎn)所需參與的角色包括：業(yè)務人員和數(shù)據(jù)開發(fā)人員（RD）。為了保證信息的正確性，平臺內(nèi)有著嚴格的管理流程，需要不同的角色在對應的節(jié)點進行維護管理，平臺的管理流程如下圖12所示：

圖12 起源數(shù)據(jù)治理平臺管理流程

所上圖所示，指標的業(yè)務信息需要業(yè)務人員首先進行維護，然后數(shù)據(jù)RD同學進行相應的數(shù)據(jù)表的建設，維護對應的數(shù)據(jù)表和模型的元數(shù)據(jù)信息，并完成指標與模型的綁定，最后由數(shù)據(jù)RD同學構(gòu)建數(shù)據(jù)應用為用戶、業(yè)務系統(tǒng)及數(shù)據(jù)產(chǎn)品等提供服務。

建設成果

經(jīng)過長時間的探索開發(fā)，完成了起源數(shù)據(jù)治理平臺的建設，成功的解決了上面提到的問題，并且已經(jīng)完成了酒旅內(nèi)部10+個數(shù)據(jù)平臺（包括定制化產(chǎn)品和通用報表服務平臺）的數(shù)據(jù)治理支持。起源數(shù)據(jù)治理平臺還帶來了一些額外的收獲，總結(jié)歸納起來實現(xiàn)了3個目標，提供了4種能力，如下：

· 統(tǒng)一指標管理的目標。保證指標定義、計算口徑、數(shù)據(jù)來源的一致性。

· 統(tǒng)一維度管理的目標。保證維度定義、維度值的一致性。

· 統(tǒng)一數(shù)據(jù)出口的目標。實現(xiàn)了維度和指標元數(shù)據(jù)信息的唯一出口，維值和指標數(shù)據(jù)的唯一出口。

· 提供維度和指標數(shù)據(jù)統(tǒng)一監(jiān)控及預警能力。

· 提供靈活可配的數(shù)據(jù)查詢分析能力。

· 提標數(shù)據(jù)地圖展示表、模型、指標、應用上下游關系及分布的能力。

· 提供血緣分析追查數(shù)據(jù)來源的能力。

如果換位到指標的角色，以辯證的角度分析，起源數(shù)據(jù)治理平臺解決了一個終極哲學問題：我是誰，我從哪里來，我到哪里去。

未來展望

起源數(shù)據(jù)治理平臺是天工體系（從數(shù)據(jù)管理、查詢到展示的一個完整生態(tài)）的一部分，整個天工體系還包括如意通用報表系統(tǒng)、筋斗云數(shù)據(jù)查詢系統(tǒng)。通過對天工體系的建設，直接目標是為業(yè)務提供一整套高效、高質(zhì)量的數(shù)據(jù)服務平臺；但是在天工體系的建設中，進行微服務治理，抽象形出一套統(tǒng)一標準，吸納更多的業(yè)務參與建設，為業(yè)務提供開發(fā)降級，避免服務的重復建設，提升服務建設速度。如下圖13所示：

圖13 天工體系架構(gòu)圖

如上圖所示，天工體系開放三套交互標準，實現(xiàn)模塊的可插拔和自由擴展，分別是：

· 元數(shù)據(jù)交互標準，實現(xiàn)元數(shù)據(jù)管理的可插拔。

· 數(shù)據(jù)查詢標準，實現(xiàn)數(shù)據(jù)查詢引擎的可插拔。

· 可視化組件數(shù)據(jù)交互標準，實現(xiàn)可視化組件的可插拔。