01前言

這一期，我們來聊聊數(shù)據(jù)治理最最核心的部分——數(shù)據(jù)資產(chǎn)治理，本文主要闡述數(shù)據(jù)資產(chǎn)治理的策略和工具建設(shè)思路。

02基本概念

廣義的數(shù)據(jù)資產(chǎn)涵蓋一切非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，狹義的數(shù)據(jù)資產(chǎn)主要包括業(yè)務(wù)側(cè)的業(yè)務(wù)日志、流數(shù)據(jù)的topic、批數(shù)據(jù)的數(shù)據(jù)表、生產(chǎn)調(diào)度任務(wù)/作業(yè)，模型層的指標(biāo)、維度和數(shù)據(jù)集，應(yīng)用層的報(bào)表、API、應(yīng)用/服務(wù)等，本文主要面向狹義的數(shù)據(jù)資產(chǎn)，其中又以大家接觸最多的數(shù)據(jù)表、數(shù)據(jù)指標(biāo)、報(bào)表為主。

03問題分析

1）用戶A是數(shù)據(jù)開發(fā)工程師，對數(shù)據(jù)表結(jié)構(gòu)和內(nèi)容較為熟悉，日常工作內(nèi)容主要是數(shù)據(jù)采集、數(shù)倉建模（ETL）和運(yùn)維問題排查，主要需求查詢數(shù)據(jù)表上下游生產(chǎn)鏈路及生產(chǎn)調(diào)度作業(yè)的執(zhí)行情況，同時也會隨機(jī)探查數(shù)據(jù)字段、枚舉值和定義函數(shù)等內(nèi)容來輔助進(jìn)行數(shù)據(jù)開發(fā)。

2）用戶B是業(yè)務(wù)側(cè)數(shù)據(jù)分析師，具備基本的數(shù)據(jù)挖掘分析能力，日常工作主要是面向業(yè)務(wù)一線產(chǎn)出數(shù)據(jù)分析報(bào)告、配置業(yè)務(wù)指標(biāo)和報(bào)表，需要根據(jù)業(yè)務(wù)需求查詢的數(shù)據(jù)存儲在哪張數(shù)據(jù)表，以及知悉數(shù)據(jù)表內(nèi)各字段的定義、枚舉值等，從而確定是否滿足查詢需求。

3）用戶C是數(shù)據(jù)管理人員，對數(shù)倉建模規(guī)范和數(shù)據(jù)口徑定義比較熟悉，日常工作主要是規(guī)范數(shù)據(jù)開發(fā)流程、降低數(shù)據(jù)資源存儲和開發(fā)成本，同時保障業(yè)務(wù)報(bào)表產(chǎn)出及時性和質(zhì)量，希望資產(chǎn)中心能提供統(tǒng)一的口徑維護(hù)、資產(chǎn)監(jiān)控評測等能力。

圖表1：資產(chǎn)中心典型代表用戶需求場景分析

04治理目標(biāo)

綜上，數(shù)據(jù)資產(chǎn)中心的核心用戶是各業(yè)務(wù)側(cè)的數(shù)據(jù)分析師、產(chǎn)品經(jīng)理、數(shù)據(jù)運(yùn)營等用戶，他們構(gòu)成了數(shù)據(jù)資產(chǎn)中心的消費(fèi)端，是數(shù)據(jù)資產(chǎn)得以流通并進(jìn)而產(chǎn)生交換價(jià)值的關(guān)鍵，而資產(chǎn)中心供給端的用戶群體主要是數(shù)據(jù)開發(fā)者和數(shù)據(jù)管理者。

因此，面向消費(fèi)端，資產(chǎn)中心主要解決找人找數(shù)和有好數(shù)的痛點(diǎn)，核心治理目標(biāo)為保障數(shù)據(jù)資產(chǎn)元信息的完整性、規(guī)范性和一致性，面向供給端，資產(chǎn)中心主要解決生產(chǎn)開發(fā)提效、資源成本管控的痛點(diǎn)，治理目標(biāo)為降本增效。

05行業(yè)調(diào)研

研究近年來主要數(shù)據(jù)論壇上各大廠數(shù)據(jù)資產(chǎn)中心的建設(shè)經(jīng)驗(yàn)，特選取滴滴和騰訊作為調(diào)研目標(biāo)，詳情如下：

1. 滴滴數(shù)據(jù)夢工廠

1）場景分析：如圖表2所示，滴滴主要數(shù)據(jù)資產(chǎn)分為人、路、車三類，主要呈現(xiàn)出數(shù)據(jù)量極大、結(jié)構(gòu)化數(shù)據(jù)占比高、數(shù)據(jù)安全等級高等特點(diǎn)，主要需求為數(shù)據(jù)資產(chǎn)成本治理、數(shù)據(jù)安全治理和數(shù)據(jù)質(zhì)量治理。

圖表2：滴滴數(shù)據(jù)資產(chǎn)特點(diǎn)

2）解決思路：

如圖表3所示，滴滴內(nèi)部將數(shù)據(jù)服務(wù)化、指標(biāo)管理平臺和資產(chǎn)管理平臺統(tǒng)一為數(shù)據(jù)內(nèi)容建設(shè)領(lǐng)域，定位為向上服務(wù)各類數(shù)據(jù)應(yīng)用平臺，向下對接數(shù)據(jù)開發(fā)平臺的中間公共數(shù)據(jù)層，以數(shù)據(jù)內(nèi)容為抓手，資產(chǎn)管理平臺統(tǒng)一作為數(shù)據(jù)資產(chǎn)元信息采集和管理的工具，通過指標(biāo)管理平臺規(guī)范資產(chǎn)口徑和質(zhì)量，再通過數(shù)據(jù)服務(wù)化將數(shù)據(jù)資產(chǎn)服務(wù)到業(yè)務(wù)團(tuán)隊(duì)。

圖表3：滴滴數(shù)據(jù)平臺業(yè)務(wù)架構(gòu)

如圖表4所示，滴滴將數(shù)據(jù)資產(chǎn)平臺的使用對象設(shè)計(jì)為兩類，一類是數(shù)據(jù)的加工者，一類是數(shù)據(jù)的管理者，數(shù)加工者承擔(dān)各類資產(chǎn)的日常生產(chǎn)管控，數(shù)據(jù)管理者承擔(dān)各類資產(chǎn)的資源成本和安全管控工作。

圖表4：滴滴數(shù)據(jù)資管理平臺使用對象設(shè)計(jì)

3）產(chǎn)品介紹：圖表5為滴滴資產(chǎn)管理平臺主要功能模塊的分享樣圖

2. 騰訊游戲數(shù)據(jù)資產(chǎn)管理平臺

1）場景分析：如圖表6和圖表7所示，騰訊游戲旗下包含上百款各類端游、頁游和手游，數(shù)據(jù)量極大，存在數(shù)據(jù)多樣缺乏統(tǒng)一標(biāo)準(zhǔn)、口徑定義不一致、鏈路質(zhì)量不高無法快速定位問題、數(shù)據(jù)價(jià)值和成本難以評估等痛點(diǎn)。

圖表6：騰訊游戲大數(shù)據(jù)運(yùn)營概況

圖表7：騰訊游戲數(shù)據(jù)資產(chǎn)問題痛點(diǎn)

2）解決思路：騰訊游戲?qū)Y產(chǎn)治理主要構(gòu)建了兩大體系，分別是數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)管理體系和數(shù)據(jù)資產(chǎn)價(jià)值的評估體系，其中元數(shù)據(jù)管理體系涉及元數(shù)據(jù)應(yīng)用、元數(shù)據(jù)管理、元數(shù)據(jù)存儲和元數(shù)據(jù)采集等范疇，數(shù)據(jù)資產(chǎn)價(jià)值評估體系則主要從熱度、廣度和收益度三個視角進(jìn)行評估，詳情如下：

圖表8：騰訊游戲資產(chǎn)管理平臺元數(shù)據(jù)管理體系架構(gòu)設(shè)計(jì)

圖表9：數(shù)據(jù)資產(chǎn)價(jià)值評估體系架構(gòu)設(shè)計(jì)

圖表10：數(shù)據(jù)資產(chǎn)熱度“冰-冷-溫-熱”評估模型

圖表11：數(shù)據(jù)資產(chǎn)廣度“微-小-中-大”評估模型

圖表12：數(shù)據(jù)資產(chǎn)收益度“差-中-良-優(yōu)”評估模型

3）產(chǎn)品介紹：

圖表13：騰訊游戲數(shù)據(jù)資產(chǎn)管理平臺主要模塊分享樣圖和功能描述

3. 調(diào)研總結(jié)

分析滴滴和騰訊的分享內(nèi)容，發(fā)現(xiàn)兩家頭部公司對數(shù)據(jù)資產(chǎn)治理都有一個相同點(diǎn)，即將各類數(shù)據(jù)資產(chǎn)治理通過平臺化的手段去落地實(shí)施，都關(guān)注到了資產(chǎn)的元數(shù)據(jù)規(guī)范性、安全性和成本，都提供了數(shù)據(jù)資產(chǎn)檢索和血緣鏈路檢索等服務(wù)。在側(cè)重點(diǎn)上，滴滴的資產(chǎn)管理工具更加豐富和成熟，考慮到了數(shù)據(jù)生產(chǎn)者和管理者的痛點(diǎn)，而騰訊的亮點(diǎn)在于對數(shù)據(jù)資產(chǎn)價(jià)值評估體系的獨(dú)特設(shè)計(jì)，以上經(jīng)驗(yàn)均值得我們借鑒和學(xué)習(xí)。

06產(chǎn)品架構(gòu)

如圖表14所示，數(shù)據(jù)資產(chǎn)中心一共分為三層，分別是服務(wù)層、管理層和采集層，其中服務(wù)層面向數(shù)據(jù)分析師、數(shù)據(jù)產(chǎn)品、業(yè)務(wù)運(yùn)營等數(shù)據(jù)消費(fèi)端用戶，提供數(shù)據(jù)資產(chǎn)檢索相關(guān)服務(wù)能力；管理層主要面向數(shù)據(jù)資產(chǎn)管理者，主要代表為各業(yè)務(wù)線產(chǎn)品/技術(shù)團(tuán)隊(duì)的數(shù)據(jù)產(chǎn)品經(jīng)理、研發(fā)工程師和主要負(fù)責(zé)人，提供數(shù)據(jù)資產(chǎn)錄入和維護(hù)能力，提供資產(chǎn)成本治理服務(wù)；采集層主要面向各數(shù)據(jù)來源方，包括但不限于埋點(diǎn)元信息采集、業(yè)務(wù)數(shù)據(jù)庫元信息采集、報(bào)表/指標(biāo)元信息采集、人員組織信息采集等等，同時，采集完的元信息，需要資產(chǎn)維護(hù)和管理者按照管理層提供的統(tǒng)一模型進(jìn)行定義落庫。

圖表14：數(shù)據(jù)資產(chǎn)中心產(chǎn)品架構(gòu)設(shè)計(jì)圖

07產(chǎn)品設(shè)計(jì)

1. 數(shù)據(jù)接入

產(chǎn)品定位：如圖表15，數(shù)據(jù)資產(chǎn)中心核心是各類數(shù)據(jù)資產(chǎn)元信息的中央數(shù)據(jù)庫，各類數(shù)據(jù)資產(chǎn)的元信息采集主要分為上游業(yè)務(wù)系統(tǒng)自動采集和資產(chǎn)中心前端頁面手工輸入兩部分，因此，數(shù)據(jù)接入模塊承擔(dān)了資產(chǎn)中心開源和標(biāo)準(zhǔn)定義的職能。

圖表15：數(shù)據(jù)資產(chǎn)中心元信息采集示意圖

規(guī)范定義：數(shù)據(jù)資產(chǎn)中心需要采集hive、kafkatopic、clickhouse、druid、報(bào)表、指標(biāo)、API等等結(jié)構(gòu)各異的資產(chǎn)元信息，針對各類異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一定義并整合分析繪制出數(shù)據(jù)地圖是資產(chǎn)中心需要解決的主要問題，系統(tǒng)設(shè)計(jì)伊始便要考慮各類資產(chǎn)的復(fù)雜性和差異性以及未來的通用性，因此，如果不定義一套統(tǒng)一的元信息收錄采集標(biāo)準(zhǔn)，則隨著數(shù)據(jù)資產(chǎn)的收錄一定會出現(xiàn)資源管控成本和元信息質(zhì)量降低等問題。在此，如圖表16和圖表17，我們抽象出一套可以通用化定義各類數(shù)據(jù)資產(chǎn)的元信息模型，以解決上述問題：

圖表16：數(shù)據(jù)資產(chǎn)中心元信息采集模型設(shè)計(jì)圖

圖表17：主要類目屬性定義舉例

2. 數(shù)據(jù)地圖

資產(chǎn)檢索：如圖表18所示，支持普通搜索、高級搜索，同時向用戶推薦結(jié)構(gòu)化整理的知識圖譜

圖表18：資產(chǎn)檢索首頁DEMO

資產(chǎn)詳情：資產(chǎn)詳情頁展示資產(chǎn)的基礎(chǔ)信息、業(yè)務(wù)信息和技術(shù)信息，同時提供權(quán)限申請、資產(chǎn)收藏、血緣鏈路查詢、快捷取數(shù)、SQL模板生成等能力

圖表19：資產(chǎn)詳情頁DEMO

圖表19：資產(chǎn)詳情頁DEMO

3. 資產(chǎn)維護(hù)

如圖表20，數(shù)據(jù)資產(chǎn)中心提供了管理者視角的資產(chǎn)錄入和維護(hù)界面，支持以資產(chǎn)中心為統(tǒng)一維護(hù)平臺進(jìn)行資產(chǎn)維護(hù)，保障資產(chǎn)元信息的及時更新

圖表20：資產(chǎn)元信息維護(hù)DEMO

圖表20：資產(chǎn)元信息維護(hù)DEMO

4. 資產(chǎn)治理

質(zhì)量分析：資產(chǎn)治理提供數(shù)據(jù)資產(chǎn)質(zhì)量測評和分析報(bào)告，通過計(jì)算資產(chǎn)元信息完整度、規(guī)范性、重復(fù)性等來進(jìn)行分析評估

圖表21：數(shù)據(jù)資產(chǎn)質(zhì)量測評和分析報(bào)告DEMO

治理榜單：分為個人榜和團(tuán)隊(duì)榜，綜合計(jì)算所負(fù)責(zé)資產(chǎn)的質(zhì)量（完整性、規(guī)范性、唯一性等）分、成本分（存儲成本和增長趨勢等）、評價(jià)分（用戶評價(jià)、查詢熱度等）來進(jìn)行排名，提供日排名、周排名和月排名，每個月重置一次數(shù)據(jù)。

圖表22：數(shù)據(jù)資產(chǎn)治理榜單DEMO

5. 資產(chǎn)交接

資產(chǎn)中心提供一站式資產(chǎn)交接處置能力，減少因離職造成的資產(chǎn)無人維護(hù)和安全隱患

圖表23：資產(chǎn)交接模塊DEMO

08未來展望

通過以上內(nèi)容介紹，目前國內(nèi)作者能接觸到的主流數(shù)據(jù)資產(chǎn)管理平臺的主要功能就都基本介紹完畢了，展望未來，我認(rèn)為，資產(chǎn)中心基于它數(shù)據(jù)內(nèi)容采集和管理的特點(diǎn)，其實(shí)是可以深入到數(shù)據(jù)應(yīng)用和服務(wù)領(lǐng)域，通過先進(jìn)的搜索和AI算法，快速提供輕量化的數(shù)據(jù)可視化、數(shù)據(jù)分析和歸因預(yù)測等服務(wù)，在滿足業(yè)務(wù)找人找數(shù)的需求上，直接反饋數(shù)據(jù)結(jié)論，簡化后續(xù)業(yè)務(wù)找到數(shù)據(jù)后再去分析數(shù)據(jù)的流程，提高數(shù)據(jù)分析效率。

參考國外已有產(chǎn)品，比如ThoughtSpot（一款基于搜索引擎的數(shù)據(jù)報(bào)表自動化生產(chǎn)的工具），如圖表24所示，以搜索為切入點(diǎn)，基于元數(shù)據(jù)之間的關(guān)聯(lián)和構(gòu)建，快速推薦和繪制可視化圖表，提供輕量化配置能力，快速滿足用戶數(shù)據(jù)分析需求：

圖表24：智能搜索分析產(chǎn)品ThoughtSpot

又比如Einstein Discovery（見圖表25），基于用戶的數(shù)據(jù)自動關(guān)聯(lián)，并從中對數(shù)據(jù)內(nèi)容進(jìn)行分析和解讀，并將分析結(jié)果以自然語言的方式為用戶提供解讀報(bào)告，快速且輕量化地回答用戶：“發(fā)生了什么？為什么會發(fā)生？即將發(fā)生什么？需要怎么做？”：

圖表25：Einstein Discovery介紹