分享嘉賓：何會(huì)會(huì)?有贊?數(shù)據(jù)開發(fā)工程師

編輯整理：xiaomei

出品平臺(tái)：DataFunTalk

導(dǎo)讀：今天和大家分享一下數(shù)據(jù)地圖相關(guān)知識(shí)，以及有贊在數(shù)據(jù)地圖方面的實(shí)踐。主要分為4個(gè)部分：

數(shù)據(jù)地圖的背景

數(shù)據(jù)地圖是什么

有贊數(shù)據(jù)地圖實(shí)踐

總結(jié)和展望

01數(shù)據(jù)地圖的背景

1. 數(shù)據(jù)地圖背景

每個(gè)企業(yè)都有和數(shù)據(jù)相關(guān)的工作過程，如數(shù)據(jù)采集、數(shù)據(jù)開發(fā)、數(shù)據(jù)搜索、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)挖掘，還有故障排查、鏈路優(yōu)化等，這些都是和數(shù)據(jù)相關(guān)的。在這些工作過程中通常會(huì)遇到很多痛點(diǎn)：

數(shù)據(jù)流轉(zhuǎn)鏈路不清晰，想找數(shù)據(jù)時(shí)找不到想要的數(shù)據(jù)；

管理數(shù)據(jù)時(shí)，無法高效地進(jìn)行數(shù)據(jù)管理；

發(fā)生故障時(shí)，故障排查效率比較低；

想優(yōu)化一條鏈路時(shí)，比較困難。

數(shù)據(jù)地圖是以解決這些痛點(diǎn)為基礎(chǔ)研究開發(fā)的。

2. 數(shù)據(jù)地圖的目標(biāo)

數(shù)據(jù)地圖主要是解決以下幾個(gè)問題：

讓用戶能夠高效地能找到想要的數(shù)據(jù)；

能夠方便地查看多種多樣的數(shù)據(jù)血緣信息；

能夠?qū)崿F(xiàn)高效的數(shù)據(jù)管理；

高效地應(yīng)對(duì)故障，比如在故障排查時(shí)能夠快速評(píng)估故障的影響面以及恢復(fù)時(shí)間；

能夠根據(jù)用戶不同需求場(chǎng)景看到不同的鏈路視角。

02數(shù)據(jù)地圖是什么

為什么叫數(shù)據(jù)地圖？數(shù)據(jù)地圖其實(shí)就是“數(shù)據(jù)+地圖”。地圖大家都不陌生，如高德地圖，具有找地點(diǎn)、路徑分析、搜索周邊相關(guān)、地點(diǎn)管理等能力。數(shù)據(jù)也具備獨(dú)立特征，包括類型全、數(shù)據(jù)是流通的不是孤立的、數(shù)據(jù)生命周期比較長(zhǎng)。

數(shù)據(jù)的特征加上地圖的普遍能力，就構(gòu)成了數(shù)據(jù)地圖的獨(dú)有能力，包括：數(shù)據(jù)搜索，用戶可以搜索想要的任何數(shù)據(jù)；數(shù)據(jù)高效管理，可以高效的管理數(shù)據(jù)；數(shù)據(jù)分析能力，數(shù)據(jù)路徑分析的能力，比如血緣查看、關(guān)鍵路徑排查。

03有贊數(shù)據(jù)地圖實(shí)踐

接下來，從數(shù)據(jù)全鏈路、數(shù)據(jù)搜索、數(shù)據(jù)管理、數(shù)據(jù)鏈路分析四個(gè)方面介紹一下有贊數(shù)據(jù)地圖實(shí)踐。

1. 數(shù)據(jù)全鏈路

之所以稱為數(shù)據(jù)全鏈路，是因?yàn)槠涓采w數(shù)據(jù)類型、任務(wù)類型、平臺(tái)類型、元數(shù)據(jù)類型、血緣類型都比較全。其中，元數(shù)據(jù)包含了基礎(chǔ)元數(shù)據(jù)，技術(shù)元數(shù)據(jù)，趨勢(shì)源數(shù)據(jù)、血緣信息；血緣類型實(shí)現(xiàn)了表表血緣、表任務(wù)血緣、字段血緣。基于強(qiáng)大的基礎(chǔ)采集能力，構(gòu)建了上層的數(shù)據(jù)搜索、數(shù)據(jù)管理、鏈路分析等應(yīng)用。有贊數(shù)據(jù)地圖對(duì)各個(gè)平臺(tái)采集的數(shù)據(jù)進(jìn)行抽象，抽象成表和任務(wù)模型進(jìn)行統(tǒng)一管理，完成了從業(yè)務(wù)到業(yè)務(wù)的閉環(huán)。

2. 數(shù)據(jù)搜索

數(shù)據(jù)采集、全鏈路構(gòu)建完成后，就要對(duì)數(shù)據(jù)進(jìn)行高效搜索構(gòu)建。數(shù)據(jù)搜索的目標(biāo)是使找數(shù)據(jù)更精確、更容易。

如何做到找數(shù)據(jù)更容易？找數(shù)據(jù)是技術(shù)人員和業(yè)務(wù)人員經(jīng)常會(huì)面對(duì)的場(chǎng)景，之前是根據(jù)關(guān)鍵字和技術(shù)元數(shù)據(jù)直接找數(shù)據(jù)，但業(yè)務(wù)人員不懂，找數(shù)據(jù)就不方便。因此從業(yè)務(wù)的角度，如業(yè)務(wù)過程、業(yè)務(wù)實(shí)體方面，如何讓業(yè)務(wù)人員更容易找數(shù)據(jù)。

解決數(shù)據(jù)更精確的問題，首先匹配的內(nèi)容是比較廣泛的，包括表、任務(wù)、標(biāo)簽、業(yè)務(wù)指標(biāo)、文檔、商業(yè)智能的報(bào)表等都是有贊匹配的內(nèi)容，見截圖。在匹配內(nèi)容符合基本查詢條件后，把最想找的數(shù)據(jù)優(yōu)先排在前面。實(shí)現(xiàn)數(shù)據(jù)優(yōu)先排序，是根據(jù)搜索結(jié)果項(xiàng)進(jìn)行打分，分?jǐn)?shù)較高的排在前面。打分會(huì)包含加分項(xiàng)和減分項(xiàng)。加分項(xiàng)包括當(dāng)前owner、下游數(shù)越多、質(zhì)量分越高、訪問次數(shù)越多、公共層的表，均是作為加分項(xiàng)優(yōu)先展示；減分項(xiàng)則包含設(shè)置了替換表（該表后續(xù)不再維護(hù)或會(huì)被新表替代）、臨時(shí)表，均為不推薦表，作為一個(gè)減分項(xiàng)。每項(xiàng)均設(shè)置一個(gè)相對(duì)應(yīng)的權(quán)重，最終得出分?jǐn)?shù)進(jìn)行排序，將分?jǐn)?shù)高的優(yōu)先呈現(xiàn)給用戶，實(shí)現(xiàn)找數(shù)據(jù)更精確，更匹配用戶搜索的訴求，這是有贊對(duì)于數(shù)據(jù)搜索的優(yōu)化。

3. 數(shù)據(jù)管理

有贊采用數(shù)據(jù)專輯的方式進(jìn)行數(shù)據(jù)管理，類似歌曲專輯一樣，按不同維度對(duì)數(shù)據(jù)進(jìn)行劃分，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分類管理。用數(shù)據(jù)專輯對(duì)數(shù)據(jù)進(jìn)行管理有4個(gè)好處：

結(jié)構(gòu)化管理數(shù)據(jù)的方式，解決Word、文本編輯器、webExcel、shimo等非結(jié)構(gòu)化數(shù)據(jù)管理方式后期使用不方便的問題；

協(xié)作更加方便，可進(jìn)行點(diǎn)贊、分享、實(shí)時(shí)添加/刪除數(shù)據(jù)、多人協(xié)作；

管理維度多樣化，可從業(yè)務(wù)維度、優(yōu)先級(jí)維度、重要性維度、治理維度、用途維度、其他特征維度等對(duì)數(shù)據(jù)專輯進(jìn)行劃分；

數(shù)據(jù)專輯對(duì)表批量管理，可對(duì)表設(shè)置權(quán)限、下線、核心表鏈路保障、業(yè)務(wù)拆分實(shí)現(xiàn)專輯表數(shù)據(jù)的拆分。數(shù)據(jù)專輯是在不同場(chǎng)景下非常好的數(shù)據(jù)管理模式。

4. 數(shù)據(jù)鏈路分析

① 血緣查看

可以自由查看數(shù)據(jù)的血緣。數(shù)據(jù)血緣的種類比較豐富，包含表表血緣、表任務(wù)血緣、字段血緣。表的上游或下游個(gè)數(shù)都會(huì)很多，這種情況下想要找到用戶比較關(guān)注的上下游就會(huì)比較困難。有贊做了很多優(yōu)化的體驗(yàn)，最上游&最下游的快捷方式，為用戶提供只看ODS層、業(yè)務(wù)層最上游的表或只看最下游的表；聚合查看，滿足當(dāng)上游或下游個(gè)數(shù)非常多的情況下，按照庫、owner、數(shù)據(jù)類型、表類型進(jìn)行聚合，快速查看用戶關(guān)注的表；節(jié)點(diǎn)搜索，針對(duì)節(jié)點(diǎn)進(jìn)行關(guān)鍵詞搜索；節(jié)點(diǎn)排序，按照表名的字典順序進(jìn)行排序，有助于用戶快速定位表。

② 異常分析

異常分析，當(dāng)目標(biāo)表或業(yè)務(wù)表出現(xiàn)異常時(shí)，需要排查原因，就可以用到異常分析的場(chǎng)景。當(dāng)前異常會(huì)分三種情況，電話告警、表未產(chǎn)出、規(guī)則失敗。在發(fā)生異常時(shí)，需要以目標(biāo)表為源頭，向上溯源找到所有有異常的表；以有異常的表為源頭，經(jīng)過一些列的剪枝優(yōu)化，將相對(duì)簡(jiǎn)單的異常路徑展示出來。

剪枝優(yōu)化是在血緣匯總信息上下游數(shù)量比較多的情況下，如果將所有的點(diǎn)全都展示出來會(huì)很混亂，要對(duì)異常節(jié)點(diǎn)到目標(biāo)表的所有的路徑進(jìn)行剪枝。

剪枝的目的是，減少圖中非必要節(jié)點(diǎn)和邊的數(shù)量，這樣異常路徑看清來會(huì)很清晰。

優(yōu)化剪枝的2個(gè)關(guān)鍵步驟：

找到要剪枝的起點(diǎn)；

下游選擇的策略，包含上游個(gè)數(shù)最多的節(jié)點(diǎn)策略和最靠近目標(biāo)表的策略。當(dāng)前有贊的選擇策略是上游個(gè)數(shù)最多的節(jié)點(diǎn)。

針對(duì)有贊當(dāng)前下游選擇的策略，異常分析剪枝算法為：

找到上游所有有源頭的表，看是否有下游，如果沒有下游即為目標(biāo)表，直接返回；如有下游且下游個(gè)數(shù)為1，返回該下游；如有下游個(gè)數(shù)大于1，查看下游節(jié)點(diǎn)是否有異常節(jié)點(diǎn)，如有異常節(jié)點(diǎn)，返回下游節(jié)點(diǎn)異常集合；如果下游節(jié)點(diǎn)都為正常節(jié)點(diǎn)，則查看是否有待剪枝的節(jié)點(diǎn)，如有則返回下游待剪枝節(jié)點(diǎn)集合；如無則找出下游節(jié)點(diǎn)里面上游最多的節(jié)點(diǎn)，查看是否成環(huán)，如未成環(huán)則表明正常直接返回；如成環(huán)則將該下游節(jié)點(diǎn)從下游集合中拿掉，再找出下游節(jié)點(diǎn)里上游最多的節(jié)點(diǎn)，如此往復(fù)，直到不成環(huán)返回。

基于該策略目前效果是明顯的，可從1000多個(gè)節(jié)點(diǎn)剪枝到幾十個(gè)。

當(dāng)前策略是以減少節(jié)點(diǎn)個(gè)數(shù)為目標(biāo)，而最靠近目標(biāo)表的策略是以減少邊個(gè)數(shù)為目標(biāo)，兩個(gè)策略側(cè)重點(diǎn)不同。

③ 影響分析&產(chǎn)出時(shí)間預(yù)估

影響分析&產(chǎn)出時(shí)間預(yù)估實(shí)踐，其場(chǎng)景是當(dāng)核心表出現(xiàn)故障時(shí)，需要快速評(píng)估一個(gè)表的影響面和恢復(fù)時(shí)間。其核心流程是向下評(píng)估影響面，向上預(yù)估產(chǎn)出時(shí)間，根據(jù)上游表的產(chǎn)出時(shí)間預(yù)估出本表的產(chǎn)出時(shí)間，其算法在下面詳細(xì)介紹。

首先解釋一下運(yùn)行時(shí)長(zhǎng)的概念，有贊中運(yùn)行時(shí)長(zhǎng)取的是最近7天的中位數(shù)，來減少特殊情況造成的不準(zhǔn)確問題。

其預(yù)估產(chǎn)出時(shí)間算法為：

如果當(dāng)前節(jié)點(diǎn)任務(wù)已經(jīng)完成，預(yù)計(jì)完成時(shí)間=當(dāng)前節(jié)點(diǎn)實(shí)際完成時(shí)間；如果當(dāng)前節(jié)點(diǎn)尚未完成，則查看當(dāng)前節(jié)點(diǎn)關(guān)聯(lián)的任務(wù)是否正在運(yùn)行，如果關(guān)聯(lián)任務(wù)在運(yùn)行中且時(shí)長(zhǎng)嚴(yán)重超出歷史運(yùn)行時(shí)長(zhǎng)，則預(yù)計(jì)完成時(shí)間=當(dāng)前時(shí)間+歷史運(yùn)行時(shí)長(zhǎng)+1h處理恢復(fù)時(shí)間，作為該表的預(yù)計(jì)完成時(shí)間，該公式是由有贊經(jīng)常處理故障的數(shù)倉及其他人員共同商討總結(jié)的算法；如果當(dāng)前運(yùn)行時(shí)長(zhǎng)正常，則預(yù)計(jì)完成=實(shí)際開始時(shí)間+歷史運(yùn)行時(shí)長(zhǎng)；如果當(dāng)前節(jié)點(diǎn)已運(yùn)行過但運(yùn)行失敗，無法預(yù)估產(chǎn)出時(shí)間，返回-1，需要人工重啟；如果當(dāng)前節(jié)點(diǎn)任務(wù)沒有失敗，并且不在運(yùn)行中，表明該節(jié)點(diǎn)任務(wù)尚未運(yùn)行，則查看是否存在上游節(jié)點(diǎn)，如果有上游，獲取其上游所有節(jié)點(diǎn)的預(yù)計(jì)產(chǎn)出時(shí)間，如果上游有不可預(yù)估的情況，那么產(chǎn)出時(shí)間無法預(yù)估，返回-1；如果上游預(yù)計(jì)產(chǎn)出時(shí)間都可預(yù)估，則該節(jié)點(diǎn)的預(yù)計(jì)完成時(shí)間=Max（上游產(chǎn)出時(shí)間，歷史開始時(shí)間，當(dāng)前時(shí)間）+歷史運(yùn)行時(shí)長(zhǎng)；如果沒有上游，說明該節(jié)點(diǎn)為源頭節(jié)點(diǎn)，如果當(dāng)前時(shí)間＞歷史開始時(shí)間，說明節(jié)點(diǎn)未正常啟動(dòng)，無法預(yù)估產(chǎn)出時(shí)間，返回-1，需要人工啟動(dòng)發(fā)起調(diào)度；如果當(dāng)前時(shí)間＜?xì)v史開始時(shí)間，說明節(jié)點(diǎn)未調(diào)度，則預(yù)估完成時(shí)間=歷史完成時(shí)間。

預(yù)估產(chǎn)出時(shí)間算法雖然復(fù)雜，但在有贊實(shí)踐過程中發(fā)現(xiàn)，預(yù)估產(chǎn)出時(shí)間與最終產(chǎn)出時(shí)間是很接近的，目前是有贊比較好的一個(gè)預(yù)估產(chǎn)出時(shí)間的算法。

④ 鏈路優(yōu)化

對(duì)數(shù)據(jù)產(chǎn)生的鏈路優(yōu)化實(shí)踐，在表成本太大、鏈路太長(zhǎng)、產(chǎn)出時(shí)間太晚等情況下需要進(jìn)行鏈路優(yōu)化。有贊目前已針對(duì)優(yōu)化表產(chǎn)出時(shí)間場(chǎng)景開展了相關(guān)實(shí)踐，其鏈路優(yōu)化步驟為：

先找到關(guān)鍵路徑（在這里關(guān)鍵路徑是以當(dāng)前表為葉子節(jié)點(diǎn)，向上找直接上游里最慢的節(jié)點(diǎn)，再找最慢節(jié)點(diǎn)組成的路徑，稱之為關(guān)鍵路徑），開展關(guān)鍵路徑節(jié)點(diǎn)的時(shí)間進(jìn)行優(yōu)化，表的產(chǎn)生時(shí)間會(huì)往前提；

如關(guān)鍵路徑找到后發(fā)現(xiàn)節(jié)點(diǎn)上游都沒有問題，則查看表自身任務(wù)的啟動(dòng)時(shí)間是否合理，去優(yōu)化表任務(wù)的啟動(dòng)時(shí)間；

如發(fā)現(xiàn)表無法優(yōu)化了，可考慮表是否可以替換。根據(jù)字段血緣來看，產(chǎn)出最晚的上游表的被使用了哪些字段，根據(jù)字段血緣來看目標(biāo)表是否用到這些字段，如果未使用相關(guān)字段，則可創(chuàng)建一個(gè)新表，將產(chǎn)出時(shí)間最晚的字段去掉，從而要目標(biāo)表去引用新表，將最影響產(chǎn)出的字段去掉，達(dá)到鏈路優(yōu)化目的。

⑤ 數(shù)據(jù)監(jiān)控保障

在上游發(fā)生變化時(shí)，如何通知下游？有贊有2個(gè)措施開展數(shù)據(jù)監(jiān)控保障，包括定時(shí)任務(wù)和手動(dòng)觸發(fā)：

定時(shí)任務(wù)是掃描數(shù)據(jù)開發(fā)平臺(tái)發(fā)布到調(diào)度中心的任務(wù)，檢測(cè)任務(wù)語法是否通過、任務(wù)使用的輸入表是否存在、輸入表使用的字段是否存在，提前預(yù)知并通知下游用戶，避免晚上起夜處理或?qū)?shù)據(jù)問題后知后覺。

手動(dòng)觸發(fā)是在數(shù)據(jù)治理工作人員現(xiàn)有表要用新表或字段替換時(shí)，可手動(dòng)觸發(fā)檢測(cè)表對(duì)下游任務(wù)、下游表或下游字段的影響，在確定沒有影響情況下，再改變現(xiàn)有表情況。

04總結(jié)和展望

1. 總結(jié)

交互體驗(yàn)方面，解決頁面卡死問題，使頁面交互更加流程，接口RT99%以上均小于1s。

使用情況方面，增加了分析場(chǎng)景、開展日常運(yùn)營(yíng)工作，使得UV從90升到130、PV從2K升到了3.5K。

工作提效方面，提效1~3小時(shí)。

數(shù)據(jù)類型方面，當(dāng)前支持29種數(shù)據(jù)類型、16種任務(wù)類型、覆蓋平臺(tái)數(shù)4個(gè)以上。

2. 展望

① 底層存儲(chǔ)方式重構(gòu)

目前血緣關(guān)系存儲(chǔ)使用的是關(guān)系數(shù)據(jù)庫，后面會(huì)使用圖數(shù)據(jù)庫推理引擎能力對(duì)底層存儲(chǔ)進(jìn)行重構(gòu)，使鏈路分析場(chǎng)景，更高效、更準(zhǔn)確。基于圖數(shù)據(jù)庫推理引擎，拓展數(shù)據(jù)地圖能力。

②??更多場(chǎng)景支持

數(shù)據(jù)地圖有更多的場(chǎng)景支持，比如，降本的工作；成本、質(zhì)量、穩(wěn)定性方面的鏈路優(yōu)化，有更多場(chǎng)景來支撐；質(zhì)量的保障，對(duì)下游應(yīng)用的質(zhì)量保障，可考慮使用數(shù)據(jù)專輯對(duì)數(shù)據(jù)地圖數(shù)據(jù)進(jìn)行批量保障，支持更多的鏈路場(chǎng)景。

③ 模型可視化

引用更多豐富的可視化組件，使數(shù)據(jù)模型和業(yè)務(wù)模型更直觀地呈現(xiàn)出來，使理解數(shù)據(jù)和業(yè)務(wù)更加方便。業(yè)務(wù)模型可通過業(yè)務(wù)模型可視化實(shí)現(xiàn)對(duì)整個(gè)業(yè)務(wù)流程預(yù)覽，每個(gè)業(yè)務(wù)過程都有對(duì)應(yīng)的事實(shí)表、維度表、負(fù)責(zé)人等信息，在看數(shù)據(jù)和理解數(shù)據(jù)更加方便。比如有贊入職的新同學(xué)，對(duì)微商城業(yè)務(wù)及具體產(chǎn)品流程不了解，可通過業(yè)務(wù)模型可視化了解到：商家先瀏覽-再下單-等待商家支付-等待賣家發(fā)貨-等待買家確認(rèn)收貨-交易成功，這個(gè)為微商城核心業(yè)務(wù)流程的鏈路，新同學(xué)看到這個(gè)業(yè)務(wù)模型，對(duì)有贊業(yè)務(wù)理解更加方便。ER模型是MySQL庫模型的可視化。數(shù)據(jù)倉庫中最常見的星型模型&雪花模型，可通過圖形化的方式更加容易理解模型。

05精彩問答

Q：有贊中字段血緣關(guān)系的解析是怎么實(shí)現(xiàn)的？每個(gè)字段的標(biāo)簽梳理是怎么做的？

A：有贊中團(tuán)隊(duì)分工比較細(xì)，字段血緣的解析是由數(shù)據(jù)基礎(chǔ)平臺(tái)工作人員負(fù)責(zé)解析，有贊地圖工作人員負(fù)責(zé)調(diào)用離線服務(wù)獲取字段血緣。

Q：數(shù)據(jù)治理效果中提到數(shù)據(jù)開發(fā)同學(xué)的起夜率，是一個(gè)強(qiáng)考核指標(biāo)嗎？該指標(biāo)比重是多少？

A：數(shù)據(jù)治理要有一個(gè)效果指標(biāo)來衡量工作的重要性，不是為做功能而做功能，而是真實(shí)的提供大家工作效率，減少一些起夜率，這些指標(biāo)是有贊自己定義的。

Q：平臺(tái)業(yè)務(wù)人員主要是哪些內(nèi)容來解決什么問題？平臺(tái)業(yè)務(wù)人員發(fā)現(xiàn)指標(biāo)有錯(cuò)，如何從血緣上追溯呢？如數(shù)據(jù)產(chǎn)品經(jīng)理發(fā)現(xiàn)數(shù)據(jù)有問題，和數(shù)據(jù)團(tuán)隊(duì)配合的鏈路是怎樣的？

A：關(guān)于平臺(tái)的問題，有贊數(shù)據(jù)血緣是接入了4種平臺(tái)，數(shù)據(jù)開發(fā)平臺(tái)、實(shí)時(shí)開發(fā)平臺(tái)、商業(yè)智能、指標(biāo)庫。其中，數(shù)據(jù)開發(fā)平臺(tái)，開展日常的數(shù)據(jù)開發(fā)任務(wù)，包括離線、實(shí)時(shí)開發(fā)。商業(yè)智能，即BI報(bào)表。指標(biāo)庫，提供給外界商家用的數(shù)據(jù)，顯示商家后臺(tái)有哪些指標(biāo)，這些指標(biāo)用了哪些表，都是從指標(biāo)庫配置的。

如數(shù)倉核心表出了問題，可快速定位到它的影響面。有故障產(chǎn)出時(shí)，通過建立溝通群的方式，產(chǎn)品經(jīng)理比較在意的商家數(shù)據(jù)恢復(fù)時(shí)間問題上，有贊有預(yù)估產(chǎn)出時(shí)間功能，可秒級(jí)回復(fù)商家數(shù)據(jù)什么時(shí)候恢復(fù)的問題，采用這種方式實(shí)現(xiàn)各團(tuán)隊(duì)配合。