01 治理背景

1. 治理背景

公司的發(fā)展會帶動業(yè)務(wù)的快速發(fā)展，同時也會帶來數(shù)據(jù)建設(shè)方面的一些問題，這也是我們進(jìn)行數(shù)據(jù)治理的背景。

第一個方面，老業(yè)務(wù)體量的持續(xù)膨脹變大和新業(yè)務(wù)線擴(kuò)張帶來業(yè)務(wù)過程與指標(biāo)維度的急劇增長，給數(shù)據(jù)的建設(shè)和開發(fā)帶來了很大壓力。面對這種情況，我相信大部分公司很難避免煙囪式的開發(fā)，需要什么數(shù)據(jù)就去抽取和統(tǒng)計什么數(shù)據(jù)，沒有去規(guī)劃長期的數(shù)據(jù)治理工作。這導(dǎo)致我們的數(shù)據(jù)十分零散，分布在數(shù)倉和大數(shù)據(jù)平臺中，形式上也沒有做標(biāo)準(zhǔn)化，質(zhì)量很差，數(shù)據(jù)建模沒有形成一個規(guī)范，導(dǎo)致業(yè)務(wù)上的開發(fā)人效非常低。

第二個方面，我們在一開始很難有足夠的人力全面地開展數(shù)據(jù)治理的工作，數(shù)據(jù)治理的啟動需要一定的動力以及相應(yīng)的規(guī)劃，我們需要考慮在現(xiàn)有的數(shù)據(jù)質(zhì)量差的情況下，如何既能夠支持業(yè)務(wù)需求，也能夠把治理工作開展起來，并且保持邊污染邊治理的平衡，最終實(shí)現(xiàn)數(shù)據(jù)的治理。

第三個方面，大家都知道數(shù)據(jù)建設(shè)的鏈路是非常長的，從多源頭的數(shù)據(jù)采集，再對數(shù)據(jù)進(jìn)行 ETL 清洗，然后進(jìn)行數(shù)倉建模，以及最后我們對數(shù)據(jù)應(yīng)用的管理，因此進(jìn)行數(shù)據(jù)治理需要縱觀全鏈路去管理，僅從單點(diǎn)去做，可能收益非常有限，甚至看不到收益。而且，我們業(yè)務(wù)線多，還會面臨跨業(yè)務(wù)域進(jìn)行依賴。跨業(yè)務(wù)域的數(shù)據(jù)依賴在我們的日常工作中經(jīng)常遇到，比如我們的漫畫商業(yè)化業(yè)務(wù)會依賴漫畫內(nèi)容數(shù)據(jù)，這樣的依賴網(wǎng)絡(luò)里面，我們切入點(diǎn)可能會比較難尋找，所以治理難度也比較大。

3. 治理路徑規(guī)劃

針對以上問題，我們經(jīng)過討論之后認(rèn)為快看業(yè)務(wù)線繁多，很難保證足夠的人力全部在各個業(yè)務(wù)線同時開展，我們的思路是：

第一步，先從單個業(yè)務(wù)進(jìn)行突破，重點(diǎn)支持專項開發(fā)當(dāng)前最核心業(yè)務(wù)，當(dāng)然也是我們認(rèn)為數(shù)據(jù)質(zhì)量問題比較大，投入后取得收益會比較大的業(yè)務(wù)線。

通過第一個業(yè)務(wù)線的重點(diǎn)突破。

第二步，我們期望能夠沉淀適合快看數(shù)據(jù)場景的治理策略，之后進(jìn)行跨業(yè)務(wù)的遷移和應(yīng)用。

第三步，在沉淀完一個MVP的方案基礎(chǔ)上，在其他業(yè)務(wù)上借鑒復(fù)用開展數(shù)據(jù)治理，這樣就能夠減少在其他業(yè)務(wù)上從零開始的情況。

這三步就是我們進(jìn)行數(shù)據(jù)治理的路徑規(guī)劃。

02 治理邏輯閉環(huán)

在這樣的治理路徑規(guī)劃下，我們沉淀了一個適合快看各個業(yè)務(wù)場景治理的框架，也就是治理的邏輯閉環(huán)，在實(shí)際的方案中主要分為三大塊：第一是我們要進(jìn)行業(yè)務(wù)范圍的管理，第二部分是進(jìn)行數(shù)據(jù)資產(chǎn)的治理過程，第三部分就是數(shù)據(jù)的應(yīng)用反饋。

閉環(huán)是如何形成的一個環(huán)的？

數(shù)據(jù)治理是一個長期過程，如何保證持續(xù)性？我們通過一個治理的閉環(huán)，建立治理、反饋以及反饋完之后再治理的持續(xù)性優(yōu)化機(jī)制。在這個機(jī)制中，我們分配相應(yīng)的人力去重點(diǎn)跟進(jìn)各個過程，以保證我們剛才提到的對數(shù)據(jù)進(jìn)行持續(xù)的治理。

為了介紹我們的整體的邏輯閉環(huán)，先拋一個問題，如何排空一個蓄水池里的水？這個是大家小學(xué)經(jīng)常做的一道應(yīng)用題，一個蓄水池有一個進(jìn)水口一個排水口，進(jìn)水口以一定的速度進(jìn)水，排水口以一定速度排水，怎樣能夠排空它？

首先前提是排水口一定要比進(jìn)水口的速度快。剛才也提到我們現(xiàn)在是邊污染邊治理，我們需要保證數(shù)據(jù)污染的速度是要小于數(shù)據(jù)治理的速度的。對于蓄水池這個例子來說，就需要對于入水口進(jìn)行限流限速，對排水口進(jìn)行提速，其實(shí)這樣就引出來了我們的邏輯閉環(huán)的一個基本數(shù)學(xué)原理，也就是在數(shù)據(jù)治理的過程中，要保證數(shù)據(jù)污染的速度在經(jīng)過治理之后是越來越小的，而數(shù)據(jù)治理的速度是越來越高的，這樣才能保證數(shù)據(jù)治理的越來越好。

第一部分是業(yè)務(wù)范圍管理，也就是跟進(jìn)各個業(yè)務(wù)的迭代變更，業(yè)務(wù)有哪些變化？增加了什么功能？刪除了什么功能？或者功能有什么變化？第二部分是管理業(yè)務(wù)指標(biāo)和等級，第三部分對業(yè)務(wù)過程進(jìn)行優(yōu)先級排序。

為什么要做業(yè)務(wù)范圍的管理？

拿我們的一個商業(yè)化業(yè)務(wù)來舉例，我們會做很多商業(yè)化模式的探索，會有很多子模塊的嘗試，比如分銷、IP拓展和變現(xiàn)。進(jìn)行這種嘗試，對于我們數(shù)據(jù)這邊來說，往往會有滯后性，進(jìn)行業(yè)務(wù)過程的探索和我們數(shù)據(jù)建設(shè)和治理的過程不是同期進(jìn)行的，往往存在的情況是優(yōu)先探索功能，當(dāng) MVP 探索出來，發(fā)現(xiàn) ROI 為正之后，會進(jìn)行業(yè)務(wù)過程的放大，同時會對我們的數(shù)據(jù)指標(biāo)和數(shù)據(jù)提很多需求。如果前期我們沒有跟進(jìn)，后期一旦接到這種需求，對于數(shù)據(jù)來說是比較被動的。

所以我們認(rèn)為，在治理的第一個階段，我們需要能夠把業(yè)務(wù)過程的范圍跟起來，把業(yè)務(wù)過程跟起來之后及時同步給數(shù)據(jù)建設(shè)、數(shù)據(jù)治理團(tuán)隊，尤其數(shù)據(jù)建設(shè)團(tuán)隊，讓他們能夠及早地跟進(jìn)業(yè)務(wù)過程，以及底層數(shù)據(jù)源，比如業(yè)務(wù)數(shù)據(jù)庫的一些變化，提早進(jìn)行籌備。另外，我們也要對新業(yè)務(wù)過程和老業(yè)務(wù)過程的業(yè)務(wù)指標(biāo)進(jìn)行管理，因為在業(yè)務(wù)探索過程中，一旦有變化，可能會提出一些重復(fù)的業(yè)務(wù)指標(biāo)，或者一些非核心非必要的指標(biāo)。對應(yīng)到前面例子中的進(jìn)水口，我們要對進(jìn)水口進(jìn)行限流，限流就依賴于我們對業(yè)務(wù)范圍、業(yè)務(wù)指標(biāo)進(jìn)行管理和等級的排序，這部分工作由數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析師團(tuán)隊共同去做。

第二部分是數(shù)據(jù)資產(chǎn)管理，就是建立數(shù)據(jù)治理的一個規(guī)范，開發(fā)數(shù)據(jù)治理的一些工具，最后基于規(guī)范和工具，對各個業(yè)務(wù)的數(shù)據(jù)，尤其是核心業(yè)務(wù)去進(jìn)行高效的治理。

為什么要加一個反饋管理機(jī)制？

數(shù)據(jù)治理是一個長期的過程，而且數(shù)據(jù)很容易被污染，在數(shù)據(jù)同步采集的過程中，對這些臟數(shù)據(jù)缺乏鑒別和篩選，后續(xù)可能就會產(chǎn)生問題，所以需要一個反饋管理，這也是治理邏輯閉環(huán)進(jìn)行持續(xù)性迭代的一種問題收集方式。我們治理了數(shù)據(jù)，希望用戶能夠把它用起來。我們的用戶包括業(yè)務(wù)開發(fā)同學(xué)、分析師、數(shù)據(jù)產(chǎn)品，以及業(yè)務(wù)產(chǎn)品等。對于他們的滿意度、使用中遇到的問題，我們要建立一個溝通反饋的機(jī)制，保障這些問題能反饋提給我們，這就是一個閉環(huán)。

閉環(huán)總結(jié)：

在業(yè)務(wù)上把源頭跟起來，尤其做業(yè)務(wù)過程、指標(biāo)優(yōu)先級方面的管理，根據(jù)管理好的這些業(yè)務(wù)過程和指標(biāo)的優(yōu)先級，借助工具和規(guī)范，有序、有規(guī)劃地去做好數(shù)據(jù)業(yè)務(wù)的治理，這個規(guī)范是需要沉淀的。最后治理完了，數(shù)據(jù)使用中會有持續(xù)的反饋，根據(jù)反饋，再去做持續(xù)的治理。

03 實(shí)踐經(jīng)驗

我們花了半年多的時間整理出來這個閉環(huán)，同時使各個崗位角色配合起來，去進(jìn)行閉環(huán)的落地。在落地的過程中遇到很多問題。這部分將介紹閉環(huán)落地過程中，我們都采用了什么樣的方式。

1. 業(yè)務(wù)管理范圍

先看業(yè)務(wù)范圍管理這一塊的架構(gòu)。

首先業(yè)務(wù)范圍管理的目標(biāo)，是保證數(shù)據(jù)側(cè)能夠緊跟業(yè)務(wù)過程的變化。然后根據(jù)指標(biāo)體系的指標(biāo)等級，明確這些業(yè)務(wù)過程、數(shù)據(jù)資產(chǎn)的等級是什么，我們還可以根據(jù)指標(biāo)的優(yōu)先級去判定業(yè)務(wù)需求的優(yōu)先級。

我們的業(yè)務(wù)過程模型思路是：

首先在業(yè)務(wù)范圍管理的過程中，建立業(yè)務(wù)過程的模型，業(yè)務(wù)過程模型包括了業(yè)務(wù)關(guān)系模型以及數(shù)據(jù)源模型。我們內(nèi)部落地了一些規(guī)范機(jī)制去跟進(jìn)業(yè)務(wù)過程的變化，比如數(shù)據(jù)產(chǎn)品分析師，以及個別開發(fā)同學(xué)，有職責(zé)在業(yè)務(wù)需求的評審過程中去了解需求的變化、業(yè)務(wù)的變化，然后我們把變化整理到業(yè)務(wù)關(guān)系模型中（其實(shí)就是整理到內(nèi)部的知識庫文檔中）。業(yè)務(wù)變化有可能是底層數(shù)據(jù)源的變化，數(shù)據(jù)庫的庫表結(jié)構(gòu)的變化，甚至取值的變化，我們也都實(shí)時地收集到，這是我們業(yè)務(wù)范圍管理的第一步。

下一步是指標(biāo)模型的管理。首先是對新業(yè)務(wù)和老業(yè)務(wù)指標(biāo)的定義和維護(hù)，然后對指標(biāo)進(jìn)行管理，包括指標(biāo)的合理性、有效性、優(yōu)先級、是否重復(fù)，我們不希望業(yè)務(wù)的指標(biāo)庫無限擴(kuò)大，而是希望它是有序有意義的，同時指標(biāo)管理還會進(jìn)行等級管理，不同業(yè)務(wù)的不同指標(biāo)的等級肯定是不一樣的，我們需要和業(yè)務(wù)方一同去維護(hù)，確定下來。我們把業(yè)務(wù)過程維護(hù)好，然后把業(yè)務(wù)過程對應(yīng)的指標(biāo)庫、指標(biāo)模型也建設(shè)起來，這其實(shí)就可以了解業(yè)務(wù)所有模塊數(shù)據(jù)資產(chǎn)的等級，一般可以根據(jù)指標(biāo)等級去推測。另外我們也能夠知道業(yè)務(wù)過程各種需求的優(yōu)先級分別是什么。

這就是我們業(yè)務(wù)范圍管理這一塊的框架和思路。這個過程目前是以團(tuán)隊知識庫的形式去維護(hù)的，指標(biāo)管理是通過數(shù)倉管理后臺系統(tǒng)進(jìn)行管理，業(yè)務(wù)過程和資產(chǎn)等級等以 WiKi 形式去維護(hù)。

2. 數(shù)據(jù)治理規(guī)范和架構(gòu)

邏輯閉環(huán)的第二步，數(shù)據(jù)治理。數(shù)據(jù)治理非常依賴全鏈路關(guān)鍵路徑節(jié)點(diǎn)上進(jìn)行的規(guī)范化，因為我們的數(shù)據(jù)鏈路非常長，需要把全鏈路上比較關(guān)鍵的節(jié)點(diǎn)進(jìn)行規(guī)范化建設(shè)，包括治理各個階段的規(guī)范、流程、要求等，同時我們還會需要建設(shè)數(shù)據(jù)平臺的工具，來對整個過程進(jìn)行提效。

上圖中藍(lán)色部分是我們各個鏈路節(jié)點(diǎn)規(guī)范化的建設(shè)，綠色部分是平臺提效工具的建設(shè)。數(shù)據(jù)源是我們的基礎(chǔ)，它的準(zhǔn)確性決定了數(shù)據(jù)治理的有效性。第一部分是 DB 數(shù)據(jù)變更的同步機(jī)制，在我們工作中經(jīng)常遇到業(yè)務(wù)數(shù)據(jù)變更了，但是沒有通知到我們，采集到的數(shù)據(jù)可能只是歷史的某一部分?jǐn)?shù)據(jù)，如果沒有及時更新，出的數(shù)據(jù)會有質(zhì)量問題。

另外，對于埋點(diǎn)數(shù)據(jù)進(jìn)行管理也非常有必要。快看做了一個埋點(diǎn)數(shù)據(jù)的管理系統(tǒng)，對數(shù)據(jù)進(jìn)行統(tǒng)一的采集上報，對它的格式規(guī)范、數(shù)據(jù)質(zhì)量，進(jìn)行了各種監(jiān)測，保證了我們的埋點(diǎn)數(shù)據(jù)的質(zhì)量。

再往上就是采集完數(shù)據(jù)之后，數(shù)據(jù)建設(shè)和治理的階段，我們要了解業(yè)務(wù)，要對業(yè)務(wù)進(jìn)行建模，因此需要業(yè)務(wù)建模規(guī)范、數(shù)據(jù)源信息管理規(guī)范。另外，指標(biāo)體系也需要進(jìn)行管理，這是我們的業(yè)務(wù)理解部分。

再往右看，是數(shù)據(jù)建設(shè)和數(shù)據(jù)治理實(shí)施的流程。

按照流程來，再往右就是數(shù)倉建模的規(guī)范，數(shù)倉建模的基礎(chǔ)規(guī)范、分層規(guī)范、分層依賴規(guī)范，這個是我們?nèi)ス矂?chuàng)落地的。另外就是數(shù)倉邏輯設(shè)計和物理開發(fā)階段的規(guī)范，我們?nèi)绾胃鶕?jù)業(yè)務(wù)過程、指標(biāo)、業(yè)務(wù)需求，去設(shè)計不同分層更高效的表結(jié)構(gòu)，包括維表、事實(shí)表、匯總表，去支撐更多的業(yè)務(wù)訴求。

再往后就是開發(fā)階段，對于業(yè)務(wù)需求、業(yè)務(wù)指標(biāo)以及業(yè)務(wù)數(shù)據(jù)的建設(shè)，需要有相應(yīng)的數(shù)倉開發(fā)測試規(guī)范，以及任務(wù)調(diào)度管理的規(guī)范，對于任務(wù)的監(jiān)控報警機(jī)制以及數(shù)據(jù)質(zhì)量的監(jiān)控，都要規(guī)范化。

數(shù)據(jù)開發(fā)完后，是應(yīng)用階段，我們需要評估數(shù)據(jù)的復(fù)用性，這塊有相應(yīng)的機(jī)制去保障，比如故障響應(yīng)機(jī)制，這是保障用戶體驗非常重要的一個點(diǎn)。另外就是給業(yè)務(wù)方提供原生數(shù)據(jù)源信息的查詢時還要做好數(shù)據(jù)安全的管理。

最后是平臺工具，平臺工具是我們根據(jù)實(shí)際需求做的 MVP 模型，比如指標(biāo)管理工具、數(shù)據(jù)采集工具、元數(shù)據(jù)管理工具以及自助數(shù)倉建設(shè)的系統(tǒng)，通過可視化的方式去建設(shè)我們的數(shù)倉，還有血緣管理工具，質(zhì)量監(jiān)控工具和資源治理工具，這些都是根據(jù)實(shí)際需求去做的，盡可能對我們的開發(fā)、數(shù)據(jù)治理進(jìn)行提效。

3. 協(xié)作技巧

數(shù)據(jù)治理的鏈路很長，它需要數(shù)據(jù)產(chǎn)品分析師、開發(fā)同學(xué)，以及業(yè)務(wù)同學(xué)進(jìn)行很好的協(xié)作。在這個過程中，需要我們能夠從更高的視角，把這些團(tuán)隊協(xié)作起來，我觀測到這是數(shù)據(jù)治理工作成敗非常核心的一個點(diǎn)，而且從行業(yè)交流里面也發(fā)現(xiàn)這是很多公司的數(shù)據(jù)治理沒法開展的一個原因。產(chǎn)品側(cè)沒有意識到這一點(diǎn)，不去配合，沒有拉齊這方面的認(rèn)知，數(shù)據(jù)開發(fā)同學(xué)就沒有辦法全力投入。因此需要覆蓋全流程的關(guān)鍵節(jié)點(diǎn)，需要各個崗位角色拉齊認(rèn)知、分工協(xié)作。在各個團(tuán)隊各個角色拉齊認(rèn)知之后，我們要用一個閉環(huán)思路持續(xù)的去跟進(jìn)，需要找一個切入點(diǎn)，在人力有限的情況下，建議從核心業(yè)務(wù)切入，建立MVP的流程規(guī)范，從重要性高、開發(fā)效率低的業(yè)務(wù)開展，能夠讓各個團(tuán)隊參與進(jìn)去之后，快速地看到效果。最后明確我們各個崗位角色產(chǎn)出的一個標(biāo)準(zhǔn)，統(tǒng)一標(biāo)準(zhǔn)，保證效率，然后大家定期復(fù)盤，最后建立明確的應(yīng)用反饋機(jī)制，去進(jìn)行治理效果的評估和量化。

這就是我們的協(xié)作技巧。

04? 總結(jié)與展望

1. 治理效果評估

快看這邊根據(jù)我們面臨的問題，從三個維度進(jìn)行效果評估：

業(yè)務(wù)指標(biāo)的重復(fù)度：這在過去是非常嚴(yán)重的問題，指標(biāo)非常多重復(fù)度也很高。

數(shù)倉數(shù)據(jù)的復(fù)用度：各種寬表的復(fù)用性，它對需求的cover程度有多高。

開發(fā)應(yīng)用的周期：在上圖大家可以看到，業(yè)務(wù)指標(biāo)通過治理，持續(xù)削減，并且最后相對穩(wěn)定。當(dāng)然隨著業(yè)務(wù)變化、業(yè)務(wù)過程的變化，它可能還會增，但是管理起來之后就能減少很多不必要的指標(biāo)。我們數(shù)倉的各層數(shù)據(jù)和維表相關(guān)的數(shù)量，以及它的復(fù)用性，也能夠得到明顯改善。最后需求開發(fā)的人天和數(shù)據(jù)應(yīng)用的調(diào)研時長，也持續(xù)下降。因為我們的數(shù)據(jù)地圖更清晰了，大家使用數(shù)據(jù)、查數(shù)據(jù)、對數(shù)據(jù)口徑確認(rèn)也更快速。

2. 不足與規(guī)劃

因為人力原因，我們的平臺工具迭代較慢，平臺工具都是MVP最小的模型，比如數(shù)據(jù)地圖、調(diào)度管理，目前還存在一些不便性，需要我們投入更多人力去做。

第二點(diǎn)，我們多業(yè)務(wù)的綜合治理，也就是跨業(yè)務(wù)域依賴治理，雖然有了一些規(guī)范和機(jī)制，但并沒有在所有業(yè)務(wù)開展，需要后續(xù)去推進(jìn)。

另外是持續(xù)優(yōu)化，我們的策略是小步快跑，迭代補(bǔ)齊，剛才提到的三個步驟中的各個規(guī)范，它的框架都在不斷完善中。最后是一個細(xì)節(jié)點(diǎn)，我們提到的數(shù)據(jù)源里面，埋點(diǎn)數(shù)據(jù)質(zhì)量的管理，它的流程規(guī)范和落地機(jī)制，我們也在大力的去跟進(jìn)完善，這畢竟是我們數(shù)據(jù)質(zhì)量的一個源頭，目前取得了一定效果，但仍需要去進(jìn)行業(yè)務(wù)側(cè)的推進(jìn)和落地。

今天的分享就到這里，謝謝大家。