導讀：本次分享的題目為如何打造標準化的數據治理評估體系，如何更高效地開展治理工作。文中將從數據治理的背景入手，介紹快手在開展治理工作時遇到的問題和挑戰，以及針對這些問題進行的思考和實踐。主要包括以下幾部分：

數據治理背景

數據治理評估體系

快手實踐效果

未來規劃

01數據治理背景

今天的快手已漸成一個大平臺，每天處理的數據量非常龐大。不論是面對運營的決策，還是日常的分析，快手都十分依賴數據。隨著數據體量增大、數據應用的場景越來越豐富，快手遇到的挑戰隨之增加，出現成本、數據質量等方面的問題。基于此，需要有針對性的開展治理工作，從而降低數據的復雜度，使得數據能更加簡單、高效的供業務使用，從而提升數據價值。

數據治理工作過程中常面臨以下四個挑戰：

數據治理會貫穿整個數倉，數據的鏈路非常長，從生產端、采集端、加工端每個環節都需要進行治理工作。進行數據治理工作時應解決“如何進行標準化，如何聚焦”的問題。

如何衡量治理工作的效果，如何標準化和量化數據治理的結果。

不同階段進行治理的聚焦點不同。例如，前期推行規范化的治理，中期關注成本的管控、質量的治理等。如何通過標準化的體系動態調整不同階段的策略是治理的重點。

深入業務時，各團隊面臨的業務壓力較大，如何提升大家對治理活動的動力是面臨的一個挑戰點。

基于上述四點，快手落地了一套評估體系方案。

02數據治理評估體系

第二部分重點介紹如何應對上述的四個挑戰。

1. 整體方案目標與實施策略

制定的目標包括以下四點：

問題標準化：將治理的問題進行標準化、體系化地劃分，通過一套衡量的標準，例如資產健康分刻畫為幾個標準化維度來衡量；

治理可量化：通過得分的手段進行量化，量化的過程和治理過程相關聯；

過程策略化：尋找解決的側重點和不同階段面臨的不同問題，調整對應的策略權重；

運營有抓手：通過部分手段，讓項目和體系更好的落地。

實施的策略包括以下幾方面：

元數據驅動：治理工作的基礎策略是基于元數據驅動，利用數據來解決數據的問題；

資產健康分：通過資產健康分量化數據，通過五個維度刻畫和衡量的數據資產的健康程度：模型分、質量分、成本分、服務分、安全分；

得分策略：通過得分策略進行量化，量化更能讓團隊或個人能夠直觀看到資產的好壞。在策略過程中應進行相應的權重策略；

運營機制；

治理收益：通過結合得分策略，快手會落地運營手段來保證獲得收益。

2. 資產健康評估：模型

(1) 問題

無數據可用，一方面是由于不合理的建設，另外一方面是由于建設的數據沒有按照業務的方式進行組織，無法檢索到數據；

缺少沉淀和復用，一些公共數據的建設出現口徑不一致的問題；

業務反饋使用數據的效率比較低。

(2)?解決方案

針對以上問題，快手從模型服務目標、模型生產階段和模型設計階段三方面提出了落地的解決方案。

① 模型服務目標

模型能夠更好的服務業務主要通過以下三個目標的達成來體現：

擁有相對豐富、完整的數據資產；

數據資產能夠讓業務更方便的檢索和查找到；

數據查找到之后能更高效地使用。

結合上述三個目標，我們設計了兩個層面的模型管控方案，通過標準的模型建設規范來保障模型的規范設計和規范生產。

② 模型設計階段

前期數據的需求口徑要統一管理；

結合領域數據驅動的思想制定一套模型設計的標準規范；

制定指標的標準定義，對指標進行統一管理；

虛擬小組對模型進行review。

③ 生產階段

提供一些關鍵卡點的工具手段進行輔助，通過這些手段保障制定的標準規范更好的落地。其中包含了：

對于整體模型設計和開發代碼的規范檢查；

數據測試工具，保證測試報告的全覆蓋；

對于任務發布的過程，比如review、基線、依賴的配置進行相應的檢查；

對于線上不同的資產等級，制定監控規范，例如對不同分層的數據，指定相應的監控規則。

(3) 評估

規范性：規范性涵蓋數據的定義、設計、開發、測試和發布，同時模型開發出來之后是要去做業務的，因此對于元數據規范，我們也會進行相應的約束。

復用性：在復用性的視角下，我們更多考慮的是模型的下游依賴數量。對于公共的模型，下游引用的數量越多則說明復用性越好，因此，衡量的指標是模型的寬度。對于深度而言，如果數據生產的加工鏈路太長，會導致穩定性問題，以及對于模型的抽象程度不足，更多的業務邏輯需要下沉到公共數據進行沉淀

完整性：我們會從完整性的視角來評估數倉建設的數據是相對豐富和完整的。一方面會參考數據跨層的引用率。如果很多面向業務的數據都是從ODS產出，則說明DWD、公共層的數據是建設不夠完整的。另一個層面來看，不同分層的模型的設計對應不同的應用場景。比如，面向業務的分析場景，我們希望通過匯總模型提供服務。因此，我們也會關注在不同的場景下，數據在模型中被查詢的占比，以此來驅動我們更好地建設數據模型。

3. 資產健康評估：質量

(1) 問題

治理之初我們就會遇到質量方面的問題，這些問題總結起來有以下三方面：

質量問題是貫穿生產的整個環節，鏈路長，出現的問題多；

有的時候數據研發缺少質量意識。不管是前期的工具能力的建設，還是監控覆蓋的缺失，很多問題是通過業務進行反饋的；

前期缺少標準的流程、對問題的沉淀、預案的管理，這就會導致我們遇到的問題都是需要重復的跟進、重復的解決，跟進止損的效率低。

(2) 解決方案

基于質量的問題，快手會分四個層面落地一些解決方案。面對數據的環節我們抽象成三個階段：數據源、加工鏈路和線上服務階段。

① 數據源階段

我們的做法包括：

對數據源的規范生產進行相應的約束，落地規范標準；

將質量的監控前置到生產端。

② 加工鏈路階段

整個數據加工的環節都是依托于我們大數據的引擎，對于引擎工具的穩定性保障是我們首要要關注的一個點；

為了在整個加工過程中保障我們的規范更好落地，我們會進行一些工具化的手段、產品化的手段來檢測規范是否落地和執行；

同時通過一些數據的加工過程的環節，包括提供一些測試工具讓整個測試的過程更加全面，我們進行整體的規范檢查。

③ 線上階段

我們會重點關注兩個點：時效性和準確性。我們會通過基線保障這樣一個工具方案來進行分級保障。將數據按照不同的等級劃分相應的基線，進行相應的時效性保障。關于準確性的保障，我們會通過質檢平臺落地我們對于業務數據的監控規則。我們如何衡量監控規則的完整度？很多時候大家在做數據發布的時候，會有意識的遵守監控規則，但是，監控規則是不是能夠解決具體的問題以及監控規則是否完整，缺少衡量的標準。同時，我們會進行整個監控規則的報警準確率的提升，以此來保證我們所有的報警都是準確的、有效的。

④ 質量管控流程

因為質量的設計牽涉到的環節和團隊非常多，這就需要我們統一各個環節，其中包括我們對于整體問題的的提報。不管是我們自身發生的一些問題還是說業務方發生的問題，都統一整合到一個平臺類進行管理。我們會有橫向小組來跟進問題的分析過程。分析問題不僅僅是看問題是如何發生的，更多的是發現這些問題能不能觸發一些橫向的改進方案，如何避免同類問題再次發生。一方面是規范落地的問題，另一方面是監控覆蓋的問題。我們從一個點去推廣到一個面來解決掉同類的問題。我們也會根據統一的SLA標準進行定期復盤，能夠讓大家對這個事情引起重視。最后，我們會把一些改進方案沉淀下來，這樣能夠增強我們后續對于同類問題的解決效率。

(3) 評估

從管治的視角來看，如何衡量質量做得好不好？我們從以下三個方面進行分析：

避免問題的發生：通過考察整個過程是不是規范化的判定，整個過程如果是規范化的就能夠最大限度地減少質量的問題發生。規范化不僅僅是指數據源是否規范生產，還有加工過程是否規范生產，以及規范的監控覆蓋是否全面。

主動發現問題：如果我們達到了第一個層面，更多地，我們期望我們能夠自己發現質量問題，不論是通過系統化的能力，還是通過手段來主動的發現。因此，我們第二個考量的評估維度就是盡可能地主動發現問題。我們一方面會去考察監控的覆蓋，考察監控的完整性、報警的準確率是否滿足要求？另一方面，我們從最頂層視角來看，我們期望通過規范化的保障和監控的保障能夠減少質量問題的發生，我們最終也會從頂層去看整個質量問題的結果。

結果指標：主要考察我們的故障和問題數有沒有在收斂。問題數我們會去拆成這幾個視角:首先我們會拆解成準確性和時效性、基線的破線次數、對于問題的止損效率。

4. 資產健康評估：成本

(1)?問題

基于資產評估成本的視角，我們之前在治理之初也會遇到一些問題：

快手的數據體量很大，龐大的數據體量給我們的成本的管理帶來很大挑戰；

很多數據的部門，包括業務部門是缺少一些成本的意識；

很多時候，在業務的快速發展期，很多數據更多的是服務業務，但是隨著業務的變化或下線，我們的一些數據并沒有進行下線或者調整。

(2) 解決方案

① 大數據引擎優化

首先會通過大數據引擎的能力來解一層，比如，底層會利用EC的能力降低數據的副本、數據的壓縮重分布，還有結合我們數據的訪問熱度。例如，對于一年前或者兩年前不重要的數據，我們會做進行冷數據的存儲。同時我們會結合業務的優先級進行資源的分級調度，這樣能夠最大化的利用資源。

② 數據建設過程優化

在大數據引擎層面解決之后，第二個層面是在數據建設過程中，對成本進行相應的優化：

制定數據資產的等級劃分，我們會將數據資產會劃分成A1、A2、A3；

對于不同資產等級的數據，我們制定的存儲策略和生命周期的策略是不一樣的；

同時我們會進行對應的數據重復建設的檢測，以此來將一些公共的或重復的模型進行合并；

對大任務進行針對性的性能優化，解決資源浪費；

針對數倉中存儲量大的維表進行極限存儲的管理。

③ 成本運營管理

Quota管理：我們會給不同的團隊劃分一些存儲的配額，配額能夠提升大家對成本的意識。例如，將成本配額比作一個池子，圍繞著池子的容量進行資源調配、最大化地應用配額。如果沒有最大化地應用，Quota的預算增長、提報都會受到相應的影響；

成本賬單：快手會通過成本賬單的形式提示用戶，清晰地告訴用戶對于自身資源的使用情況；

治理榜單：在成本賬單的基礎之上結合治理榜單推動大家對成本的優化。

(3) 評估

在快手的成本評估策略中會通過頂層指標考察各個團隊待治理的成本資源量。我們會從兩個視角具體考察各個團隊待治理的成本資源量:

無效的視角

對于無效使用，是完全可以釋放出來的。對應無效存儲量和無效計算量，我們會制定具體的規則。比如就無效使用而言，我們會注意觀察數據的訪問熱度，如果數據在一定周期內的沒有被訪問，我們會進行相應的下線處理。同時，我們會對數據的分區進行處理，比如有些數據顯示每一天存儲的數據是一樣的，重復存儲是無效的。無效計算比如0熱度，如果數據每天只有計算沒有產出，那么計算量是完全浪費的。因此，我們會對重復的模型進行校驗，減少無效計算的任務

異常的視角

異常的視角是指對資源的不合理使用。不合理的使用就存在一定的優化空間。對于異常的規則比較多。對于異常的存儲，一方面，對生命周期不合理的資產，我們會進行相應的治理，讓大家去解決。對于明細層、可恢復的這種數據，存儲的時間太長，肯定是不合理的。同時我們結合引擎層面的能力，查看是否進行EC或者是壓縮的存儲格式，是否對數據進行相應的歸檔，或者是否對一些相似分區進行檢查等。

對于異常的計算，我們會考察任務的失敗次數。對于任務而言，如果結果是成功的，但過程中算錯了好幾次了，那么其計算錯誤中的計算資源是需要一定的優化。我們對于出現申請資源和實際使用的資源不相匹配的情況，我們也會進行治理。同時我們也會去觀察任務生產的小文件數量，如果小文件太多就會導致下游在使用的時候會產生過大的map，從而導致資源的浪費。此外，我們也會評估小時任務，小時任務對資源的使用要乘以二十四。所以，我們會考察一些業務的場景，如果考察的業務場景不是小時業務的服務場景，我們會重新評估是否使用小時的計算任務。這個是我們對于成本的評估。

5. 資產健康評估：得分策略

上面我們講述了如何從管治的視角，對模型、質量、成本進行相應的資產的健康評估。我們還需要一套得分策略進行量化，例如量化資產健康評估的成本評估分數、質量分數、模型分數以及如何進行改進。

得分策略需要解決的問題有以下三點：

不同的指標或者衡量的評估體系是不同量綱的，有時可能是看到具體的問題，有時可能看到的是一個不規范的占比，有時可能看到的是數據存儲量級的浪費，因此我們要尋求如何將不同量綱的指標進行統一；

治理和最終得分的成果需要反饋，針對治理動作和最終得分需要反饋機制的體系。進行治理不單單要解決這個問題，還要提高相應的分數，比健康度需要得到相應的提升；

階段側重。

結合上述三個問題，我們需要針對得分制定相應的策略方案：

Max-Min、擬合百分制：基于Max-Min的方法將不同量綱的進行規劃，將這些不同的指標能夠擬合到百分制下進行比較。

基于變異系數法：我們會基于變異系數法對整個數據本身的指標反饋結果，學習到動態的策略權重的生成。比如，有一個基礎的點，如果針對這個指標大家做的都很好，其權重會變低。我們重點解決了一些問題，例如有的指標是有規范且做得好，但還沒有做得特別好，我們相應的會把這些權重進行提升，這是在自動化的權重。

此外，我們會進行人工調整，例如，有的階段我們更關注成本的問題，有些階段更關注質量的問題。我們會在一定的周期內將我們對于這些指標中的一級類目的權重進行相應的調整從而體現并來解決我們治理的側重點，比如這個階段我們會重點從管治視角推動大家解模型、解質量、解成本。有了得分的策略之后，我們會結合運營的一些機制來保障治理的方案的落地。

6.?運營機制

(1) 提升意識

我們從管治視角通過定期的、具有規范的宣導和培訓強調治理的意識。提升我們對于質量的意識，對成本的意識，以及對模型的意識。

(2) 驅動治理

結合定期的運營，驅動治理。大家進行相應的治理的規則的解決，比如我們會結合上文介紹的得分體系生成一個治理榜單，這個榜單中包含了整體的健康分的榜單。我們會注意不同維度下的榜單，我們也會定期的運營榜單。比如做得最差的黑榜，我們會指出并提醒改進。

(3) 激勵

除了驅動之外，我們會通過新的手段提高大家的積極性，激勵策略體現在以下幾個方面：

我們能夠讓大家看到解決問題帶來的最終受益；

定期評選優秀的治理的團隊或個人，同時結合規章增強大家的積極性，從而反向驅動整體意識的提升。

(4) 軟性與硬性運營機制相結合

除了一些軟性的運營機制外，我們會結合一些強硬的運營手段從而保證治理動作更好地落地。很多時候我們會將整個治理的動作和生產環節打通。在評估體系之下，如果數據資產做得很差，我們會限制生產權限。對于成本而言，在Quota的范圍之內，如果成本分比較低，則說明用戶沒有最大化地利用已有的計算資源和存儲資源，這個時候用戶的優先級或計算的資源的配額申請都會受到相應的限制。

7.?治理收益評估

如何在治理之后衡量結果？我們會從以下四個層面衡量最終治理的收益，將收益進行量化評估：

(1) 成本收益

成本是比較直觀和顯而易見的，我們可以直觀地看到給公司節約了多少的計算和存儲資源。

(2) 質量收益

我們非常關注質量有沒有得到改進，我們會關注故障最終的問題數量有沒有收斂，以及我們對于時效的達標提前分鐘數。

(3) 人效收益

我們會通過工具化、平臺化的手段來推動管治，而不是說通過人力治理，我們會關注治理人效的提升。

(4) 價值收益

就數據管治的推動而言，其核心目標是能夠讓數據的價值最大化。因此，我們會去定期調查并收集業務對數據的滿意度。

綜上，我們從幾個層面介紹了在快手我們如何將在治理遇到的問題通過評估體系進行落地解決。

03快手實踐效果

接下來，我們會給大家介紹在過去的推動下，我們帶來的實際收益的效果。

上圖是一張展示治理平臺的截圖，我們將整個數據資產的評估體系通過平臺化落地。在這個平臺上，我們將資產分別從四個維度刻畫健康結果。健康結果是從不同的團隊和個人生成的榜單，平臺的功能還沒有全部展示，還有一些包括治理收益的榜單。我們還會結合健康分支背后，指引如何通過治理提升健康分，這個治理的指引會告訴用戶：模型規范是否充足、模型監控是否配備、成本利用是否過低，我們會進行相應的診斷并結合問題的診斷進行相應的指引治理，會告訴用戶如何來提升健康分。

我們會從四個維度進行綜合評估。在評估之初，數倉健康指數的整體評分是比較低的，只有58分，經過一段時間的治理，現在指數整體達到了77分，我們在數據研發的治理參與度超過95%。

在成本收益上，我們為公司節約存儲和計算資源；

在人效收益上，我們通過平臺化和體系化的治理落地，解決定期的、專項式的治理，并通過平臺化工具提升大家的治理效率；

在質量收益上，我們通過階段性的事件和質量的監控治理，使治理問題和故障得到了相應的收斂，質量故障和問題數降低超過40%；

我們會定期進行業務對數據部門的滿意度調查，我們發現業務對于數據的體感得到了顯著提升。

前面說到了我們的整個治理的評估體系是作為快手在數據管治落地中的一環，從這張架構圖可以看到管治體系的思路。最下面是整個原數據體系的建設。因為不論是評估體系還是治理的歸因都會基于元數據進行分析，所以對于元數據，我們會進行建設，包括資產、加工過程、質量、服務的元數據。結合元數據，我們基于上文所述的標準化評估體系來衡量大家的資產健康狀況。衡量之后，我們就可以發現哪里出了問題，發現問題之后，我們會結合治理的能力，幫助大家解決治理問題。

最終，我們會通過統一的資產管治平臺對用戶進行統一透傳，將整個管治體系整合在一起。我們會針對整個數據進行橫向的統一規范。

04未來規劃

未來的規劃會從以下兩方面進行思考：

1. 治理前置

我們會將一些治理的動作進行前置。我認為最優的治理是不需要治理的，很多時候可以在生產階段就可以解決問題。比如對于一些規范性的問題，僅僅通過推廣規范標準是遠遠不夠的，還需要通過相關工具化進行約束，這樣就可以在生產環節將一些待治理的問題解決掉。

2. 提高治理效率

在我們現有的基礎上，還需要提高治理的效率，我們會把治理的動作進行一鍵化、平臺化的打通，讓大家一鍵治理。比如一鍵表刪除或者調整生命周期需要從治理平臺跳到其他平臺，未來我們希望治理的所有環節和治理的動作能夠在一個平臺內完成閉環，這樣可以最大化的降低治理的時間成本。