導讀：本文主要介紹了美團酒旅數據治理的歷程和實踐經驗，以及業務發展各個階段中數據體系遇到的問題和解決方案，最后探討數據治理在現階段的建設思路和發展方向。
01、背景介紹
為什么要做數據治理？因為從數據產生、采集、生產、存儲、應用到銷毀的全過程中，可能在各環節中引入各種問題。初始發展階段，這些數據問題對我們的影響不大，大家對問題的容忍度比較高。但是，隨著業務發展數據質量和穩定性要求提升，并且數據積累得越來越多，對一些數據的精細化要求也越來越高，就會逐漸發現有很多問題需要治理

1. 需要治理哪些問題
數據治理過程中哪些問題需要治理？總結了有五大類問題：質量問題、成本問題、安全問題、標準化問題、效率問題。

2. 美團酒旅數據現狀

主要面臨的問題有：標準化的規范缺失、數據質量問題比較多、成本增長非常快、數據安全的控制、數據管理和運維效率低。

02、治理實踐

數據治理的內容劃分為幾大部分：組織、標準規范、技術、衡量指標。整體數據治理的實現路徑是以標準化的規范和組織保障為前提，通過做技術體系整體保證數據治理策略的實現。同時會做數據治理的衡量體系，隨時觀測和監控數據治理的效果，保障數據治理長期向好發展。

1. 標準化和組織保障

管理委員會是一個虛擬的組織，主要組成是技術部門和業務部門，技術部門是業務數據的開發團隊，業務部門是業務數據的產品團隊，這兩個團隊作為實現的負責人，各自對接技術團隊和業務團隊。

2. 技術體系
① 數據質量，數據質量是數據質量中最重要的一個問題，現在數據治理的大部分問題都屬于數據質量。這里有四大問題：
數據倉庫的綜合性比較差，雖然有一些規范文檔，但更依賴個人理解去執行。
數據一致性問題多，主要表現在數據指標的管理上。指標管理以前在文檔中定義指標，沒有系統化的統一管理邏輯和查詢邏輯。
數據應用非常多，使用數據的方式包括數據表同步、接口消息推送、OLAP引擎查詢等，不能保證數據應用端的數據一致性。
產品非常多，業務數據產品入口有十多個，沒有統一的入口，也沒有人對這些產品統一把關，導致數據應用和使用方式有很多分歧。

數倉建模規范
事前會有標準化文檔給大家提前理解、宣貫，事中很多標準化的事項會通過配置化自動約束規范，事后會有上線時的檢驗和上線后每周定期檢驗，檢驗數據倉庫的建模規范是否符合標準，把不符合標準的及時提示出來、及時改進。

統一指標管理系統

指標管理系統化主要做了流程管理標準化、指標定義標準化和指標使用標準化。


統一數據服務

建設統一的數據服務平臺，目標是提高效率、提高數據準確性、提供數據監控、將整個數據倉庫和數據應用鏈路打通。提供的方式有兩種，一種是對于B端應用，提供按需使用，每天提供幾萬次的調用額度；一種是對于C端，通過推送的方式，比如每天推送一次最新數據。

統一用戶產品入口

通過數據倉庫的統一建模、數據指標管理保證了三大類底層數據集市的一致，從而保證了所有數據的一致性。

整體系統架構
整體的技術架構分為三層，從統一數據建模到統一指標邏輯、統一數據服務和統一產品入口，整體保障了數據的質量。

② 數據運營效率
對于運營相關的數據問題，先提供系統化的數據指南。該指南包含三大類信息：指標類、數倉模型、推薦使用方式。

具體的實現方式，針對數據使用指南做了一個系統，把指標元數據、維度元數據、數據表和各種產品元數據等管理起來。

③ 數據成本
美團業務的數據成本也很大，每一年的數據存儲、計算相關的成本增長非常快。美團目前大概的比例是70%的計算成本、20%是存儲成本、10%為采集日志。

④ 數據安全
數據安全是以事前預防、事中監控、事后追蹤三個方式來進行的。

數據使用過程中應當遵循的五個原則：密文處置原則、最晚解密原則、最小范圍提取原則、最小授權原則、全程審計原則。

3. 衡量指標
未來能夠全面的衡量數倉治理的效果，新建了數據衡量指標體系，總體分為五大類：質量類、成本類、安全、易用性和價值。

將數據治理作為日常運營項目做起來，底層依賴數據指標體系進行監控，之上從發現問題到提出優化方案，然后跟進處理，再到日常監控構成一個循環。

03、未來規劃

總體來說，數據治理分為三個大階段：被動治理、主動治理、自動治理。

第一階段做的是被動治理，也就是階段性治理，沒有統籌考慮，主要是基于單個問題的治理，而且治理之后過一段時間可能要做重復治理。這個階段更多是人治，一個項目成立，協調幾個人按照項目制完成，沒有體系規劃也沒有組織保障。
第二階段是主動治理，有長期的統籌規劃，能覆蓋到數據生命周期的各個鏈路，在治理過程中把一些手段和經驗流程化、標準化、系統化，長期解決一些數據問題，讓數據治理長期可控。

第三階段是自動治理，也是智能治理，希望長期規劃和數據生命周期個環節鏈路確定好之后，把已經有的經驗、流程和標準做成策略。一旦出現問題，自動監控，通過一些系統化的方式解決。自動治理的第一步還是治理方案的落地和策略化，這就非常依賴于元數據，把數據治理各個過程中的一些經驗技術都沉淀起來。做完策略沉淀之后做自動化，把策略用工具的方式實現，當系統發現數據有問題時，自動去處理。