一、背景

為什么要做數據架構治理？數字轉型，治理先行。

數字化的應用是整個行業高速發展的源動力之一，快遞行業日新月異，規模龐大，數字化能夠使管理升級，提高整個內部的運營效率，降低相關的運營成本。在打破數據孤島，鏈接用戶跟快遞員、網點、商家等角色的過程中，數字化都發揮著很大的作用。簡單來說，數字化就是一道門，你被關在門外面，那未來很可能就會被淘汰。而數據架構治理，就是為中通數字化轉型打下了基礎。

二、現狀

中通目前有500+的產品，這些持久化在存儲上就是有100W+的數據庫表。并且業務量以每年20%-30%的速度高速增長。各業務部門、開發團隊的數據標準不一致，在數據打通和整合過程中會出現很多問題。所以就必須建立數據標準和推動數據模型的落地來對數據未來狀態的規范，包括對數據的名稱、含義、結構、取值及數據間關系的規范，以此對數據庫表結構、字段定義進行指導約束。

2、數據安全

公司目前沒有平臺來做數據分類、敏感數據的標記，數據以什么形式對外提供出去不明確 ，什么數據可以對外暴露不明確 。一旦隱私數據泄露，對業務的影響非常大，甚至能影響整個業務的生死。同時對數據文件、圖片、文件、音視頻等類型數據的定期的備份恢復策略也沒有制定，一旦誤刪除可能會導致數據的永久丟失。

3、數據模型

由于前期的快速發展，難免會遺留一下歷史的原因，比如數據的上下游依賴公司就很難去識別到，隨著業務的變動很容易出現上游發生變更，但下游卻不知道的問題。開發的數據對象，都是通過口口相傳。模型梳理難以完成，導致在數據開發和數據管理過程中都會遇到一些效率低的問題，開發不清楚數據的上下游是如何使用的。

4、數據質量

缺乏跨團隊的數據工程流程，經常會導致“掛羊頭賣狗肉”的情況，比如字段明明是網點名稱，數據庫里卻是網點名稱和網點編號都有存儲在這一列，導致各個團隊的成熟度不同，團隊間沒有一致的數據質量定義或指標。

三、怎么做數據架構治理

頂層規劃設計的方法在五到十年前比較盛行，多源于國外咨詢公司基于國際理論（如DAMA-DMBOK）結合自身實踐積累形成的方法論，用這些理論框架為企業進行全面的現狀調研，基于此再進行數據治理組織、數據治理工作內容/流程/制度、數據治理平臺及未來建設路徑的規劃。其交付物通常是厚厚的調研報告、設計報告和PPT，項目周期在半年甚至更長。頂層規劃設計的方法好處在于有理論依據，體系完整，能夠幫助客戶達成對數據治理全貌的理解和共識，有利于推動后續工作開展。但其也有許多不足，如過于理論化與企業實際情況結合不緊，導致管理組織和流程都無法落地；漫長的項目周期中，只部分解決了數據治理管理能力建設的問題，但并未解決實際數據問題、沒有提升數據質量甚至業務質量、數據價值也沒有顯著發揮出來。因此，成果也看起來很厚重，但實效并不大。

2、我們是怎么做的

從一開始我們也想過自上而下的這樣推動數據治理，但是就如上面所述，項目周期太長，同時實際效果也不一定很好。因此我們結合我們公司的實際情況，先治理關鍵流程：數據標準管理、數據模型管理、數據上下游鏈路管理、敏感數據管理以及數據的全生命周期管理。同時連同業務部門，按照產品線進行劃分，小范圍內快速驗證和迭代數據治理相關的方法、流程、規范，然后再復制推廣。總體的思路就是：定規范，建平臺，建體系。

四、規范

結合公司的現狀，我們對數據的全生命流程進行梳理，針對關鍵節點我們梳理出了：數據存儲選型規范、數據建模管理規范、數據分發管理規范、數據生命周期管理規范。

1、數據存儲選型規范

架構師在工作中經常會遇到數據庫存儲選型的問題，而市面上數據庫產品眾多，往往會無從下手，甚至有時候從業務開發到上線運維過程中會多次更換底層數據庫，給整個研發中心帶來不必要的額外工作，數據存儲選型對于一個給定的應用環境，針對公司現有業務背景和整個DBA團隊技術儲備，選取最優的數據庫類型，建立數據庫及其應用系統，使之能夠有效地存儲數據，滿足各種用戶的應用需求。

2、數據建模管理規范

針對數據的開發設計階段，我們將數據對象抽象成邏輯模型和物理模型，同時針對表、字段、數據庫的命名和設計制定了一系列的規范并前置到邏輯模型設計階段，同時針對持久化到數據庫上進行流程管控。

數據建?？傮w流程：

3、數據分發管理規范

對于現在公司的數據實際情況，數據分發應該嚴格按照分發數據量進行分發類型選擇，并且除了SQL查詢方式之外，都應使用中通數據分發平臺ZDTP進行數據分發，并且通過訂閱方式對數據下發至各個合規終端，同時通過可配置的軟件或工具對源數據進行收集、處理以達到符合中通內部或合規的外部第三方生產需求的操作，以上所有的操作均有流程進行管控。

4、數據生命周期管理規范

結合公司實際，針對科技中心所管轄的所有數據，文件，圖片，視頻，錄音等存儲。將數據進行分級分類，按照對應的級別的不同制定不同的生命周期管理策略。

數據敏感級別屬于數據安全領域，敏感等級不同的數據對內使用時受到的保護策略不同，對外共享開放的程度也不同。數據管理者負責制定其領域內數據敏感等級的劃分規則，并制定和發布本部門的數據敏感等級目錄。

數據分類治理是實現不同部門之間數據共享互認的目的。我們通過分類標識，將分散的、存儲在不同系統的數據內容，打破數據的孤島，進行有效匹配，指定不同的數據敏感級別，理清各方的數據權限，達到數據安全治理的目的。

根據數據級別的不一樣，我們將制定不一樣的數據保留策略：