在企業數據建設過程中，大數據治理受到越來越多的重視。從企業數據資產管理和提升數據質量，到自服務和智能化的數據應用，大數據治理的內容在不斷發展和完善，其落地實施的過程中會遇到各種各樣的難題和挑戰。本篇文章通過分析大數據治理建設中的溝溝坎坎，總結出了大數據治理需要具備的能力和關鍵技術。

一、困難重重卻充滿光明的大數據治理發展之路
1、傳統數據治理一直無法逃脫的魔咒
大數據治理從建設內容和實施目標上可以劃分成不同的階段，每個階段完成不同的任務，隨著階段的遞進，建設內容逐步加深，不同的企業切入點和訴求也各不相同。大致分為以下幾個階段：

摸家底階段
內容：企業元數據梳理和采集
目標：構建企業數據資產庫

建體系
內容：建立企業標準和質量提升體系
目標：提升數據質量

促應用
內容：自服務通道、構建企業知識圖譜
目標：數據智能應用

然而，大數據治理建設之路并不是一帆風順的，甚至可以說充滿了各種問題和困難，如何管理企業級的數據資產、如何讓業務積極參與到數據建設中來、如何降低數據治理的落地難度等一系列問題，一直困擾著數據治理的發展，傳統數據治理的問題主要體現在以下幾個方面

管理范圍窄
要做數據治理首先要知道有哪些數據，傳統的數據治理往往只管理了數據領域，很少關注業務、管理和開發相關的數據資產，數據管理范圍比較窄，而且，受限于技術實現，即使在數據領域的數據資產也很難做到精確管理；

業務難結合
業務元數據的廣泛缺失，導致業務人員無法使用技術性的元數據系統，元數據缺乏業務用戶，使用者少；

應用場景缺
元數據被當成單獨的系統，而不是廣泛的技術基礎，導致只關心元數據本身的應用場景；
技術不完善
在技術層面存儲缺乏擴展性，采集自動程度不高，管理實時性不高。

2、自服務大數據治理是解決問題之道
自服務的大數據治理平臺具備管理、開發、共享、使用等能力，通過自動、自助、智能化的大數據治理，能夠實現對數據的找、供、用、治，從而一站式解決傳統數據治理在大數據時代的各種難題，具體涉及到以下幾個方面。? ??

建好數據管理體系，快速識別數據
自服務大數據治理平臺可以實現有數據可管理。現在的企業數據資產繁雜眾多，特別是建設大數據平臺的企業，數據的類型、分布、實現技術、所屬部門等都很繁雜，通過手工一點點梳理是不現實的，如何低成本、快速有效地將數據梳理和管理起來？這是做大數據治理遇到的第一個坎。

自服務大數據治理平臺可以通過自動化手段，自動識別企業數據資產并標明數據方位和屬性，建立業務能理解的數據服務目錄。

建立數據治理體系，監控并快速發現問題

自服務大數據治理平臺可以保障企業數據資產的質量。企業內數據環境復雜，很容易出現數據不一致、數據不及時、數據缺失等一系列問題，如何識別并快速定位數據問題？特別是針對海量數據，如何在不影響性能情況下找出問題數據？這是做大數據治理遇到的第二個坎。

通過自服務大數據治理平臺建立和支撐起基于數據指標、質量檢核、問題發現和監控的完善數據治理體系，從事前、事中和事后等各個環節規避、發現和解決數據問題，將能保證數據應用無后顧之憂。

二、大數據治理技術需要不斷革新
數據治理的目標是把數據管起來、用起來、保證數據質量，這些目標離不開各種技術的支持，這些技術包括元數據自動采集和關聯、數據質量的探查和提升、數據的自助服務和智能應用等。

1、管起來：數據資產的自動化采集、存儲技術要實現大數據治理的資產管理，需要做足三個方面的工作：
采集：指從各種工具中，把各種類型的元數據采集進來。
存儲：采集元數據之后需要相應的存儲策略來對元數據進行存儲，這需要在不改變存儲架構的情況下擴展元數據存儲的類型；
管理和應用：在采集和存儲完成后，對已經存儲的元數據進行管理和應用。

第一，針對數據資產的存儲，模型體系規范為元數據管理提供了基礎，通過模型管理可以實現統一穩定的元數據存儲，統一的標準和規范能很好地解決通用性和擴展性。

傳統數據資產管理采用CWM規范進行數據資產存儲設計，該規范提供了一個描述相關數據信息元數據的基礎框架，并為各種元數據之間的通信和共享提供了一套切實可行的標準。但是，隨著元數據管理范圍的不斷擴大，CWM規范已經不能滿足通用的元數據管理需求，針對微服務、業務等也需要一套規范支撐。MOF規范位于模型體系最底層，可以為元數據存儲提供統一的管理理論基礎。

第二，元數據管理第二個核心問題是解決各類元數據的采集，由于元數據類型多種多樣，而且在不斷增加，所以，如何以最小代價，快速納入管理新類型元數據的能力，是元數據管理的核心。

采用可插拔的適配器方式實現元數據的采集是一個很好的選擇。其中，數據采集適配器應支持各類數據源的采集，當有一個新的數據源需要接入的時候，只需按照規范快速開發一套針對性的適配器，就能實現新類型元數據的納入管理。

第三，與人工相比，技術的最突出特點是速度快和精確。因此，如何通過技術手段精確地獲取數據資產是關鍵，特別是元數據關系，一般都存在于模型設計工具、ETL工具，甚至開發的SQL腳本中，因此需要通過工具組件解析（接口、數據庫）、SQL語法解析等手段完成關系的獲取和建立。準確解析后的關系，還需要通過直觀的關系圖展現出來。

2、有保障：數據質量探查和提升技術
通過大數據治理來提升數據質量的過程中，涉及到很多環節、工作和技術，其中包括：通過合理的技術找出數據問題并找到問題數據；從各個維度監控數據問題，并能通過最直觀和快捷的方式反饋給相關責任人；實現問題發現、認責、處理、歸檔等數據問題的閉環解決流程等。中間主要涉及到以下兩個方面：

第一，要想及時全面地找到問題數據，不僅要關注關鍵點，還要有合適的方法。數據最容易出現質量問題的地方就是數據集成（流動）點，例如：性別在單系統中，有1和0或者男和女表示都行，但是系統間集成時就會有問題。因此，解決數據質量的關鍵，就在于在集成點檢查數據質量。另外，針對大數據量的數據質量檢查，即要保證實時性，也要保證不影響業務系統的正常運行，因此在對特別大的數據量進行檢查時，要采用抽樣檢查的方式。

第二，數據問題發現后，還要直觀地將數據問題展現出來并及時通知相關人員。因此大數據治理平臺應提供實時、全面的數據監控，實現多維度實時的數據資產信息展示：
從作業、模型、物理資源等各方面進行全面的數據資產盤點；
對數據及時性、問題數據量等方面的數據健康環境進行全面的預警。

3、用起來：自助化數據服務構建技術
大數據治理的最終目標是為最終用戶提供數據，這需要快速找到數據，并快速建立數據交換的通道。
知識圖譜是一種非常好用、直觀的數據應用方式。人工智能的知識圖譜構建，可以從以下步驟考慮：
基于企業元數據信息，通過自然語言處理、機器學習、模式識別等算法，以及業務規則過濾等方式，實現知識的提取；
以本體形式表示和存儲知識，自動構建成起資產知識圖譜；
通過知識圖譜關系，利用智能搜索、關聯查詢等手段，為最終用戶提供更加精確的數據。
基于元數據的自助數據服務開發，可以簡單快速地建立數據通道。通過自助化的數據生產線，數據使用方（業務人員）大大減少了對開發人員依賴，80%以上的數據需求，都能通過自己進行整合開發，最終獲取數據。讓所有用數據的人能方便得到想要的數據。其中，提供所需數據的自助查詢能力、自動生成數據服務、及時穩定的獲得數據通道、保證數據安全是實現自助化的大數據生產線的四個關鍵點。