大數據治理是一項復雜的工程，它需要在國家、行業、企業等多個層面上開展體系化的建設，技術上包含數據資產確權、數據管理、數據開放共享、數據隱私保護等諸多方面。這些技術面臨的挑戰多、難度大，很多方面還沒有形成被廣泛認可的系統化的解決方案。
什么是數據治理
數據治理（Data Governance）是組織中涉及數據使用的一整套管理行為。由企業數據治理部門發起并推行，關于如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。數據治理的最終目標是提升數據的價值，數據治理非常必要，是企業實現數字戰略的基礎，它是一個管理體系，包括組織、制度、流程、工具。
傳統數據治理的問題
大數據治理之路并不是一帆風順的，可以說是一路充滿了坎坷和荊棘，怎樣管理企業級的數據資產，怎樣讓業務積極參與到數據建設中來，怎樣降低數據治理的落地難度之類的一系列情況，讓數據治理的發展進展的不是很順利，傳統的數據治理的問題有以下幾個：
（1）管理范圍窄傳統的數據治理只管理了數據領域，很少的關注到業務、管理和開發相關的數據資產，數據管理的范圍比較狹窄，在數據領域的數據資產很難做到精準；
（2）難以結合業務業務元數據的廣泛缺失，導致業務人員無法使用技術性的元數據系統，元數據缺乏業務用戶，使用者比較少；
（3）應用場景缺少元數據被當做了單獨的系統，沒有和實際的應用結合起來，不是作為技術的基礎而出現在大眾面前的，所以只有元數據本身的應用場景；
（4）技術不完備在技術方面缺乏擴展性，管理實時性不高。
數據治理的核心技術
1、數據的結構化處理
很多數據模型和算法是構建在結構化數據基礎上的，多源異構數據要更好地與其他數據集融合，結構化處理是必不可少的過程。數據結構化處理首先要對原始數據進行解析，提取出需要的信息，再進一步將其轉換成結構化數據。很多非結構化數據、Web數據是以文本形式存在的，需要使用信息抽取技術識別文本中的實體、屬性、關系等信息。也有很多數據采用的是結構化強一些的數據模型，如JSO格式，這類數據相對關系型數據更靈活，在結構化轉換過程中也需要一些技術上的處理。結構化處理的主要輸出形式是二維表或者圖數據，它需要用戶確定數據在轉換過程中采用的規則。
2、數據質量評估與數據清洗
結構化處理主要是數據表達形式上的轉換，數據結構化之后并不意味著能夠直接使用。處理后的數據還要進行質量評估，如果發現數據中存在問題，則采取進一步的數據清洗措施。這個過程稱作數據質量評估。一些簡單的數據質量問題可以利用自動化的算法發現，因為數據質量問題的多樣性和不可預測性，數據可視化技術成為數據質量評估的關鍵技術。借助可視化技術，對數據語義非常了解的業務人員更容易發現數據存在的質量問題（如缺失、不一致、異常等）。伴隨著數據質量問題的發現，用戶可以定義一些數據清洗規則，批量化地處理數據中存在的質量問題，提高數據清洗的效率。在數據庫研究領域，也有人借助眾包的思路提升數據清洗的效率。這種做法也是基于用戶在數據清洗過程中發揮的重要作用進行的。在數據清洗過程中，需要多輪次的人機交互，系統的交互界面和交互方式對于數據清洗算法的有效性尤為重要。
3、數據規范化
數據治理還有一項重要的內容是數據規范化，這也是數據準備中常見的問題。規范化有簡單的底層數據層面的，如數據類型轉換、單位變換、格式表換等，也有較為復雜的數據項規范化處理，如電話號碼、郵編、地址等。這類問題的主要成因是自然語言表達上的差異性會造成同一實體存在多種表達形式。比較典型的例子是地址，人們需要對其進行規范化處理，以提升數據的質量。地址的規范化面臨的一個比較大的挑戰就是粒度的選取，同一個地址可以用不同粒度進行表達。數據的規范化處理需要根據應用的需求特點，確定數據粒度和表達方式。地址規范化處理背后的問題是實體鏈指問題，即把同一實體的不同表達形式（不同名字）映射到同一個實體名字上，消除實體表達的語義鴻溝，進而通過關聯在數據集中不同地方出現的相同語義的實體，達到數據融合的目的。
億信華辰自主研發的睿治智能數據治理平臺，是一款融合數據治理十大產品模塊，覆蓋數據全生命周期管理的應用平臺，也是目前國內功能齊全的數據治理工具，助力數據標準落地，提升數據質量，實現數據資產融合。
