隨著大數(shù)據(jù)技術(shù)在眾多領(lǐng)域的廣泛應(yīng)用，大量數(shù)據(jù)源需要接入大數(shù)據(jù)平臺，多種數(shù)據(jù)處理引擎和開發(fā)語言被各類技術(shù)/非技術(shù)人員人員使用，復(fù)雜業(yè)務(wù)催生了規(guī)模龐大、邏輯復(fù)雜的工作流程，數(shù)據(jù)成為業(yè)務(wù)的生命線需要重點保護(hù)，數(shù)據(jù)作為業(yè)務(wù)的原動力需要更加方便快捷的被分析和應(yīng)用。
一、大數(shù)據(jù)數(shù)據(jù)治理的定義
大數(shù)據(jù)治是廣義信息化治理計劃的一部分，即制定與大數(shù)據(jù)有關(guān)的管理優(yōu)化、數(shù)據(jù)保護(hù)、數(shù)據(jù)變現(xiàn)的政策。
二、大數(shù)據(jù)治理面臨的問題
1、隱私
企業(yè)需要嚴(yán)格關(guān)注遵守隱私方面的問題，例如利用社交媒體進(jìn)行數(shù)據(jù)分析。
2、元數(shù)據(jù)
大數(shù)據(jù)治理需要創(chuàng)建可靠的元數(shù)據(jù)，避免出現(xiàn)窘境，例如，一家企業(yè)重復(fù)購買了相同的數(shù)據(jù)集兩次，而原因僅僅是該數(shù)據(jù)集在兩個不同的存儲庫內(nèi)使用了不同的名稱。
3、管理人員
企業(yè)需要招募大數(shù)據(jù)管理員，這些管理員需要避免組織因不一致的命名規(guī)范而付款購買已經(jīng)擁有的外部數(shù)據(jù)。除此之外，社交媒體管理員需要與法律顧問和高級管理人員配合工作，制定有關(guān)可接受的信息使用方法的策略。
4、數(shù)據(jù)質(zhì)量
考慮到大數(shù)據(jù)的龐大數(shù)量和超快速度，組織需要確定哪種級別的數(shù)據(jù)質(zhì)量屬于 “足夠好” 的質(zhì)量。
三、大數(shù)據(jù)治理的商業(yè)價值
企業(yè)只有建立了完整的大數(shù)據(jù)治理體系，保證數(shù)據(jù)的質(zhì)量，才能夠真正有效地挖掘企業(yè)內(nèi)部的數(shù)據(jù)價值，對外提高競爭力。
首先，高質(zhì)量數(shù)據(jù)與企業(yè)內(nèi)部數(shù)據(jù)精細(xì)化管理是企業(yè)業(yè)務(wù)創(chuàng)新、管理決策、企業(yè)開展業(yè)務(wù)創(chuàng)新和管理決策的基礎(chǔ)，能夠為企業(yè)創(chuàng)造巨大效益。
其次，標(biāo)準(zhǔn)化的數(shù)據(jù)是優(yōu)化商業(yè)模式、指導(dǎo)生產(chǎn)經(jīng)營的前提。通過數(shù)據(jù)標(biāo)準(zhǔn)化可以防止數(shù)據(jù)的混亂使用，確保數(shù)據(jù)的正確性及質(zhì)量，并可以優(yōu)化商業(yè)模式，指導(dǎo)企業(yè)生產(chǎn)經(jīng)營工作。
最后，多角度、全方位的數(shù)據(jù)是企業(yè)開展市場營銷、爭奪客戶資源的關(guān)鍵。數(shù)據(jù)已成為企業(yè)最核心的隱形財富，誰掌握了準(zhǔn)確的數(shù)據(jù)誰就能獲得先機(jī)，在當(dāng)前競爭日益激烈的市場上，企業(yè)如何在不同的細(xì)分市場構(gòu)建客戶畫像、開展精準(zhǔn)營銷，如何選擇競爭策略、進(jìn)行經(jīng)營管理決策，都必須基于360度全方位、準(zhǔn)確的客戶數(shù)據(jù)加以分析判斷才能得出。
四、大數(shù)據(jù)治理范圍
1、元數(shù)據(jù)管理
用于打通了源數(shù)據(jù)、數(shù)據(jù)倉庫、數(shù)據(jù)應(yīng)用，記錄了數(shù)據(jù)從產(chǎn)生到消費(fèi)的全過程。元數(shù)據(jù)主要記錄數(shù)據(jù)倉庫中模型的定義、各層級間的映射關(guān)系、監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)及 ETL 的任務(wù)運(yùn)行狀態(tài)。
2、主數(shù)據(jù)管理
即數(shù)據(jù)本身的管理，對于數(shù)據(jù)本身，基于數(shù)據(jù)倉庫，我們做了數(shù)據(jù)的分層、數(shù)據(jù)域的劃分、基于維度建模的架構(gòu)、命名規(guī)范、對需要共享的數(shù)據(jù)建立統(tǒng)一視圖和集中管理等。
3、數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理，包含五個部分，數(shù)據(jù)的唯一性、完整性、準(zhǔn)確性、一致性、有效性。數(shù)據(jù)質(zhì)量管理，就是通過特定的規(guī)則對數(shù)據(jù)的五個方面進(jìn)行測試，檢查，監(jiān)控和告警。
4、數(shù)據(jù)標(biāo)準(zhǔn)管理
數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)提供全面完整的數(shù)據(jù)標(biāo)準(zhǔn)管理流程及辦法，用于決定和建立單一、準(zhǔn)確、權(quán)威的事實來源，實現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，并為數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)安全管理提供標(biāo)準(zhǔn)依據(jù)。
5、數(shù)據(jù)計算管理
對大數(shù)據(jù)集群每天存儲資源、計算資源消耗等進(jìn)行管理、監(jiān)控、優(yōu)化。如何降低計算資源的消耗，提高任務(wù)執(zhí)行的性能，提升任務(wù)產(chǎn)出的時間。
6、數(shù)據(jù)安全管理
數(shù)據(jù)安全管理貫穿于數(shù)據(jù)治理全過程，提供對隱私數(shù)據(jù)的加密、脫敏、模糊化處理、數(shù)據(jù)庫授權(quán)監(jiān)控等多種數(shù)據(jù)安全管理措施，全方位保障數(shù)據(jù)的安全運(yùn)作。
7、數(shù)據(jù)存儲管理
在大數(shù)據(jù)時代，對于數(shù)據(jù)爆炸式的增長，存儲管理也將面臨著一系列挑戰(zhàn)。如何有效地降低存儲資源的消耗，節(jié)省存儲成本，也是數(shù)據(jù)治理的一個目標(biāo)。對于數(shù)據(jù)存儲，目前業(yè)界的一些主要的處理方式，包括數(shù)據(jù)壓縮、數(shù)據(jù)重分布、數(shù)據(jù)垃圾檢測和清理、數(shù)據(jù)生命周期管理等。
五、數(shù)據(jù)治理工具
數(shù)據(jù)治理在如今的大數(shù)據(jù)平臺的建設(shè)中日益重要，做好數(shù)據(jù)治理往往是困難重重，選擇優(yōu)秀的工具能為你提高效率，提升數(shù)據(jù)的準(zhǔn)確性，這往往會讓你事半功倍。
億信華辰結(jié)合十幾年大數(shù)據(jù)技術(shù)經(jīng)驗，打造了一套完善、通用的的數(shù)據(jù)治理工具睿治數(shù)據(jù)治理平臺，包括數(shù)據(jù)集成、數(shù)據(jù)交換、實時數(shù)據(jù)計算、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、元數(shù)據(jù)、數(shù)據(jù)交換、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)生命周期和數(shù)據(jù)安全十大功能模塊，去幫助企業(yè)規(guī)范的定義與加工數(shù)據(jù)、清晰的管理數(shù)據(jù)、安全的應(yīng)用數(shù)據(jù)。
