大數(shù)據(jù)治理，即基于大數(shù)據(jù)的數(shù)據(jù)治理。大數(shù)據(jù)，一般指符合4V特征的數(shù)據(jù)，包括社交數(shù)據(jù)、機(jī)器數(shù)據(jù)等，大數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)治理工作帶來很多的擴(kuò)展，在政策/流程上，大數(shù)據(jù)治理應(yīng)覆蓋大數(shù)據(jù)的獲取、處理、存儲(chǔ)、安全等環(huán)節(jié)，需要為大數(shù)據(jù)設(shè)置數(shù)據(jù)管理專員制度;需考慮大數(shù)據(jù)與主數(shù)據(jù)管理能力的集成，需要對大數(shù)據(jù)做定義，統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn);在數(shù)據(jù)生命周期管理各階段，如數(shù)據(jù)存儲(chǔ)、保留、歸檔、處置時(shí)，要考慮大數(shù)據(jù)保存時(shí)間與存儲(chǔ)空間的平衡，大數(shù)據(jù)量大，因此應(yīng)識別對業(yè)務(wù)有關(guān)鍵影響的數(shù)據(jù)元素，檢查和保證數(shù)據(jù)質(zhì)量。此外，在隱私方面，應(yīng)考慮社交數(shù)據(jù)的隱私保護(hù)需求，制定相應(yīng)政策，還要將大數(shù)據(jù)治理與企業(yè)內(nèi)外部風(fēng)險(xiǎn)管控需求建立聯(lián)系。
一、大數(shù)據(jù)治理包括哪些內(nèi)容
1、梳理業(yè)務(wù)流程，規(guī)劃數(shù)據(jù)資源
對于企業(yè)來說，每天的實(shí)時(shí)數(shù)據(jù)都會(huì)超過TB級別，需要采集用戶的哪些數(shù)據(jù)，這么多的數(shù)據(jù)放在哪里，如何放，以什么樣的方式放?這些問題都是需要事先進(jìn)行規(guī)劃的，需要有一套從無序變?yōu)橛行虻牧鞒蹋@個(gè)過程需要跨部門的協(xié)作，包括了前端、后端、數(shù)據(jù)工程師、數(shù)據(jù)分析師、項(xiàng)目經(jīng)理等角色的參與。
2、ETL采集、去重、脫敏、轉(zhuǎn)換、關(guān)聯(lián)、去除異常值
前后端將采集到的數(shù)據(jù)給到數(shù)據(jù)部門，數(shù)據(jù)部門通過ETL工具將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程，目的是將散落和零亂的數(shù)據(jù)集中存儲(chǔ)起來。
3、大數(shù)據(jù)高性能存儲(chǔ)及管理
這么多的業(yè)務(wù)數(shù)據(jù)存在哪里?這需要有一高性能的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，在這套系統(tǒng)里面將數(shù)據(jù)進(jìn)行分門別類放到其對應(yīng)的庫里面，為后續(xù)的管理及使用提供最大的便利。
4、即時(shí)查詢、報(bào)表監(jiān)控、智能分析、模型預(yù)測
數(shù)據(jù)治理的最終目的就是輔助業(yè)務(wù)進(jìn)行決策，前面的三個(gè)方面都是為最終的查詢、分析、監(jiān)控做鋪墊。這個(gè)階段就是數(shù)據(jù)分析師的主場，分析師們運(yùn)用這些標(biāo)準(zhǔn)化的數(shù)據(jù)可以進(jìn)行即時(shí)的查詢、指標(biāo)體系和報(bào)表體系的建立、業(yè)務(wù)問題的分析，甚至是模型的預(yù)測。
二、大數(shù)據(jù)治理關(guān)鍵要素
1、明確數(shù)據(jù)治理責(zé)任，建立數(shù)據(jù)治理組織
數(shù)據(jù)出了問題，到底是誰的責(zé)任?因?yàn)閿?shù)據(jù)主要是IT系統(tǒng)產(chǎn)生的，所以一直以來，解決數(shù)據(jù)問題都被認(rèn)為是IT部門的職責(zé)。而IT部門也飽受其苦，數(shù)據(jù)定義和業(yè)務(wù)規(guī)則，業(yè)務(wù)部門最清楚;數(shù)據(jù)錄入，業(yè)務(wù)人員負(fù)責(zé);數(shù)據(jù)使用，業(yè)務(wù)人員是用戶;數(shù)據(jù)考核，業(yè)務(wù)部門有權(quán)力……但實(shí)際上，要切實(shí)解決數(shù)據(jù)問題，開展數(shù)據(jù)治理工作，就必須先清楚一點(diǎn)：數(shù)據(jù)治理，是業(yè)務(wù)部門和IT部門共同的職責(zé)。
2、管理出成效，制度是保障
大數(shù)據(jù)治理需要管理和制度的有力支撐，可結(jié)合企業(yè)的現(xiàn)狀，制定相應(yīng)的管理辦法、管理流程、認(rèn)責(zé)體系、人員角色和崗位職責(zé)等，頒布相關(guān)的數(shù)據(jù)治理的企業(yè)規(guī)章制度等。
3、數(shù)據(jù)規(guī)范
數(shù)據(jù)規(guī)范是指對企業(yè)核心數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標(biāo)準(zhǔn)，為評估企業(yè)數(shù)據(jù)質(zhì)量，并且為手動(dòng)錄入、設(shè)計(jì)數(shù)據(jù)加載程序、更新信息以及開發(fā)應(yīng)用軟件提供的約束性規(guī)則，數(shù)據(jù)規(guī)范一般包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)。
4、數(shù)據(jù)治理活動(dòng)，理論結(jié)合實(shí)踐
數(shù)據(jù)治理活動(dòng)是指為實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值的獲取、控制、保護(hù)、交付以及提升，對數(shù)據(jù)規(guī)范所做的計(jì)劃、執(zhí)行和監(jiān)督工作，一般包括以下活動(dòng)。
1）數(shù)據(jù)質(zhì)量管理，指通過計(jì)劃、實(shí)施和控制活動(dòng)，運(yùn)用質(zhì)量管理技術(shù)度量、評估、改進(jìn)和保證數(shù)據(jù)的恰當(dāng)使用;
2）數(shù)據(jù)架構(gòu)管理，用于定義企業(yè)數(shù)據(jù)需求，設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)需求的主要藍(lán)圖，通常包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、數(shù)據(jù)集成架構(gòu)等;
3）數(shù)據(jù)安全管理，指通過計(jì)劃、制定并執(zhí)行數(shù)據(jù)安全政策和措施，為數(shù)據(jù)和信息提供適當(dāng)?shù)恼J(rèn)證、授權(quán)、訪問和審計(jì);
4）參考數(shù)據(jù)和主數(shù)據(jù)管理，指通過計(jì)劃、實(shí)施和控制活動(dòng)，達(dá)到保證參考數(shù)據(jù)與主數(shù)據(jù)的一致性。
5）元數(shù)據(jù)管理，指通過計(jì)劃、實(shí)施和控制活動(dòng)，以實(shí)現(xiàn)輕松訪問高質(zhì)量和整合的元數(shù)據(jù);
5、數(shù)據(jù)治理工具
利用
數(shù)據(jù)治理軟件主要解決企業(yè)不同來源數(shù)據(jù)集成過程中遇到的問題，需要數(shù)據(jù)治理軟件能夠?yàn)槠髽I(yè)提供統(tǒng)一的元數(shù)據(jù)集成、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)分析服務(wù)等能力。
