霸道妹子

2022-08-26

數(shù)據(jù)治理流程是從數(shù)據(jù)規(guī)劃、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存管理到數(shù)據(jù)應(yīng)用整個(gè)流程的無(wú)序到有序的過(guò)程，也是標(biāo)準(zhǔn)化流程的構(gòu)建過(guò)程。

根據(jù)每一個(gè)過(guò)程的特點(diǎn)，我們可以將數(shù)據(jù)治理流程總結(jié)為四個(gè)字，即“理”、“采”、“存”、“用”。




1.理：梳理業(yè)務(wù)流程，規(guī)劃數(shù)據(jù)資源

對(duì)于企業(yè)來(lái)說(shuō)，每天的實(shí)時(shí)數(shù)據(jù)都會(huì)超過(guò)TB級(jí)別，需要采集用戶的哪些數(shù)據(jù)，這么多的數(shù)據(jù)放在哪里，如何放，以什么樣的方式放？

這些問(wèn)題都是需要事先進(jìn)行規(guī)劃的，需要有一套從無(wú)序變?yōu)橛行虻牧鞒?，這個(gè)過(guò)程需要跨部門的協(xié)作，包括了前端、后端、數(shù)據(jù)工程師、數(shù)據(jù)分析師、項(xiàng)目經(jīng)理等角色的參與。

2.采：ETL采集、去重、脫敏、轉(zhuǎn)換、關(guān)聯(lián)、去除異常值

前后端將采集到的數(shù)據(jù)給到數(shù)據(jù)部門，數(shù)據(jù)部門通過(guò)ETL工具將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程，目的是將散落和零亂的數(shù)據(jù)集中存儲(chǔ)起來(lái)。

3.存：大數(shù)據(jù)高性能存儲(chǔ)及管理

這么多的業(yè)務(wù)數(shù)據(jù)存在哪里？這需要有一高性能的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，在這套系統(tǒng)里面將數(shù)據(jù)進(jìn)行分門別類放到其對(duì)應(yīng)的庫(kù)里面，為后續(xù)的管理及使用提供最大的便利。

4.用：即時(shí)查詢、報(bào)表監(jiān)控、智能分析、模型預(yù)測(cè)

數(shù)據(jù)的最終目的就是輔助業(yè)務(wù)進(jìn)行決策，前面的幾個(gè)流程都是為最終的查詢、分析、監(jiān)控做鋪墊。

這個(gè)階段就是數(shù)據(jù)分析師的主場(chǎng)，分析師們運(yùn)用這些標(biāo)準(zhǔn)化的數(shù)據(jù)可以進(jìn)行即時(shí)的查詢、指標(biāo)體系和報(bào)表體系的建立、業(yè)務(wù)問(wèn)題的分析，甚至是模型的預(yù)測(cè)。