有效
數(shù)據(jù)治理的6大原則?
如果你常常對數(shù)據(jù)準(zhǔn)確性而煩惱,大部分時間都用于處理數(shù)據(jù)而不是對業(yè)務(wù)進(jìn)行思考分析的話,那么你需要好好對數(shù)據(jù)進(jìn)行治理了。
一、為什么要進(jìn)行數(shù)據(jù)治理
不知道你是否有這樣的感受,看到數(shù)據(jù)后,一臉懵逼,不知道各個表和字段代表什么意思,再看看別的同事寫的SQL,一條SQL語句有幾百行,各種表關(guān)聯(lián),然后問了其中一個同事,他說“別提了,數(shù)據(jù)都不準(zhǔn),我快被數(shù)據(jù)折磨死了!”,此時你是不是“想死”!欲哭無淚……
究其背后的原因,是因?yàn)樨?fù)責(zé)的人只是問題使然,哪有問題哪里去補(bǔ),沒有整體的統(tǒng)籌規(guī)劃,一步錯,步步錯,數(shù)據(jù)最后是越來越重,查詢越來越復(fù)雜,數(shù)據(jù)準(zhǔn)確性還沒有人敢打保票,同時修復(fù)的難度也大大增加。
二、如何進(jìn)行數(shù)據(jù)治理
如果要想將數(shù)據(jù)治理好的話,需要遵循以下六大原則、合理制定數(shù)據(jù)中間表模型以及埋點(diǎn)采集到應(yīng)用全流程的把控。
1. 六大原則原則1:關(guān)鍵概念多方共識
關(guān)鍵概念若涉及多方,比如成交客戶的定義,要確保公司內(nèi)部和客戶相關(guān)的所有業(yè)務(wù)人員理解一致。
你或許會說,成交客戶還不好理解么,就是購買了我公司產(chǎn)品且簽署合同的用戶就是一個成交客戶,但是實(shí)際情況遠(yuǎn)非如此,筆者當(dāng)時處理該塊的業(yè)務(wù)時,問不同的業(yè)務(wù)人員得到的結(jié)果都不一樣,這樣就造成了數(shù)據(jù)指標(biāo)統(tǒng)計的歧義甚至數(shù)據(jù)的不準(zhǔn)確。
當(dāng)一個合同主體變換名稱(含工商注冊名稱變更、更換簽約公司等),那么這個客戶算一個成交客戶嗎?
同一個 集團(tuán)/公司 下,不同的 子公司/業(yè)務(wù)線/部門 用同一個名字簽署多個不同合同,屬于單個成交客戶還是多個成交客戶?
當(dāng)合同還在「待確認(rèn)」或未拿到合同編號時,如果客戶運(yùn)營人員已經(jīng)開始服務(wù)客戶,那么這個客戶算一個成交客戶嗎?……
原則2:某個類型的值經(jīng)常發(fā)生變動,則需要冗余一個通用字段冗余值
筆者是深受其害,以前每個月底都需要找開發(fā)、業(yè)務(wù)人員對一遍數(shù)據(jù),舉個例子:
查詢原始指標(biāo):soure_type為A,B的任務(wù)產(chǎn)出的金幣數(shù)額為消費(fèi)指標(biāo),SQL已針對該指標(biāo)做了類型篩選。某一天業(yè)務(wù)運(yùn)營人 員上線新的任務(wù),C類型的任務(wù)會貢獻(xiàn)金幣流水,但是開發(fā)未告知數(shù)據(jù)人員,導(dǎo)致原來的關(guān)鍵指標(biāo)數(shù)值出現(xiàn)差錯。
處理過數(shù)據(jù)的同學(xué)都知道,某個指標(biāo)的實(shí)現(xiàn)可能和其它幾個關(guān)鍵指標(biāo)相關(guān),那么該指標(biāo)的異常排查就需要逐個檢查是哪個相關(guān)指標(biāo)出問題了,查找到原因可能2,3天的時間就沒了,但如果事先開發(fā)人員冗余了一個通用字段代表該類消費(fèi)指標(biāo),那么后續(xù)不管業(yè)務(wù)人員上線多少個消費(fèi)類型的任務(wù),都不會對原來的指標(biāo)產(chǎn)生影響。
原則3:每個實(shí)體都有唯一、不變的ID,最好沒有實(shí)際意義
一是為了實(shí)體的唯一性,二是為了表關(guān)聯(lián)或更新時不受業(yè)務(wù)的影響。
原則4:涉及協(xié)作的數(shù)據(jù),發(fā)現(xiàn)問題要從修改源頭做起,保證下一次拿到正確的數(shù)據(jù)
協(xié)作的數(shù)據(jù)可以說是一個串聯(lián)的過程,源頭的數(shù)據(jù)會逐層影響下層的數(shù)據(jù),不要為了一時方便,只修改目前發(fā)現(xiàn)問題的地方,要從修改源頭做起,方便他人即方便自己。
原則5:編寫操作清單,操作前請三思
數(shù)據(jù)間存在關(guān)聯(lián),把數(shù)據(jù)間的關(guān)聯(lián)關(guān)系陳列清楚、注意事項(xiàng)標(biāo)注清楚,操作前一一核對,小數(shù)據(jù)量驗(yàn)證無錯后,大數(shù)據(jù)量執(zhí)行。
原則6:系統(tǒng)工程的方法管理數(shù)據(jù),盡可能使用系統(tǒng),監(jiān)控數(shù)據(jù)錯誤并及時修復(fù)。
將使用數(shù)據(jù)的相關(guān)方都畫在一張系統(tǒng)循環(huán)圖中,觀察數(shù)據(jù)錯誤產(chǎn)生于系統(tǒng)哪個環(huán)節(jié),如何影響后續(xù)各個環(huán)節(jié),避免惡性循環(huán)的產(chǎn)生。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)