霸道妹子

2022-08-26

大數(shù)據(jù)時(shí)代的到來(lái)，讓政府、企業(yè)看到了數(shù)據(jù)資產(chǎn)的價(jià)值，并快速開(kāi)始 探索 應(yīng)用場(chǎng)景和商業(yè)模式、建設(shè)技術(shù)平臺(tái)。但是，如果在大數(shù)據(jù)拼圖中遺忘了數(shù)據(jù)治理，那么做再多的業(yè)務(wù)和技術(shù)投入也是徒勞的，因?yàn)楹芙?jīng)典的一句話：Garbage in Garbage out。

當(dāng)你處理或使用過(guò)大量數(shù)據(jù)，那么對(duì)“數(shù)據(jù)治理”這個(gè)詞你一定不會(huì)陌生。你會(huì)思考數(shù)據(jù)治理是什么？數(shù)據(jù)治理是否適合你？如何實(shí)施。簡(jiǎn)單來(lái)說(shuō)，數(shù)據(jù)治理就是處理數(shù)據(jù)的策略——如何收集、驗(yàn)證、存儲(chǔ)、訪問(wèn)、保護(hù)和使用數(shù)據(jù)。數(shù)據(jù)治理也還包括誰(shuí)來(lái)查看，使用，共享你的數(shù)據(jù)。

隨著大數(shù)據(jù)時(shí)代的推進(jìn)，以上這些問(wèn)題日益突出，越來(lái)越多的企業(yè)依賴采集、治理、儲(chǔ)存和分析數(shù)據(jù)，并實(shí)現(xiàn)他們的商業(yè)目標(biāo)。數(shù)據(jù)變成了企業(yè)的盈利工具、業(yè)務(wù)媒介和商業(yè)機(jī)密。數(shù)據(jù)泄露會(huì)導(dǎo)致法律糾紛，還會(huì)令消費(fèi)者對(duì)公司的核心業(yè)務(wù)失去信心。

如果抱著僥幸的心理，讓各個(gè)業(yè)務(wù)部門自己管理數(shù)據(jù)，那么你會(huì)缺乏有效的數(shù)據(jù)管理，甚至各部門會(huì)自己做自己的。你無(wú)法想象各個(gè)部門按隨心所欲地自己生產(chǎn)、儲(chǔ)存、銷售產(chǎn)品。數(shù)據(jù)使用不當(dāng)就像庫(kù)存使用不當(dāng)一樣，會(huì)給企業(yè)造成沉重的損失。因此必須制定一項(xiàng)測(cè)量用以保證所需數(shù)據(jù)的有效和安全，可用性，這就是我們要談的“數(shù)據(jù)治理”。

數(shù)據(jù)治理策略必須包含完整的數(shù)據(jù)生命周期。策略必須包含從數(shù)據(jù)采集、清洗到管理，在這個(gè)生命周期內(nèi)，數(shù)據(jù)治理必須要有關(guān)注以下內(nèi)容：

數(shù)據(jù)從哪里來(lái)，數(shù)據(jù)怎么來(lái)

這是數(shù)據(jù)生命周期的起點(diǎn)。數(shù)據(jù)來(lái)源決定了數(shù)據(jù)治理策略的基礎(chǔ)。例如數(shù)據(jù)集的大小就由數(shù)據(jù)來(lái)源所決定。是從目標(biāo)市場(chǎng)、現(xiàn)存用戶和社交媒體收集數(shù)據(jù)？還是使用第三方收集數(shù)據(jù)或者分析你收集的數(shù)據(jù)？輸入數(shù)據(jù)流是什么？數(shù)據(jù)治理必須關(guān)注這些問(wèn)題，并制定策略來(lái)管理數(shù)據(jù)的采集，引導(dǎo)第三方處理他們收集的數(shù)據(jù)或者分析你收集的數(shù)據(jù)，控制數(shù)據(jù)的路徑和生命周期。

數(shù)據(jù)校驗(yàn)

通常數(shù)據(jù)源都是非常龐大且多樣的，這是一個(gè)讓數(shù)據(jù)管理者非常頭疼的問(wèn)題。將數(shù)據(jù)噪音和重要數(shù)據(jù)進(jìn)行區(qū)分僅僅只是開(kāi)始，如果你正從關(guān)聯(lián)公司收集數(shù)據(jù)，你必須確保數(shù)據(jù)是可靠的，對(duì)于那些幾萬(wàn)、幾十萬(wàn)、甚至成百上千萬(wàn)的復(fù)雜關(guān)系數(shù)據(jù)，單靠人為的通過(guò)Excel對(duì)進(jìn)行數(shù)據(jù)清洗已經(jīng)不太現(xiàn)實(shí)，需要專業(yè)的數(shù)據(jù)清洗工具或系統(tǒng)對(duì)海量復(fù)雜關(guān)系數(shù)據(jù)進(jìn)行批量查詢、替換、糾正、豐富以及存儲(chǔ)。將元數(shù)據(jù)、主數(shù)據(jù)、交易數(shù)據(jù)、參考數(shù)據(jù)以及數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)置固化到數(shù)據(jù)清洗工具或系統(tǒng)中，結(jié)合組織架構(gòu)、內(nèi)容管控、過(guò)程管控等管理機(jī)制、技術(shù)標(biāo)準(zhǔn)提高數(shù)據(jù)治理人員的工作效率。比如：需要手工編寫程序收集的元數(shù)據(jù)，系統(tǒng)幫你自動(dòng)獲取；需要人工識(shí)別或編寫代碼實(shí)現(xiàn)的數(shù)據(jù)質(zhì)量檢查，系統(tǒng)幫你自動(dòng)識(shí)別問(wèn)題；用文檔管理的數(shù)據(jù)字典，系統(tǒng)幫你在線管理；基于郵件和線下的流程，系統(tǒng)幫你線上自動(dòng)化。當(dāng)然，系統(tǒng)并不是萬(wàn)能的，數(shù)據(jù)治理的軟件工具與其他軟件工具一樣，沒(méi)有什么神奇之處，沒(méi)有數(shù)據(jù)治理人員的參與和數(shù)據(jù)治理工作的推進(jìn)，軟件再完美也無(wú)法完成數(shù)據(jù)治理整個(gè)過(guò)程。這也是為什么數(shù)據(jù)治理咨詢服務(wù)一直有其市場(chǎng)，以及為什么國(guó)內(nèi)大部分單純數(shù)據(jù)治理軟件項(xiàng)目未能達(dá)到預(yù)期目標(biāo)。

數(shù)據(jù)治理必須解決存儲(chǔ)問(wèn)題

而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)集的大小有密切關(guān)系。大數(shù)據(jù)的存儲(chǔ)必須是在安全的冗余系統(tǒng)之中。常常利用層次體系，根據(jù)使用頻率來(lái)存儲(chǔ)數(shù)據(jù)。這樣一來(lái)，昂貴的在線系統(tǒng)提供的是被頻繁請(qǐng)求的數(shù)據(jù)，而請(qǐng)求頻率較低的數(shù)據(jù)則存儲(chǔ)在便宜，可用率較低的系統(tǒng)上。當(dāng)然，一些請(qǐng)求頻率低但是敏感的數(shù)據(jù)如果存儲(chǔ)于安全性較低的系統(tǒng)上，風(fēng)險(xiǎn)會(huì)大大提升。因此，在制定數(shù)據(jù)存儲(chǔ)方案時(shí)，良好的數(shù)據(jù)治理策略必須考慮到方方面面的因素。

數(shù)據(jù)治理必須建立訪問(wèn)管理制度，在需求和安全性找到平衡點(diǎn)

明確訪問(wèn)者的權(quán)限，只能訪問(wèn)他們對(duì)應(yīng)權(quán)限包含的數(shù)據(jù)。只有合法請(qǐng)求才能夠訪問(wèn)數(shù)據(jù)，而敏感的數(shù)據(jù)需要更高的權(quán)限和更嚴(yán)密的驗(yàn)證才可以被訪問(wèn)。只向具有特定安全級(jí)別的用戶開(kāi)放。應(yīng)該對(duì)用戶和數(shù)據(jù)本身設(shè)置訪問(wèn)級(jí)別，管理賬戶時(shí)，應(yīng)與人力資源部和采購(gòu)部緊密互動(dòng)，這一點(diǎn)非常重要，因?yàn)檫@樣可以及時(shí)地使離職員工和停止合作的供應(yīng)商不再擁有訪問(wèn)權(quán)限。處理好這些細(xì)節(jié)以及確保數(shù)據(jù)所有權(quán)和責(zé)任，這是構(gòu)成完整的數(shù)據(jù)治理策略的一部分。

數(shù)據(jù)的使用/共享/分析

如何使用數(shù)據(jù)是數(shù)據(jù)治理之后一項(xiàng)重要的內(nèi)容，數(shù)據(jù)可能會(huì)用于客戶管理，提高客戶體驗(yàn)，投放定向廣告，用戶應(yīng)用系統(tǒng)初始化基礎(chǔ)數(shù)據(jù)工作，輔助應(yīng)用系統(tǒng)建設(shè)，提供市場(chǎng)分析和關(guān)聯(lián)公司共享數(shù)據(jù)。必須仔細(xì)界定哪些數(shù)據(jù)可用于共享或者用于營(yíng)銷，并保護(hù)它們免遭攻擊和泄露，因?yàn)閿?shù)據(jù)本來(lái)就應(yīng)該被用于純粹的內(nèi)部用途。讓用戶知悉采集數(shù)據(jù)的所有公司都會(huì)遵守?cái)?shù)據(jù)安全和保證的規(guī)定。能夠確保數(shù)據(jù)被合理合規(guī)的使用，也是數(shù)據(jù)治理重要的一項(xiàng)內(nèi)容。

收集、驗(yàn)證、存儲(chǔ)、訪問(wèn)和使用都是數(shù)據(jù)安全計(jì)劃的必要組成部分

收集、驗(yàn)證、存儲(chǔ)、訪問(wèn)和使用都是數(shù)據(jù)安全計(jì)劃的必要組成部分，必須要有一個(gè)全面的策略來(lái)解決這些問(wèn)題以及其他安全問(wèn)題。數(shù)據(jù)安全計(jì)劃必須是有效且可用性高，但是數(shù)據(jù)生命周期的所有部分都很容易受到攻擊和由于粗心造成的破壞。你必須在數(shù)據(jù)治理中確定數(shù)據(jù)安全計(jì)劃，包括訪問(wèn)控制，靜態(tài)數(shù)據(jù)，數(shù)據(jù)加工，數(shù)據(jù)傳輸之后的加密等。

管理/元數(shù)據(jù)

沒(méi)有管理的數(shù)據(jù)生命周期是不完整的。例如，將元數(shù)據(jù)應(yīng)用于一段數(shù)據(jù)，用來(lái)進(jìn)行識(shí)別檢索。元數(shù)據(jù)包含數(shù)據(jù)的來(lái)源，采集或生成的日期，信息訪問(wèn)的級(jí)別，語(yǔ)義分類及其他企業(yè)所必須的信息。數(shù)據(jù)治理能建立一個(gè)元數(shù)據(jù)詞匯表，界定數(shù)據(jù)的有效期。請(qǐng)注意數(shù)據(jù)也會(huì)過(guò)期，過(guò)期之后我們只能用于 歷史 數(shù)據(jù)的分析。

數(shù)據(jù)治理創(chuàng)建的過(guò)程中可能會(huì)在企業(yè)內(nèi)部遭到一些阻力，比如有的人會(huì)害怕失去訪問(wèn)數(shù)據(jù)的權(quán)限，而有些人也不愿意和競(jìng)爭(zhēng)者共享數(shù)據(jù)。數(shù)據(jù)治理政策需要解決上述問(wèn)題，讓各方面的人都可接受。習(xí)慣了數(shù)據(jù)筒倉(cāng)環(huán)境的公司，在適應(yīng)新的數(shù)據(jù)治理策略上面會(huì)有困難，但如今對(duì)大型數(shù)據(jù)集的依賴以及隨之而來(lái)的諸多安全問(wèn)題，使創(chuàng)建和實(shí)施覆蓋全公司的數(shù)據(jù)策略成為一種必然。

數(shù)據(jù)日益成為企業(yè)基礎(chǔ)設(shè)施的一部分，在企業(yè)一步步處理各種特定情況的過(guò)程中形成決策。它以一次性的方式作出，常常是對(duì)某一特定問(wèn)題的回應(yīng)。因此，企業(yè)處理數(shù)據(jù)的方法會(huì)因?yàn)椴煌块T而改變，甚至?xí)驗(yàn)椴块T內(nèi)部的不同情況而改變。即使每個(gè)部門已經(jīng)有一套合理的數(shù)據(jù)處理方案，但這些方案可能彼此沖突，企業(yè)將不得不想辦法協(xié)調(diào)。弄清數(shù)據(jù)存儲(chǔ)的要求和需求是一件難事，如果做得不好，就無(wú)法發(fā)揮數(shù)據(jù)在營(yíng)銷和客戶維系方面的潛力，而如果發(fā)生數(shù)據(jù)泄露，你還要承擔(dān)法律責(zé)任。

另外在大企業(yè)內(nèi)部，部門之間會(huì)展開(kāi)對(duì)數(shù)據(jù)資源的爭(zhēng)奪，各部門只關(guān)注自身的業(yè)務(wù)情況，缺乏全局觀念，很難在沒(méi)有調(diào)解的情況下達(dá)成妥協(xié)。

因此公司需要一個(gè)類似數(shù)據(jù)治理委員會(huì)的機(jī)構(gòu)，他的職責(zé)是執(zhí)行現(xiàn)有數(shù)據(jù)策略、挖掘未被滿足的需求以及潛在安全問(wèn)題等，創(chuàng)建數(shù)據(jù)治理策略，使數(shù)據(jù)的采集、管護(hù)、儲(chǔ)存、訪問(wèn)以及使用策略均實(shí)現(xiàn)標(biāo)準(zhǔn)化，同時(shí)還會(huì)考慮各個(gè)部門和崗位的不同需求。平衡不同部門之間存在沖突的需求，在安全性與訪問(wèn)需求之間進(jìn)行協(xié)調(diào)，確保最高效、最安全的數(shù)據(jù)管理策略。

建立數(shù)據(jù)治理委員會(huì)

負(fù)責(zé)評(píng)估各個(gè)數(shù)據(jù)用戶的需求，建立覆蓋全公司的數(shù)據(jù)管理策略，滿足內(nèi)部用戶、外部用戶甚至法律方面的各種需求。該委員會(huì)的成員應(yīng)該囊括各個(gè)業(yè)務(wù)領(lǐng)域的利益相關(guān)者，確保各方需求都得到較好地滿足，所有類型的數(shù)據(jù)所有權(quán)均得到體現(xiàn)。委員會(huì)也需要有數(shù)據(jù)安全專家，數(shù)據(jù)安全也是重要的一環(huán)。了解數(shù)據(jù)治理委員會(huì)的目標(biāo)是什么，這一點(diǎn)很重要，因此，應(yīng)該思考企業(yè)需要數(shù)據(jù)治理策略的原因，并清楚地加以說(shuō)明。

制定數(shù)據(jù)治理的框架

這個(gè)框架要將企業(yè)內(nèi)部、外部、甚至是法律層面的數(shù)據(jù)需求都納入其中。框架內(nèi)的各個(gè)部分要能夠融合成一個(gè)整體，滿足收集、清洗、存儲(chǔ)、檢索和安全要求。為此，企業(yè)必須清楚說(shuō)明其端到端數(shù)據(jù)策略，以便設(shè)計(jì)一個(gè)能夠滿足所有需求和必要操作的框架。

有計(jì)劃地把各個(gè)部分結(jié)合起來(lái)，彼此支持，這有很多好處，比如在高度安全的環(huán)境中執(zhí)行檢索要求。合規(guī)性也需要專門的設(shè)計(jì)，成為框架的一部分，這樣就可以追蹤和報(bào)告監(jiān)管問(wèn)題。這個(gè)框架還包括日常記錄和其他安全措施，能夠?qū)舭l(fā)出早期預(yù)警。在使用數(shù)據(jù)前，對(duì)其進(jìn)行驗(yàn)證，這也是框架的一部分。數(shù)據(jù)治理委員會(huì)應(yīng)該了解框架的每個(gè)部分，明確其用途，以及它如何在數(shù)據(jù)的整個(gè)生命周期中發(fā)揮作用。

數(shù)據(jù)測(cè)試策略

通常一個(gè)數(shù)據(jù)策略需要在小規(guī)模的商用環(huán)境中進(jìn)行測(cè)試，用來(lái)發(fā)現(xiàn)數(shù)據(jù)策略在框架，結(jié)構(gòu)和計(jì)劃上的不足之處并進(jìn)行調(diào)整，之后才能夠投入正式使用。

數(shù)據(jù)治理策略要與時(shí)俱進(jìn)

隨著數(shù)據(jù)治理策略延伸到新的業(yè)務(wù)領(lǐng)域，肯定需要對(duì)策略進(jìn)行調(diào)整。而且，隨著技術(shù)的發(fā)展，數(shù)據(jù)策略也應(yīng)該發(fā)展，與安全形勢(shì)、數(shù)據(jù)分析方法以及數(shù)據(jù)管理工具等保持同步。

明確什么是成功的數(shù)據(jù)策略

我們需要確立衡量數(shù)據(jù)治理是否成功的明確標(biāo)準(zhǔn)，以便衡量進(jìn)展。制定數(shù)據(jù)管理目標(biāo)，有助于確定成功的重要指標(biāo)，進(jìn)而確保數(shù)據(jù)治理策略的方向是符合企業(yè)需求。

無(wú)論企業(yè)大小，在使用數(shù)據(jù)上都面臨相似的數(shù)據(jù)挑戰(zhàn)。企業(yè)越大，數(shù)據(jù)越多，而數(shù)據(jù)越多，越發(fā)需要制定一個(gè)有效的，正式的數(shù)據(jù)治理策略。規(guī)模較小的企業(yè)也許只需要非正式的數(shù)據(jù)治理策略就足夠了，但這只限于那些規(guī)模很小且對(duì)數(shù)據(jù)依賴度很低的公司。即便是非正式的數(shù)據(jù)治理計(jì)劃也需要盡可能考慮數(shù)據(jù)用戶和員工數(shù)據(jù)的采集、驗(yàn)證、訪問(wèn)、存儲(chǔ)。

當(dāng)企業(yè)規(guī)模擴(kuò)大，數(shù)據(jù)需求跨越多個(gè)部門時(shí)，當(dāng)數(shù)據(jù)系統(tǒng)和數(shù)據(jù)集太大，難以駕馭時(shí)，當(dāng)業(yè)務(wù)發(fā)展需要企業(yè)級(jí)的策略時(shí)，或者當(dāng)法律或監(jiān)管提出需求時(shí)，就必須制定更為正式的數(shù)據(jù)治理策略。