在未從事企業(yè)數(shù)據(jù)治理之前,自己雖然已經(jīng)進(jìn)入了公司管理序列,但骨子里仍然是個(gè)技術(shù)人員,我對(duì)于繼續(xù)從事報(bào)表,取數(shù),bi,數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘等工作頗為自信。偶然的機(jī)會(huì)開(kāi)始做企業(yè)數(shù)據(jù)治理,才發(fā)現(xiàn)打開(kāi)了另一片天地,雖然只做了短短一年時(shí)間,但數(shù)據(jù)治理過(guò)程中帶給我的別樣的收獲,卻是以前的10年都難以獲得的,今天就跟大家聊一聊。
第一,跟頂尖人物學(xué)習(xí)
井底之蛙大家都聽(tīng)過(guò),但任何一個(gè)人任何時(shí)候,其實(shí)都處于井底之蛙狀態(tài),我們成長(zhǎng)的過(guò)程,就是不斷跳出一口井跳進(jìn)另一口更大井的過(guò)程。以前剛進(jìn)公司的時(shí)候,我從師傅身上學(xué),后來(lái)做取數(shù)報(bào)表了,就從業(yè)務(wù)人員身上學(xué),再后來(lái)做數(shù)據(jù)倉(cāng)庫(kù),則從項(xiàng)目經(jīng)理身上學(xué),再再后來(lái)做管理了,基本就不學(xué)了,因?yàn)檫@個(gè)時(shí)候,更多的是跟員工溝通,更多的是輸出而不是輸入。
企業(yè)數(shù)據(jù)治理跟數(shù)據(jù)技術(shù)工作有一個(gè)很大的不同,就是經(jīng)常要跟領(lǐng)導(dǎo)互動(dòng),因?yàn)槠髽I(yè)數(shù)據(jù)治理涉及到公司組織、機(jī)制、流程的變更,這意味著經(jīng)常要跟老板匯報(bào),接受指示,然后做事,然后再匯報(bào),如此周而復(fù)始,雖然壓力有點(diǎn)大,但潛移默化中會(huì)受到老板的影響,比如很多事以前自己不敢做,但老板就能給你一些勇氣,后來(lái)真做了,發(fā)現(xiàn)也不是想得那么困難。跟公司牛逼的人交流并獲得反饋糾正的機(jī)會(huì),機(jī)會(huì)還是很難得的,
很多人當(dāng)了領(lǐng)導(dǎo)一下子感覺(jué)氣質(zhì)都變了,格局變大,不能說(shuō)是突然的爆發(fā),而是周圍的環(huán)境發(fā)生了巨大的變化所致,有句俗話說(shuō)得好,你周邊人員的平均水平,基本就代表了你的水平,環(huán)境對(duì)于人的馴化還是非常厲害的。這讓我想起了進(jìn)化論,你不愿意跟著改變,就只能不進(jìn)則退。
第二、超越技術(shù)的束縛
以前剛接觸企業(yè)數(shù)據(jù)治理的時(shí)候,總覺(jué)得組織、機(jī)制和流程諸如此類的工作跟技術(shù)搭不上邊,挺抗拒這種虛頭巴腦的工作,甚至?xí)?dān)心會(huì)荒廢自己的專業(yè),這是每個(gè)技術(shù)人員轉(zhuǎn)型管理中都會(huì)碰到的挑戰(zhàn),我們往往只有一種武器,總想著用技術(shù)改變世界,“手里拿著錘子,看什么都像釘子”。
我雖然職務(wù)上已經(jīng)是管理人員,但其實(shí)還是技術(shù)人員的心,對(duì)外體現(xiàn)出來(lái)的工作方式就是對(duì)技術(shù)喜歡追根究底,但對(duì)管理就沒(méi)什么想法,跟著公司原有的節(jié)奏走吧,不大會(huì)提什么意見(jiàn)或建議,但從事了企業(yè)數(shù)據(jù)治理工作后還是發(fā)生了很多改變。
在推動(dòng)企業(yè)級(jí)數(shù)據(jù)治理組織建立過(guò)程中,我不得不深入的去研究華為的數(shù)據(jù)之道,DAMA中關(guān)于組織設(shè)置的建議,然后結(jié)合公司實(shí)際給出具體的方案,這讓我對(duì)于組織的力量有了更深的認(rèn)識(shí)。
我們以前從某領(lǐng)域采集數(shù)據(jù)溝通成本偏大,但當(dāng)企業(yè)數(shù)據(jù)治理組織建立后,領(lǐng)域的態(tài)度就發(fā)生了變化,因?yàn)槠髽I(yè)數(shù)據(jù)治理團(tuán)隊(duì)某種程度上代表了公司,這樣跨部門協(xié)同的效率就順暢了很多,開(kāi)句玩笑話,我們前5年為了跨部門數(shù)據(jù)采集所做的各種努力,還不如組織架構(gòu)成立幾個(gè)月后來(lái)得多,這何嘗不是一種生產(chǎn)力,組織架構(gòu)決定系統(tǒng)架構(gòu),也不是開(kāi)玩笑。
企業(yè)數(shù)據(jù)治理團(tuán)隊(duì)成立后,我順勢(shì)也調(diào)整了內(nèi)部的分組結(jié)構(gòu),從數(shù)據(jù)中臺(tái)中剝離出部分人員成立了新的數(shù)據(jù)治理組,同時(shí)調(diào)整合作伙伴等相關(guān)資源配置,通過(guò)大半年的努力,新的數(shù)據(jù)治理組已經(jīng)為數(shù)據(jù)團(tuán)隊(duì)開(kāi)辟出了一條新的跑道。
為了確保跨部門協(xié)同的成果能固化下來(lái),我們又不得不去考慮擬定相關(guān)制度,重新梳理相關(guān)流程,然后跟各個(gè)利益相關(guān)部門去談判,如此循環(huán),最后再落到系統(tǒng)層面,在這個(gè)過(guò)程中,我們必須去學(xué)習(xí)流程的梳理方法,能夠擬定流程梳理的模板,然后安排相關(guān)方去填充相關(guān)內(nèi)容,再?gòu)牧鞒讨邪l(fā)現(xiàn)不適合的環(huán)節(jié),然后給出精簡(jiǎn)的建議,比如通過(guò)開(kāi)放流程的優(yōu)化,我們將開(kāi)放時(shí)間縮減了很多,而這靠技術(shù)往往是解決不了的。
企業(yè)數(shù)據(jù)治理工作讓我體會(huì)到了組織、機(jī)制及流程的價(jià)值,現(xiàn)在會(huì)主動(dòng)去研究華為的流程管理,買了端到端流程管理的書(shū)來(lái)學(xué)習(xí),在我的書(shū)單中里又增加了一種新的類型。當(dāng)然組織和流程比技術(shù)復(fù)雜的多,畢竟前者是對(duì)著人,后者只是對(duì)著機(jī)器。
第三、理解中庸的藝術(shù)
很多年前突然有點(diǎn)喜歡上了國(guó)學(xué),其中有個(gè)關(guān)鍵詞叫中庸。
儒家的四書(shū)之一《中庸》這么解釋中庸,中庸不是什么平庸,更不是搞中間派,而是不偏不倚,極致完美的狀態(tài),《登徒子好色賦》說(shuō)那美人的臉蛋和皮膚“著粉則太白,施朱則太赤”,這才叫中庸。
老子的《道德經(jīng)》第四章也提到了類似的觀點(diǎn):“道沖,而用之或不盈。淵兮,似萬(wàn)物之宗。挫其銳、解其紛、和其光、同其塵。湛兮,似或存,吾不知誰(shuí)之子,象帝之先”
什么意思呢?
道是陰陽(yáng)兩者相互中和,其作用無(wú)窮無(wú)盡,其源深,淵博好像萬(wàn)物的宗主,它鋒芒不外露,解除紛憂,在光明之處便與光榮和,在塵垢之處便與塵垢同一。其深遠(yuǎn)幽暗好像無(wú)處不在。我不知它是從何而來(lái),在象帝之前便已存在。
這章的核心就在“沖”字,“沖”字,兩點(diǎn)一個(gè)中字,就是指陰陽(yáng)兩者的相互中和,也就是相輔相成,相互作用,相互轉(zhuǎn)化,形成動(dòng)態(tài)的、和諧的、共贏的世界,這其實(shí)就是中庸。
中庸代表了世界運(yùn)行的一種規(guī)律,我們不談太遠(yuǎn)的東西,就談數(shù)據(jù)技術(shù)吧,數(shù)據(jù)技術(shù)的發(fā)展也是一個(gè)分分合合的過(guò)程,最開(kāi)始數(shù)據(jù)是分散的,然后數(shù)據(jù)倉(cāng)庫(kù)出來(lái)搞集中,然后發(fā)現(xiàn)非結(jié)構(gòu)數(shù)據(jù)來(lái)了,然后數(shù)據(jù)湖再集中,現(xiàn)在發(fā)現(xiàn)無(wú)論是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖都太集中了,喪失了靈活性,然后數(shù)據(jù)倉(cāng)庫(kù)時(shí)代搞了個(gè)數(shù)據(jù)集市來(lái)中和,數(shù)據(jù)湖時(shí)代開(kāi)始提出數(shù)據(jù)編織的思想來(lái)搞更靈活的集中,數(shù)據(jù)網(wǎng)格則要搞領(lǐng)域驅(qū)動(dòng)的數(shù)據(jù)微服務(wù)。
企業(yè)級(jí)數(shù)據(jù)治理要做好,最大挑戰(zhàn)也在這中庸兩字。
現(xiàn)在很多企業(yè)的數(shù)據(jù)治理,都是奔著解決數(shù)據(jù)孤島問(wèn)題去的,但大家會(huì)發(fā)現(xiàn)要強(qiáng)行推行數(shù)據(jù)集中化,阻力非常大,效果也不一定能達(dá)預(yù)期。如果企業(yè)管控力很強(qiáng),數(shù)據(jù)的確集中了,但活力也沒(méi)了,大多企業(yè)則處于集中化的過(guò)程中,也都在糾結(jié)集中化的尺度。
我認(rèn)為合理的數(shù)據(jù)集中化,一定要回歸業(yè)務(wù)的初心,一定要具體問(wèn)題具體分析,一定是權(quán)衡利弊給出的中庸的結(jié)果,這是我在推進(jìn)企業(yè)級(jí)數(shù)據(jù)治理中的最大感受。
比如企業(yè)數(shù)據(jù)采集要不要集中,很多人肯定說(shuō)要集中啊,但答案是不一定。每個(gè)領(lǐng)域也有自己的子域,子域采集完后給領(lǐng)域歸集,企業(yè)級(jí)數(shù)據(jù)采集直接從領(lǐng)域采集也許效率更高。
但這意味著每個(gè)子域都要有自己的采集工具,企業(yè)如果不允許子域重復(fù)建設(shè),搞個(gè)核彈ETL團(tuán)隊(duì)去采集,可能會(huì)發(fā)現(xiàn)各種子域源端不適配,各種源端業(yè)務(wù)不理解,各種跟源端廠家的糾纏,那么到底誰(shuí)來(lái)為子域的采集效率負(fù)責(zé)?但如果仍然讓子域來(lái)建,是否就違背了集約化的原則?
因此,企業(yè)數(shù)據(jù)治理組織必須結(jié)合實(shí)際情況給出中庸的答案,比如讓領(lǐng)域有權(quán)利建ETL,但要領(lǐng)域自己收口,同時(shí)跟企業(yè)ETL數(shù)據(jù)字典打通,并且企業(yè)ETL要開(kāi)放能力給子域集成,從而在保持靈活性的同時(shí)發(fā)揮出集約化的價(jià)值,華為在數(shù)字化轉(zhuǎn)型之道中給出了服務(wù)化的解決方案,但服務(wù)化的實(shí)施難度其實(shí)很高,一不小心就搞成了形式主義。
又比如企業(yè)數(shù)據(jù)開(kāi)放中效率和安全的矛盾如何解決,肯定不會(huì)有絕對(duì)的方案,但一定有中庸的方案,怎么個(gè)中庸法呢?首先可以給數(shù)據(jù)分層分級(jí),不同的級(jí)別走不同的管理流程,其次有些審批可以去掉,改成事后審計(jì)或者事后報(bào)備,最后要求安全部門的KPI不僅要背安全指標(biāo),還要背數(shù)據(jù)開(kāi)放的效率指標(biāo),這樣大家成了利益共同體。
我們起步企業(yè)數(shù)據(jù)治理的時(shí)候,并沒(méi)有很好的理解這一點(diǎn),直接寫(xiě)集中化方案上會(huì),那就會(huì)有很多的爭(zhēng)議,后來(lái)發(fā)現(xiàn)別人說(shuō)得也在理,我們嘴上所說(shuō)的大道理,比如企業(yè)全局利益最大化,其實(shí)并沒(méi)有什么實(shí)際的依據(jù)。
隨著企業(yè)級(jí)數(shù)據(jù)治理工作的深入,我們也開(kāi)始學(xué)習(xí)從正反兩方面思考問(wèn)題,每次出數(shù)據(jù)治理的方案,無(wú)論是在啟動(dòng)時(shí)、過(guò)程中或者上會(huì)前,都會(huì)提前征集各部門的意見(jiàn),對(duì)反饋的意見(jiàn)進(jìn)行認(rèn)真研究和回復(fù)。
我就有幾次拉著雙方領(lǐng)導(dǎo)對(duì)齊意見(jiàn)的經(jīng)歷,其實(shí)大多的爭(zhēng)議都是信息不對(duì)稱造成的,這種信息不對(duì)稱一旦上會(huì)就只能靠老板一錘定音,但如果我這個(gè)牽線人能夠提前做出中庸的方案,讓雙方在底下就達(dá)成一致,我想企業(yè)的效率會(huì)更高一點(diǎn)。但要做到這點(diǎn)的確是很難的,因?yàn)槊總€(gè)局中的人都有自己的難處,或者,他們并不會(huì)無(wú)緣無(wú)故的信任你。
無(wú)論如何,企業(yè)數(shù)據(jù)治理讓我有機(jī)會(huì)(或者強(qiáng)迫我)去更多的理解別人的想法,每次調(diào)查研究后都會(huì)發(fā)現(xiàn),別人碰到的情況比你想像的要復(fù)雜的多,因此一定要有敬畏之心,多向領(lǐng)域?qū)W習(xí),不要太理想化,把握好那個(gè)中庸的尺度。
第四、從OLAP到OLTP
在推進(jìn)企業(yè)數(shù)據(jù)治理的過(guò)程中,我們接到了一個(gè)重大的主數(shù)據(jù)課題,即要實(shí)現(xiàn)A數(shù)據(jù)在各個(gè)領(lǐng)域的統(tǒng)一管理,公司要求建設(shè)主數(shù)據(jù)管理系統(tǒng),在整合歸集各領(lǐng)域A數(shù)據(jù)的基礎(chǔ)上,直接對(duì)接交易系統(tǒng)提供主數(shù)據(jù)服務(wù),這是一種比較激進(jìn)的主數(shù)據(jù)管理方式。
我們以前只做OLAP系統(tǒng),現(xiàn)在要負(fù)責(zé)OLTP系統(tǒng)建設(shè),而且比OLTP系統(tǒng)更OLTP,因?yàn)檫€要進(jìn)行跨域的主數(shù)據(jù)服務(wù)支持,復(fù)雜性超過(guò)了以往任何一個(gè)項(xiàng)目,為了達(dá)成這個(gè)目的,我們開(kāi)展了很多從0到1的工作,包括:
1、組建橫跨多個(gè)部門的項(xiàng)目團(tuán)隊(duì),涉及的各領(lǐng)域的業(yè)務(wù),技術(shù),架構(gòu)人員近幾十號(hào)人。
2、給出了主數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范,包括編碼、命名、字段等等。
3、給出了主數(shù)據(jù)的整合方法,包括采集、清洗、整合等等。
4、牽頭各部門進(jìn)行主數(shù)據(jù)涉及的所有業(yè)務(wù)流程的梳理,并對(duì)主數(shù)據(jù)錄入進(jìn)行了規(guī)范。
5、結(jié)合梳理的業(yè)務(wù)流程,調(diào)研了跟主數(shù)據(jù)相關(guān)的所有系統(tǒng),給出了服務(wù)子系統(tǒng)和分析子系統(tǒng)協(xié)同的集中化的主數(shù)據(jù)管理系統(tǒng)架構(gòu),同時(shí)針對(duì)外圍系統(tǒng)改造給出了標(biāo)準(zhǔn)化的接口規(guī)范。
6、給出了服務(wù)子系統(tǒng)和外圍各系統(tǒng)確保數(shù)據(jù)一致性的策略,同時(shí)給出了服務(wù)子系統(tǒng)的連續(xù)性、高可用保障的方案。
這個(gè)項(xiàng)目組織復(fù)雜,人員復(fù)雜,流程復(fù)雜,架構(gòu)復(fù)雜,系統(tǒng)復(fù)雜,數(shù)據(jù)復(fù)雜,后續(xù)運(yùn)營(yíng)估計(jì)更復(fù)雜,但依托于企業(yè)級(jí)數(shù)據(jù)治理組織,我們還是能真正的組織起來(lái)并進(jìn)行運(yùn)作,這些對(duì)于我來(lái)說(shuō)是一種難得的經(jīng)歷,更是一筆財(cái)富。
第五,與大家一起共舞
數(shù)據(jù)治理起步的時(shí)候雖然可以靠著建章立制推著往前走幾步,但這種推進(jìn)方式管理成本太高了,而且速度很慢,因?yàn)椴豢赡苁裁词虑槎挤诺脚_(tái)面上去匯報(bào),老板也沒(méi)那么多時(shí)間。
這個(gè)時(shí)候信任就很重要,比如關(guān)于數(shù)據(jù)開(kāi)放審批,如果A部門信任你,覺(jué)得交給你靠譜,就可以采取報(bào)備的方式,不信任你,就要審批,報(bào)批和報(bào)備,雖然僅一字之差,但效率差得很遠(yuǎn)。
企業(yè)數(shù)據(jù)治理創(chuàng)造了一個(gè)與各部門協(xié)同的舞臺(tái),這是大家形成信任關(guān)系的前提,但更重要的是以身作則,比如自己沒(méi)做好,就沒(méi)資格去要求別人。
1、每次匯報(bào)前,我們都要征求各部門意見(jiàn),由于是要上會(huì)的,大家一般都會(huì)比較重視,如果我們認(rèn)真的回答了問(wèn)題,就會(huì)潛移默化的影響別人對(duì)我們的態(tài)度。
2、每次匯報(bào)時(shí),大家都會(huì)交換意見(jiàn),而我們的表現(xiàn)都在潛移默化的影響別人的看法,比如你在會(huì)上總是邏輯嚴(yán)密,大家尊重你的意見(jiàn),那么下次別人跟你交流就會(huì)多一分尊重,如果你在會(huì)上總是用數(shù)據(jù)說(shuō)話,那下次別人跟你交流就會(huì)有更多的專業(yè)信任,如果你在會(huì)上總是主觀的判斷或猜測(cè),那就是很大的減分項(xiàng)。
3、每次匯報(bào)后,大家都要協(xié)商如何推進(jìn)相關(guān)工作,在這個(gè)過(guò)程中,我們一般會(huì)提供各種數(shù)據(jù)治理的工作指導(dǎo),比如提供數(shù)據(jù)盤(pán)點(diǎn)的模板,流程梳理的模板,解答工作推進(jìn)中的各種問(wèn)題,如果我們干的還不賴,那也會(huì)形成更多的信任關(guān)系。
企業(yè)數(shù)據(jù)治理讓我認(rèn)識(shí)了更多的同事,也讓更多的人認(rèn)識(shí)了我,正如我寫(xiě)文章給讀者一樣,如果我每次都很認(rèn)真的寫(xiě)和做,大家也會(huì)逐漸增加我的信用積分,當(dāng)積攢了足夠的信用積分后,很多的數(shù)據(jù)治理工作就能更順利的開(kāi)展。
往大了講,企業(yè)數(shù)據(jù)治理組織的使命就應(yīng)該是創(chuàng)造一個(gè)良好的數(shù)據(jù)生態(tài),大家都能從中獲取源源不斷的支持,而我們卻像不存在一樣,把自己做沒(méi)了就是最好的狀態(tài)。這有點(diǎn)像老子所說(shuō)的道,道生成了天地,天地?fù)嵊巳f(wàn)物,道對(duì)大家是不可見(jiàn)的,但卻是最長(zhǎng)生的。
第六,團(tuán)隊(duì)正在成長(zhǎng)
開(kāi)始做企業(yè)數(shù)據(jù)治理的時(shí)候,團(tuán)隊(duì)其實(shí)也沒(méi)什么人有經(jīng)驗(yàn),每次領(lǐng)導(dǎo)布置完工作,大家都有點(diǎn)慌,但團(tuán)隊(duì)里都是一群想干事的人,因此會(huì)想盡辦法的去解決問(wèn)題,我經(jīng)常正襟危坐的在那里分解工作,雖然有時(shí)也會(huì)感覺(jué)無(wú)助,但發(fā)現(xiàn)自己如果放下包袱,抱著學(xué)習(xí)的心態(tài)去做事,那么很多所謂的難事都只是自己的歷史給自己設(shè)置的包袱而已。
比如第一次辦公會(huì)開(kāi)完后要進(jìn)行企業(yè)數(shù)據(jù)目錄的梳理,然后需要我們盡快整理出梳理的模板以便各個(gè)部門能開(kāi)展工作,但這活其實(shí)我們自己也沒(méi)干過(guò),因此大家一起查找資料,一起討論,經(jīng)過(guò)2天的不停討論和修改,終于制定出了數(shù)據(jù)目錄梳理的四個(gè)模板,后面我們還總結(jié)出了“5-5-40”數(shù)據(jù)目錄盤(pán)點(diǎn)大法。
比如做主數(shù)據(jù)時(shí)需要進(jìn)行業(yè)務(wù)流程的梳理,我們必須先給出流程梳理的模板,否則各部門梳理的結(jié)果會(huì)很亂,然后我們就臨時(shí)抱佛腳的去研究以前一份公司的咨詢匯報(bào)材料,然后改良了一下,最后各部門基于這份模板梳理出了各個(gè)領(lǐng)域的業(yè)務(wù)流程,還是很清晰的,可以直接作為需求的輸入,這次梳理讓大家對(duì)于流程有了更深入的認(rèn)識(shí)。
比如由于所有決策都需要上會(huì),這對(duì)PPT的撰寫(xiě)提出了較高的要求,特別是參會(huì)的人員專業(yè)背景還不一樣,因此必須要用通俗的語(yǔ)言把一個(gè)復(fù)雜的事情用PPT的形式表述清楚。以前這類PPT大都是自己主刀,后來(lái)發(fā)現(xiàn)材料有點(diǎn)多,因此總結(jié)了寫(xiě)PPT的套路,鍛煉團(tuán)隊(duì)一起寫(xiě),現(xiàn)在大家在邏輯、表達(dá)上有了很大進(jìn)步,匯報(bào)成功后就會(huì)很開(kāi)心。
以前聽(tīng)別人說(shuō)起數(shù)據(jù)治理,總會(huì)提到老板不重視,沒(méi)人沒(méi)資源,成果不顯現(xiàn)等問(wèn)題,的確,這些靠個(gè)人是很難改變的,但一旦有機(jī)會(huì)去做就盡力而為吧,咱先不說(shuō)什么實(shí)現(xiàn)宏大的目標(biāo),但在這個(gè)做的過(guò)程中自身獲得的成長(zhǎng),比如有機(jī)會(huì)去實(shí)踐下流程梳理,就已經(jīng)很賺了。
(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)