有朋友困惑于團隊報表取數(shù)太多的問題，跟我來探討提升的方法，這其實是大多數(shù)據(jù)團隊都會碰到的問題，原因無外乎以下幾個：

第一、市場變化很快，取數(shù)要跟著市場節(jié)奏走，這意味著響應(yīng)要盡量快，個性化程度卻很高

第二、取數(shù)屬于IT的后端，IT部門是企業(yè)的后端，也就是后端的后端，這種生態(tài)位讓取數(shù)團隊在企業(yè)中處于弱勢地位，比如IT可以以穩(wěn)定性、連續(xù)性為由制定一些業(yè)務(wù)不得不遵守的規(guī)矩，但數(shù)據(jù)團隊就很難，連續(xù)性無法成為數(shù)據(jù)團隊的理由

第三、取數(shù)對于大多數(shù)業(yè)務(wù)部門來講，不需要付出什么成本，業(yè)務(wù)人員只要在EXCEL上填幾個字段，發(fā)個郵件或起一張工單，就有一堆IT人員為你服務(wù)，叫我也拼命的提

當(dāng)然如果每次取數(shù)為企業(yè)創(chuàng)造的價值總是大于IT付出的成本，那取數(shù)肯定越多越好，但現(xiàn)實應(yīng)該不是這樣，可以做2個思想實驗。

第一個思想實驗：

想象你跟業(yè)務(wù)部門處在一個真實的市場環(huán)境中，你要求業(yè)務(wù)部門為每次取數(shù)付錢，你覺得他們能向公司申請到多少成本來支付這筆費用？業(yè)務(wù)部門一定不會為取數(shù)付出太多，他們會放棄可有可無的取數(shù)，并將費用投在對業(yè)務(wù)更有價值的地方。

第二個思想實驗：

假如你的取數(shù)團隊有10個人，讓2個人放棄取數(shù)去干一些不一樣的事情，比如開發(fā)，那這兩個人開發(fā)創(chuàng)造的價值能不能比取數(shù)更高呢？我相信一定可以，只是個人或管理不作為而已。

取數(shù)要提升效率，單位時間內(nèi)盡量做的多一點，但也要追求效能，因為做的太多，邊際效率會降低，機會成本卻很大，站在企業(yè)的角度講，數(shù)據(jù)團隊全去干取數(shù)了，就沒有機會去干其他更有價值的事情了，如果這個平衡未做好，對于企業(yè)就是實實在在的浪費。

我們不僅僅要追求取數(shù)速度，更要追求點取數(shù)的效能，這是我寫這篇文章的立足點。

提升取數(shù)效能的方法有很多，我這里總結(jié)了四個方面十二條策略，包括機制創(chuàng)新、人員優(yōu)化、組織革命、技術(shù)提升等等，大家可以結(jié)合自身的事情挑選一二嘗試之，但不要生搬硬套，因為每個公司的情況不一樣，比如有些公司IT很弱勢，管理的手段一般不好用，那就可以試試技術(shù)手段。

一、機制創(chuàng)新

第一條、建立標準取數(shù)流程

如果你們現(xiàn)在的取數(shù)流程還是線下為主，比如郵件往來啥的，一定要盡量把取數(shù)這個流程數(shù)字化，為什么？

1、沒有數(shù)字化就意味著拿不到取數(shù)流轉(zhuǎn)數(shù)據(jù)，沒有流轉(zhuǎn)數(shù)據(jù)就意味著沒法進行分析，沒法分析就無從談起取數(shù)的改善，假如某一天業(yè)務(wù)部門領(lǐng)導(dǎo)找你抱怨取數(shù)太慢，請先去看看實際的數(shù)據(jù)，也許根本不支持這種觀點，你卻很容易被忽悠。

2、在線化后能夠提升取數(shù)需求的質(zhì)量，因為可以強制業(yè)務(wù)人員填寫一些必需的信息，比如背景、口徑、分類等等，這提升了規(guī)范性，同時增加審批環(huán)節(jié)后也是對業(yè)務(wù)人員的一種約束，至少不能亂提。在取數(shù)小作坊的年代，取數(shù)需求怎么提都可以，但規(guī)模大了就是不一樣，一定要標準化，規(guī)范化。

第二條、推動取數(shù)透明管理

取數(shù)流程數(shù)字化后，通過數(shù)據(jù)分析可以讓你和業(yè)務(wù)方知道取數(shù)的真實情況，能夠增加彼此的理解，促成雙方的有效協(xié)作，以下是一些透明化的做法：

1、取數(shù)一般分為需求分析、需求提交、需求審批、需求分配、取數(shù)開發(fā)、結(jié)果審核、結(jié)果上傳、結(jié)果下載等環(huán)節(jié)，但取數(shù)方和業(yè)務(wù)方對于取數(shù)的耗時可能有不同的理解。

業(yè)務(wù)方所謂的取數(shù)時長是端到端的，也就是從需求分析到結(jié)果下載的總耗時，因為他一般是站在領(lǐng)導(dǎo)的角度看問題；

而取數(shù)方計算的耗時一般是指從需求分配到結(jié)果上傳的總耗時，他是站在技術(shù)的角度看問題。

比如業(yè)務(wù)方從接收到任務(wù)到提交取數(shù)需求，花了整整一天，業(yè)務(wù)方如果把這個時間消耗算在了取數(shù)團隊，是不是不合理？業(yè)務(wù)領(lǐng)導(dǎo)審批就花了一天時間，如果把這個消耗也算在取數(shù)頭上，是不是也不合理？取數(shù)團隊明明昨天已經(jīng)上傳了結(jié)果，但業(yè)務(wù)方今天才下載結(jié)果，是不是更不合理？

信息不對稱導(dǎo)致了很多的誤解，取數(shù)團隊很容易背這個鍋，如果能清晰的告訴業(yè)務(wù)方真實的時間消耗，會發(fā)現(xiàn)取數(shù)慢既有技術(shù)的原因，也有業(yè)務(wù)的原因，這個時候取數(shù)效能提升就成了雙方共同的事情。

2、取數(shù)團隊同時服務(wù)的部門和業(yè)務(wù)人員往往很多，但每個部門和個人其實只關(guān)注自己需求的完成情況，取數(shù)一旦慢了就很難達成諒解，某業(yè)務(wù)人員會說，我只是提了一個取數(shù)需求，而且非常簡單，為什么要這么久？

如果取數(shù)團隊能將各個部門和個人的取數(shù)代辦清單和優(yōu)先排序結(jié)果甩給他們看，也許會得到一定的理解，至少業(yè)務(wù)人員在跟自己的領(lǐng)導(dǎo)匯報進度時也有個說辭：他們?nèi)?shù)的確很忙，你看其他部門的需求已經(jīng)排到下周了，要么領(lǐng)導(dǎo)你幫忙協(xié)調(diào)一下？

業(yè)務(wù)部門領(lǐng)導(dǎo)的面子很貴，他會權(quán)衡利弊來決策是否要跟取數(shù)團隊的領(lǐng)導(dǎo)做溝通，這樣就能避免一些緊急程度不太高的取數(shù)需求。

3、取數(shù)緊急是業(yè)務(wù)掛在嘴邊經(jīng)常說的事情，左一個領(lǐng)導(dǎo)要求，右一個領(lǐng)導(dǎo)要求，但取數(shù)是否緊急不能光看別人怎么說，還要看他是怎么做的，這個還是要用數(shù)據(jù)說話，請統(tǒng)計下業(yè)務(wù)人員取數(shù)結(jié)果及時下載的比例，相信你會對所謂的緊急有新的認識，至少經(jīng)驗告訴我，一旦你加急取好了，業(yè)務(wù)人員下載的動作可并不一定很快，有些甚至就從沒下載過。

取數(shù)團隊用取數(shù)的方式來支撐業(yè)務(wù)用數(shù)據(jù)說話，更要懂得用取數(shù)的方式來支撐自己用數(shù)據(jù)說話，否則就是知行不合一。

第三條、實施取數(shù)配額制度

公司給予的取數(shù)資源是有限的，一般取數(shù)團隊對于取數(shù)需求的管理方式還是比較粗獷的，誰先來就給誰先做，可能的結(jié)果就是對于公司不太重要的取數(shù)需求做了一堆，但特別重要緊急的取數(shù)需求支持倒不是特別給力，如果公司的取數(shù)規(guī)模大了，那么實施取數(shù)的預(yù)算分配制也是可以嘗試的。

這個流程跟投資預(yù)算啥的分配原則差不多，就是根據(jù)歷史年度的取數(shù)資源消耗計算出每個業(yè)務(wù)部門今年大致的額度，預(yù)留出部分動態(tài)資源，然后每個月通報下使用進度，超了就提醒一下，如果長期超過，雖然不能直接拒絕需求，但至少要讓業(yè)務(wù)知道并欠一份人情，等到向公司申請資源調(diào)整的時候，業(yè)務(wù)至少能幫說一下話，否則很難得到理解。

第四條、提升取數(shù)加急門檻

以前做取數(shù)的時候，觀察到業(yè)務(wù)系統(tǒng)運維側(cè)做的比較好的一點，就是雖然他們有嚴格的上線管控要求，比如一月上2次線，但緊急上線也是挺多的，很多是業(yè)務(wù)的要求，然而他們有個鐵律，就是凡是加急的上線，都需要開發(fā)或業(yè)務(wù)的領(lǐng)導(dǎo)出面，否則決不會開口子。

而數(shù)據(jù)團隊在這方面立的規(guī)矩就很少，沒什么擋取數(shù)需求的習(xí)慣，一方面可能跟取數(shù)反復(fù)迭代的特點有關(guān)系，另一方面也可能跟生態(tài)位有關(guān)系，但任何事情還是要有個度的，否則容易小鬼當(dāng)家，當(dāng)取數(shù)的資源沖突越來越大的時候，適當(dāng)提升取數(shù)的加急門檻是需要的，至少不要讓一個業(yè)務(wù)的小兵隨意的加急，否則取數(shù)團隊會被累死。

二、人員優(yōu)化

第五條、優(yōu)化關(guān)鍵接口人員

機制和流程是死的，人是活的，再好的機制和流程，在不同人手上發(fā)揮的作用也是不一樣的，一般取數(shù)團隊都會設(shè)置取數(shù)接口人，其會對取數(shù)工作進行統(tǒng)籌，但如果安排一個老好人去干這活，估計要累死三軍。

企業(yè)內(nèi)一般有權(quán)威文化，如果你這個人在專業(yè)上有發(fā)言權(quán)，那么別人對你會有信任度，這就少了很多扯皮的事情。就拿取數(shù)來講，業(yè)務(wù)人員如果問專家取數(shù)，專家說了能取就能取，不能取他也就死心了，但如果換做一個新兵，顯然應(yīng)對上就會差很多，業(yè)務(wù)人員這么試試那么試試的事情可多了。

令人遺憾的是，取數(shù)團隊的接口人，老好人性格的比較多，所謂服務(wù)意識好吧，不得罪人吧，數(shù)據(jù)團隊的leader一般也不會把專家或管理型人才放在取數(shù)團隊，取數(shù)顯得容易被人“欺負”，而業(yè)務(wù)方會提取數(shù)需求的往往是業(yè)務(wù)專家，或者比較強勢，這進一步“惡化”了取數(shù)團隊的環(huán)境。

第六條、激發(fā)人員自主創(chuàng)新

取數(shù)的不變是暫時的，而變化是永恒的，這是由市場決定的，當(dāng)前成熟的平臺、模型及流程在給取數(shù)人員帶來便利的同時，也是一種限制，比如新人一進取數(shù)團隊，我們可能就給他立了很多規(guī)矩，讓其很難越雷池一步。

寬表現(xiàn)在是大多數(shù)取數(shù)人員的救世主，但現(xiàn)在的很多取數(shù)人員，即使干了很多年，估計也很難有意識或有膽量去優(yōu)化工具、優(yōu)化寬表來提升響應(yīng)能力，有點想法的取數(shù)人員，估計做幾個月或一年就被調(diào)走去做什么產(chǎn)品、模型和分析去了。

取數(shù)人員要多思考下自身發(fā)展的可能性，在罵倉庫模型垃圾的同時看看能不能自主優(yōu)化，取數(shù)團隊的leader則要多鼓勵這些行為，試想如果沒有熟悉一線的取數(shù)人員的積極參與，倉庫模型怎么可能獲得提升？

三、組織革命

第七條、實施授人以漁制度

20年前，我們完成一個取數(shù)平均耗時3天，10年前降低為1天，現(xiàn)在估計1天能做幾十個取數(shù)了吧，但取數(shù)取得再快，業(yè)務(wù)也會提的更快，比如我們曾經(jīng)通過技術(shù)創(chuàng)新大幅提升了取數(shù)速度，這讓業(yè)務(wù)人員高興了一下，但馬上又有了新的期待。

靠傳統(tǒng)的需求支撐模式是永遠無法達到理想的彼岸的，因為市場是貪婪的，沒有最快，只有更快，在取數(shù)的平臺、數(shù)據(jù)、技術(shù)達到極限的時候，唯一能壓縮取數(shù)時間的就是減少溝通成本，那干脆就讓業(yè)務(wù)人員自給自足，自己最清這就是取數(shù)的“授人以漁”模式。

數(shù)據(jù)中臺成立后大大加速了這個過程，但這種模式一般只會發(fā)生在市場競爭最激烈的地方，發(fā)生在對數(shù)據(jù)最有想法的地方，同時需要有一點運氣，即導(dǎo)火索。

業(yè)務(wù)人員自己取數(shù)從技術(shù)角度來講是沒有任何問題的，SQL是個人都能掌握，關(guān)鍵是業(yè)務(wù)觀念的改變，數(shù)據(jù)人員的觀念也要發(fā)生變化，即“建數(shù)據(jù)中臺才是自己的本職工作”，而不是日復(fù)一日的取數(shù)。

這種模式是一種趨勢，傳統(tǒng)行業(yè)比較難，大多是時機未到，但做了的企業(yè)，可能就嘗到了甜頭，而且再也回不去了。

第八條、設(shè)置一線取數(shù)組織

“授人以漁”這種方式比較激進，那么退而求其次，在業(yè)務(wù)部門設(shè)置小IT也是一種降低溝通成本的做法。中臺推出后，“大中臺，小前臺”讓IT前置有了很多可能性，而小IT里，設(shè)置取數(shù)團隊是最常規(guī)的做法，作為業(yè)務(wù)部門自己的人員，他們緊貼業(yè)務(wù)，跟業(yè)務(wù)一起辦公，大幅提升取數(shù)效率是不言而喻的，這種模式在很多企業(yè)以不同的形式存在。

當(dāng)然這種小IT組織也有弊端，即取數(shù)人員的職業(yè)發(fā)展問題，其在IT技能上精進很難，卻也難成為業(yè)務(wù)部門重點發(fā)展對象，有些想法的取數(shù)人員可以轉(zhuǎn)崗做業(yè)務(wù)，那么其它人呢？

四、技術(shù)提升

第九條、加強取數(shù)模型提煉

現(xiàn)在都在提數(shù)據(jù)中臺，數(shù)據(jù)中臺最核心的東西就是融合模型，評估數(shù)據(jù)中臺是否好用的一種方法就是看對取數(shù)的支撐是否給力，有兩個指標可以來衡量：

第一個是取數(shù)支撐度，就是所有的取數(shù)中，直接利用融合模型支持的取數(shù)比例有多少，融合模型預(yù)計算了一些取數(shù)邏輯，理論上取數(shù)速度會大幅提升，如果取數(shù)還是要走基礎(chǔ)模型，那這種融合模型不要也罷。

第二個是取數(shù)復(fù)用度，就是融合模型被重復(fù)使用的平均次數(shù)，如果這個次數(shù)是1，那就說明模型沒有共享可言，這對計算資源的浪費是最多的。

取數(shù)團隊要與數(shù)據(jù)中臺團隊進行有效協(xié)同，取數(shù)作為輸入，數(shù)據(jù)中臺進行優(yōu)化，取數(shù)再進行評估，由此形成良性循環(huán)，這才是在技術(shù)層面提升取數(shù)效率的方法，很多數(shù)據(jù)團隊的取數(shù)和模型走的是兩條路，需要反思這個問題。

第十條、升級取數(shù)計算引擎

我一直希望取數(shù)團隊能扔掉HIVE，直接用sparkSQL，CK等數(shù)據(jù)庫來取數(shù)，這種直接吃技術(shù)紅利的方法簡單粗暴好用。

當(dāng)然更換計算引擎不是你想換就能換得，現(xiàn)實中有三個方面的挑戰(zhàn)：

第一，涉及到技術(shù)路線的選擇，周邊生態(tài)的配合、投資的計劃、時機的選擇、存量遷移的代價和人員技術(shù)棧更換等等復(fù)雜因素。

第二、很多取數(shù)團隊看到機會不會去抓，因為做生不如做熟，少點風(fēng)險最好，反正現(xiàn)在也能支持。

第三、很多取數(shù)團隊整天圍著業(yè)務(wù)走，早就忘了數(shù)據(jù)技術(shù)是怎么回事了，更別提統(tǒng)籌規(guī)劃技術(shù)路線了。

第十一條、提升取數(shù)自助能力

自助取數(shù)并不是新的概念，其通過固化指標和維度，并剛過拖拉鉆取的方式來完成一個取數(shù)。但自助取數(shù)跟取數(shù)市場化的特點是相沖突的，市場要求取數(shù)適應(yīng)變化，比如維度和指標都在變，而自助取數(shù)則要求不變，自助取數(shù)平臺就需要在這個夾縫中去尋找生存機會，這個夾縫的大小在不同的企業(yè)是不同的。

業(yè)務(wù)一線的工作以執(zhí)行為主，簡單的清單級取數(shù)比較高，變化也比較小，因此自助取數(shù)在基層會用得會好一點，但管理層級越高就越難支撐，因為往往涉及到復(fù)雜的統(tǒng)計，連人都想不清楚的事情，就不能奢望機器了。

但無論如何，自助取數(shù)對于提升一線取數(shù)效率肯定是有幫助的，至少它能激發(fā)使用需求。

第十二條、優(yōu)化取數(shù)開發(fā)體驗

PLSQL Developer這款Oracle數(shù)據(jù)庫管理軟件至今讓我念念不忘，因為取數(shù)體驗做的相當(dāng)不錯，但隨著Oracle退出大數(shù)據(jù)領(lǐng)域，這款軟件也逐步退出歷史舞臺。

我們需要在hadoop、MPP、流處理等復(fù)雜的技術(shù)棧上完成取數(shù)，在相當(dāng)長的時間內(nèi)沒能研發(fā)出一款能與之匹敵的取數(shù)產(chǎn)品，這極大的降低了取數(shù)的效率。

在剛開始用Hive的時候，以前用Oracle取數(shù)的同事就說取數(shù)體驗一下子從天堂掉到了地獄，至今仍然有少量的取數(shù)人員堅守在僅剩的幾臺Oracle機器上取數(shù)，他們寧可不厭其煩的去倒數(shù)。

為了提升使用體驗，我們?yōu)槿?shù)工具設(shè)置了專門的產(chǎn)品經(jīng)理后，才逐步解決問題，魔鬼都在細節(jié)中吧，作為數(shù)據(jù)團隊的leader，一定要親自體驗下自家大數(shù)據(jù)平臺的取數(shù)工具，這個對于取數(shù)生產(chǎn)力的影響實在太大了。

十二條策略講完了，當(dāng)然你可能還有其他的策略，但相信已經(jīng)不多了，個人的經(jīng)驗是：解決取數(shù)的問題，管理手段一般是優(yōu)先于技術(shù)手段的，不要就技術(shù)論技，數(shù)據(jù)團隊的leader必需身先士卒，如果你真的想解決問題。

從長遠來講，一個數(shù)據(jù)團隊沉迷于取數(shù)是不正常的，畢竟取數(shù)是邊際效益遞減的工作，符合2/8原則，你一年完成20%的取數(shù)跟完成100%，價值上區(qū)別不會很大，至少帶給領(lǐng)導(dǎo)的感知就是這樣，但如果這些取數(shù)資源能用來做一些更長遠的工作，比如報表優(yōu)化、數(shù)據(jù)分析、數(shù)據(jù)產(chǎn)品、數(shù)字化轉(zhuǎn)型等等，我想這是任何公司的領(lǐng)導(dǎo)都希望看到的。