- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2023-05-16來源:無條件瀏覽數:162次
一次是宕機取數的經歷:
很久以前當我們的數據倉庫還是IBM DB2的時候,曾經經歷過2次宕機,第一次記得是系統日志出現了不一致導致數據庫無法啟動,后來聯系了國外研發把日志那個環節跳過了才拉起來,躲過一劫;第二次是DB2 的一個序列號TMD滿了,直接躺倒,這是我所經歷過的最黑暗的時候。為了保障生產,我們臨時啟用應急庫,要重跑近幾天的所有數據,在這個過程中,所有的腳本都要手動調起,很多SQL腳本還要臨時寫,但越是到這種時候,就越容易出錯。我清晰的記得當時要緊急跑出當天的數據以便滿足考核上報的要求,有位半新手的同事(其他同事去忙著恢復其他的表去了)直接針對一張海量的數據表進行了del操作,導致數據庫直接回滾,所有人的工作都被迫停止,只能傻傻的等著回滾結束......。準確的取數能力就是直接的運維生產力。
一次是營銷取數的經歷:
對于運營商來講,最大的產品就是資費套餐,每次新推出資費套餐的時候,市場部門都會做嚴謹的資費預言測試,看看新推出套餐后對于收入、業務量的影響,這種取數一向以復雜、綜合難度高著稱,因為會涉及各類表的關聯交叉分析,包括賬單,話單及訂購等等,而且市場營銷人員對于數據的敏感性是非常高的,你取出來的結果跟他們的直接判斷如果有較大的差異,就會要求反復核實,很多時候的確是溝通或取數中出現了問題。筆者記得當時的主管派我去談一個資費測算取數,對我來說,這是一次旅程碑式的取數,因為自己是第一次面對市場部的主管和品牌經理,面對幾十張測算表格,每個表格人家都會問基于這個口徑能不能取,要多長時間才能完成諸如此類,筆者還是頂住了。準確的取數能力就是營銷決策的生產力。筆者有很多年的取數生涯,現在則有機會帶著一只年輕的數據團隊去做更多的事情,而疫情期間的數據支撐,則算是一次取數的大考,牛鬼蛇神,大家都拉出來溜溜。而這期間發生的事情,則讓我重新反思取數的價值,特別是關于取數人才的看法,這也是我寫這篇文章的原因。
中移信息技術最近發了篇公眾號文章《中國移動:發揮大數據優勢支撐疫情防控精準施策》,提到中國移動按照工信部統一部署積極發揮通信行業大數據優勢,著力加強大數據分析,開展疫情態勢分析及預警預測,支撐疫情防控科學決策和精準施策。“第一,加強統籌協調,組建疫情防控大數據分析支撐團隊。成立超過300人的集團、省公司聯合保障團隊,嚴格7*24 小時大數據分析應急值守。第二,夯實技術基礎,強化智慧敏捷響應。運營全網集中化大數據平臺,實現對全網信令數據的統一采集、分析處理,確保大數據分析安全、及時、準確、可靠;打造智慧中臺,截至目前敏捷響應各級政府部門400 余次數據分析需求....."中國移動副總經理簡勤這么介紹。自己有幸參與其中,在《面對疫情,理性的思考,我的生活和工作更要繼續!》一文中也曾經講過自己團隊的支撐情況:“累計投入超XXX人天,多位同事連續多日通宵奮戰,多位骨干人均每日支持時長超18小時,有效保障了業務連續不中斷,疫情數據及時交付......” 這也是中國移動各省公司所有大數據團隊的一個縮影。但要把數據支撐工作做好其實很不容易,因為在關鍵時候,需求往往是模糊的,但對數據的及時性、準確性要求又特別高。它會打破一切的所謂的規矩,比如為了保障數據質量制定的機制和流程,每個取數者要面對的就是白刃戰,為最終數據的準確性負責。“必需在20點交付、必需在22點交付、必需在2:00交付,必需在4:00交付......",這些命令對于一個管理者來說是很慌的,你現在唯一能依靠的就是你的團隊和成員,只有他們才能對抗不確定性。而團隊中的取數大師就像一把玄鐵劍,最關鍵時刻總是能夠一錘定音,準確的理解業務意圖,樸實的把數據準確的取出來,幫你渡過難關,這是筆者在這次“數據會戰”中很大的感受。在大數據創新如火如荼的今天,現在一提到大數據首先想到的大概是數據分析師、算法工程師、研發工程師、產品經理這些有光環的崗位,伴隨這些崗位的都是是金字塔式的PPT、高大上的算法、牛逼的計算引擎、炫酷的產品、宏大的數據工程等等。那些只會取數的數據從業者似乎都要被遺忘了,甚至筆者這么一個取數出生的管理者,做了大數據以后也開始會想:取數成就不了一個職業,取10000個數還不如寫個數據分析報告有用。滄海橫流,方顯英雄本色,每一個管理者都會在困境中重新領悟這句話的真諦,到底誰是數據團隊的中流砥柱?
取數大師應有一席之地。
術業有專攻,筆者并不覺得其他崗位有什么問題,而是覺得在大數據創新的過程中,我們對于取數這種基礎工作可能有了些忽視,傾向于做看得到的東西,而忽視了看不到的東西,在資源有限的情況下,這種問題會變得越發明顯,長期以往則會動搖數據團隊的根基。那么,為什么取數對于企業如此重要?因為取數(報表也是取數的一種)是企業運營的一個基礎,為了維持企業正常運轉,再小的企業也需要做出四張報表:利潤表、資產負債表、現金流量表及所有者權益變動表。如果企業要做營銷,還必須通過取數來做營銷分析、監控和評估,諸如此類太多了。我們也許可以不需要BI、數據分析、數據產品甚至數據平臺,這些都是從1到N,而取數決定了能否從0到1。即使再從1到N的過程中,取數也是所有BI、數據分析、數據產品乃至數據平臺的基礎。這個基本面決定了大多數的數據從業者實際都在從事取數的相關工作。
取數的挑戰又在哪里?
當然是千方百計來確保數據準確性(一致性、及時性等等都算是),因為數據只有準確才能反映現實,才能滿足洞察、決策、營銷、風控等等的需要,否則就失去了意義。如何保證取數的準確性?平臺、機制和流程固然重要,但應該由誰來制定這些機制和流程?誰來執行這些機制和流程?在機制流程無法適應的情況下誰來應對取數的不確定性?企業有報表不假,但面對變化的市場,更需要的是定制化的取數,而要提高這些取數的質量,則需要有人能夠真正理解業務的意圖并把這些數據準確的提取出來。取數大師,則能夠攻堅克難,在關鍵時刻發揮出巨大價值。比如在上下游數據、省市數據、業財數據不一致的時候來解決問題,比如在疫情保障、機器宕機時刻能夠沉著的寫出腳本快速出數。如果一個團隊的取數能力強,數據質量其實不會是很大問題,很多時候雞同鴨講說不清楚,往往是因為大家都是半桶水而已。我們建了那么多的數據質量管理機制和流程,有時候不如安排一個取數大師來的那么有效,取數大師最能適應不確定性。機器也許能幫你自動完成80%,但剩下的關鍵的20%還得靠人。為什么會忽略取數人才?因為取數現在成為了企業運營的基礎設施,就像水、電、煤一樣普及,平時看不見就是最大的業績。取數者每天做的都是承上啟下的工作,技術領導面上看到的是技術突破或者系統上線,業務領導看到的則是業務量和收入,而取數人員的交付物既不是技術,也不是業務,而是中間的一堆數據,中間數據沒法對外發出自己的聲音。
取數能成就一門職業嗎?筆者現在的觀點是:簡單的取數無法成就一門職業,但取數大師可以。一件事情再不起眼,只要需求在哪里,你做到極致就有稀缺性,取數大師滿足這兩個條件,因此可以成就一門職業。以前筆者不太認可一直反復的做取數,是因為大多數人對于取數這個工種認知低了,做了2年就以為到了天花板。但由于取數的行業特性明顯,因此光會取數的取數大師對外的競爭力不強,因為取數對于純技能要求不高,它的稀缺性是針對所在的行業和企業說的,離開了這個背景,取數大師積累的系統、數據、人脈、業務優勢就大打折扣了。即使你沒有意愿成為取數大師,但作為數據從業者,也應該去了解取數,通過取數去培養數據的敏感性,這對于你從事其他數據類的崗位是有很大幫助的。
有句話說得好:沒有經歷過取數的數據從業者,不是完整的數據人生。那么,什么樣的人可以稱得上是取數大師?關于取數的話題筆者寫了很多文章,在《刻意練習,如何成為一名取數大師》一文中曾經解釋過如何成為取數大師。取數技能可以分解成業務理解、數據理解、系統理解、業務與數據映射、人際溝通、代碼編寫、工具使用、輸入輸出等組成部分,只有針對每個環節進行反復的練習及有效分析,針對不足之處進行專項提升,才能建立起強大的心理表征能力。接到一個取數需求,新人看到的是一堆文字描述,取數大師看到的是從業務術語表達出來的業務種類,每個業務種類對應的數據類別體系,每個數據類別體系能支撐的指標體系,不僅如此,大師還能一下看出這個需求有哪個點是某個數據類別體系不能單獨支撐的,必須基于數據類別的交叉關聯才能支撐,甚至更深一層,這個需求不是由當前的數據類別體系支撐的,必須映射到源系統的數據類別,層層深入。在幾秒中之內,取數大師就能判別這個需求能否支撐,有哪個點是存在歧義的,需要業務人員進一步澄清的,這個需求的支撐的難度如何,大概要花多少時間等等,取數大師甚至能夠猜到業務人員的真實意圖是什么,從而可以為業務人員提出更好的取數建議。胸有成竹這句成語就是強大心理表征能力的體現,提高水平與改進心理表征是相輔相成的,兩者不可偏廢,隨著水平的提升,表征也變得更加詳盡和有效,反過來使得人們可能實現更大程度的改進。取數大師實際就是數據領域的工匠,其專注于某一行業、針對這一行業的數據加工過程全身心投入,精益求精、一絲不茍的完成整個工序的每一個環節。關于取數筆者還寫過《如何避免成為一臺取數機器?》、《BI取數者的職業發展之路?》、《為什么BI取數這么難?》等系列文章,很多觀點現在看來還有些矛盾,大家可以自己體會。現在高大上的平臺、算法、產品等文章滿天飛,但更能反應數據基本面的取數話題則寥寥無幾,說明了一定的問題。
管理者只有沉下心來,深刻反思很多數據問題所以發生的本質,才能清晰理解取數大師的真正價值,才能有意識的去培養取數人才,從而把數據的基礎工作做的更扎實一點,也才能讓上游的各類其它角色過得更舒服一點。