- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2023-04-17來源:流年的哀傷瀏覽數:464次
只有降低數據分析的使用門檻,降低一線業務人員使用數據的技術難度,加大數據分析人員自主用數的積極性,才能讓一線數據人員便捷高效地產出數據成果,提高產能。真正做到數據驅動業務,體現出數據的真正價值。

近日,招商銀行研發中心高級架構師陳翔,帶來《基于數據驅動的招行數字化應用實踐》主題分享,詳細介紹了招商銀行「圓方數據分析平臺」建設的前世今生。
從用戶痛點需求到“讓業務用起來”的企業價值,從平臺技術建設到運營推廣,從應用現狀到升級規劃,深度講解招商銀行領先的數據分析平臺建設經驗,為更多期望實現“數據驅動”的企業提供路徑參照。
以下為招商銀行研發中心高級架構師陳翔的演講實錄:
01. 讓業務用起來的企業價值
本次峰會的主題是“讓業務用起來”,我認為這個觀點背后隱含了兩個重要的事情:第一,你必須能夠通過某些手段解決用戶在用數過程中遇到的切實痛點;第二,這些解決用戶用數痛點的手段必須能夠讓用戶用數的門檻降下來,讓用戶用數更加方便,能夠快速敏捷的形成產出。
總而言之,業務要能夠自主的把數據用起來,一定是能夠感受到數據對他們的工作帶來了幫助和便利,甚至能夠直接提升他們工作的成效。從招行以前的實際用數場景來看,用戶用數的最主要痛點主要是以下幾個方面:
數據分散:數據太多太分散。想用的數據不知道在哪里,也不知道找誰要,并且數據的使用上還存在著一些“豎井”的現象;
手工數據:以往一線業務用戶更習慣使用Excel工具來進行數據分析工作,數據散落在不同的Excel文件里,很難進行安全以及數據質量的管控,以及復用和共享;
迭代更新慢:以往報表開發的工作模式是IT根據業務需求進行報表制作,銀行的業務特點是數據口徑復雜多樣,需求更新變化快、多,IT很難快速響應業務的變化;
取數過程曲折:數據要流轉到真正用數的同事手中,面臨了各種各樣的障礙,比如技術門檻高、數據申請流程長、溝通成本高,總之就是過程太長,耗時耗力。
意識到存在這些問題后,招商銀行在2018年開始打造一整套面向分行的IT和業務用戶自主用數的平臺和工具,內部稱之為「分行數據云」,助力全行用戶在數據分析方面全流程實現低門檻、可視化、全自助,讓業務真正把數據用起來。
02. 圓方平臺的前世今生
圓方平臺的建設過程也很曲折。招行其實從很早以前就有建設數據倉庫和大數據平臺,但主要是面向總行級的部門和團隊使用,招行分行一線業務中臺人員其實很難享受到技術帶來的變革和創新。44家分行各自建設以及運維本地的數據倉庫,總行在ACS私有云的支持下,構建了一整套面向分行的大數據云化服務,作為全部44家分行統一的核心數倉定位存在。 在2018年規劃整個分行數據云服務的初期,我們也和很多分行進行過調研和溝通。分行用數普遍存在一些共性的痛點,比如業務人員無法自主用數,缺乏完整的、體系化的一體化數據開發平臺等等。基于這些背景,總行架構管理團隊研究了大數據領域的發展趨勢,且正好趕上招行自己內部私有云建設的時機,適時地提出了大數據云化這樣一條創新服務的模式。 「分行數據云」項目從2018年11月啟動以后,經過9個月的建設過程,第一版于2019年8月上線,并在2020年3月進行了全行推廣使用。在接下來的兩年多的持續迭代過程中,活躍用戶數已經超過4萬人,基本實現了數據平民化的使用,也說明一線人員對于“自主用數”這種模式的認可。
03. 數字化平臺介紹
前面簡單介紹了招行數據云的建設歷程,接下來將具體分享一下數據云平臺是如何做到讓業務自主用數的。
通過「分行數據云」,我們為分行提供了高效便捷的用數體驗,圓方平臺更成為了分行數據工作的主戰場。目前:
平臺月活用戶數已經達到4.2萬規模;
平臺在分行的滲透率達到80%;
月均訪問次數600萬+。
回過頭再來看看以往的用數模式,經過用戶的申請,然后審批提數,最后才能到業務人員手中進行數據分析工作。而現在業務人員自主在平臺上進行數據分析工作,已經完全擺脫了以往流程上的一些束縛,效率大大提升。據我們統計,一項數據分析工作從以前的平均5個工作日縮減到了目前的1個小時。
在平臺的技術建設方面,我們主要關注到以下四個方面:
技術架構:以大數據的開源組件Spark為核心,構建了一整套可擴展的技術架構,通過多實例部署,實現圓方平臺的高可用;利用ClickHouse的核心技術,打造了極致的查詢體驗,目前平臺上面93%的查詢能夠在3秒內完成。
平民用數:實現拖拉拽式的ETL以及數據分析,所見即所得,大大降低了用戶的用數門檻。實現多終端適配,支持移動應用免APP的部署,降低用戶側產出的難度。實現了通過訂閱和預警有效觸達一線用戶,實現數據分析全鏈路的內容資產化,降低用戶在數據分析各個環節的使用門檻。
開放融合:支持多種類型的數據源接入,支持通過數據API服務賦能下游應用,從而拓展更多的使用場景。我們對接了分行常用的一些數據應用,并且支持外部的系統對于產品功能進行封裝和融合,打通了數據支持應用的一個通道。
安全管理:滿足多場景的數據分發需求,滿足多網段數據使用的安全需求,集成了行內的安全審批各項流程。
能達到全部分行全面自主用數的目標,光有平臺我們覺得是不夠的。在這幾年的推廣工作的過程中,我們深刻意識到隨著平臺的不斷推廣,數據使用的需求不斷增多,我們需要幫助用戶更快速的成長,獲取對應的數據分析技能,提升用戶的數字化思維,同時也能夠幫助用戶快速解決數據分析工作中的各類問題。
為此,我們專門投入了運營資源,希望通過對分行的運營支持工作全面統籌,協調規劃分行在用數方面的痛點、問題、訴求和解決方案。通過運營工作的推動,用戶個人單兵作戰能力以及數據協同能力不斷提升,切實解決了業務中臺人員自助分析數據的障礙,以及一線人員用數的障礙,形成了全行范圍內的用數文化,構建了數據驅動型的組織。
04. 未來展望
我們的平臺和運營工作進展到今天,其實感覺到后續的工作會更加艱巨。我們的目標也不僅僅是讓業務把數據用起來,還要讓業務把數據用好。因此,我們的平臺和服務將會在以下五個方面持續升級:
構建一站式平臺,端到端方案:從數據匯集到數據治理,到數據存儲,到可視化分析,到多終端平臺展現以及到訂閱分發,通過一個平臺一站式搞定。
可視化、零代碼:無論是數據處理還是可視化分析,還是頁面的展示邏輯,全部通過拖拽式的操作,所想即所見,所見即所得。
云原生,高性能:基于云原生架構,支持從單點到上千節點的超大集群的伸縮部署,滿足不同數據規模、不同數據時效的各類場景。
多終端適配,豐富場景支持:順應大數據技術的發展潮流,移動應用免APP部署,大中小屏幕快速適配。
走進業務,賦能業務:運營工作更加接地氣,更加貼近用戶的實際訴求,推動IT和業務的全面融合,賦能業務。
最后總結一下,只有降低數據分析的使用門檻,降低一線業務人員使用數據的技術難度,加大數據分析人員自主用數的積極性,才能讓一線數據人員便捷高效地產出數據成果,提高產能。真正做到數據驅動業務,體現出數據的真正價值。
下一篇:全面解析數據質量管理...