近日，招商銀行研發(fā)中心高級架構師陳翔蒞臨觀遠數(shù)據(jù)2022智能決策峰會，帶來《基于數(shù)據(jù)驅動的招行數(shù)字化應用實踐》主題分享，詳細介紹了招商銀行「圓方數(shù)據(jù)分析平臺」建設的前世今生。從用戶痛點需求到“讓業(yè)務用起來”的企業(yè)價值，從平臺技術建設到運營推廣，從應用現(xiàn)狀到升級規(guī)劃，深度講解招商銀行領先的數(shù)據(jù)分析平臺建設經(jīng)驗，為更多期望實現(xiàn)“數(shù)據(jù)驅動”的企業(yè)提供路徑參照。以下為招商銀行研發(fā)中心高級架構師陳翔的演講實錄：

01. 讓業(yè)務用起來的企業(yè)價值

本次峰會的主題是“讓業(yè)務用起來”，我認為這個觀點背后隱含了兩個重要的事情：

第一，你必須能夠通過某些手段解決用戶在用數(shù)過程中遇到的切實痛點；

第二，這些解決用戶用數(shù)痛點的手段必須能夠讓用戶用數(shù)的門檻降下來，讓用戶用數(shù)更加方便，能夠快速敏捷的形成產出。總而言之，業(yè)務要能夠自主的把數(shù)據(jù)用起來，一定是能夠感受到數(shù)據(jù)對他們的工作帶來了幫助和便利，甚至能夠直接提升他們工作的成效。

從招行以前的實際用數(shù)場景來看，用戶用數(shù)的最主要痛點主要是以下幾個方面：

數(shù)據(jù)分散：數(shù)據(jù)太多太分散。想用的數(shù)據(jù)不知道在哪里，也不知道找誰要，并且數(shù)據(jù)的使用上還存在著一些“豎井”的現(xiàn)象；

手工數(shù)據(jù)：以往一線業(yè)務用戶更習慣使用Excel工具來進行數(shù)據(jù)分析工作，數(shù)據(jù)散落在不同的Excel文件里，很難進行安全以及數(shù)據(jù)質量的管控，以及復用和共享；

迭代更新慢：以往報表開發(fā)的工作模式是IT根據(jù)業(yè)務需求進行報表制作，銀行的業(yè)務特點是數(shù)據(jù)口徑復雜多樣，需求更新變化快、多，IT很難快速響應業(yè)務的變化；

取數(shù)過程曲折：數(shù)據(jù)要流轉到真正用數(shù)的同事手中，面臨了各種各樣的障礙，比如技術門檻高、數(shù)據(jù)申請流程長、溝通成本高，總之就是過程太長，耗時耗力。 意識到存在這些問題后，招商銀行在2018年開始打造一整套面向分行的IT和業(yè)務用戶自主用數(shù)的平臺和工具，內部稱之為「分行數(shù)據(jù)云」，助力全行用戶在數(shù)據(jù)分析方面全流程實現(xiàn)低門檻、可視化、全自助，讓業(yè)務真正把數(shù)據(jù)用起來。經(jīng)過幾年的發(fā)展，「圓方數(shù)據(jù)分析平臺」已經(jīng)成長為其中最重要的平臺之一。

02. 圓方平臺的前世今生

圓方平臺的建設過程也很曲折。招行其實從很早以前就有建設數(shù)據(jù)倉庫和大數(shù)據(jù)平臺，但主要是面向總行級的部門和團隊使用，招行分行一線業(yè)務中臺人員其實很難享受到技術帶來的變革和創(chuàng)新。44家分行各自建設以及運維本地的數(shù)據(jù)倉庫，總行在ACS私有云的支持下，構建了一整套面向分行的大數(shù)據(jù)云化服務，作為全部44家分行統(tǒng)一的核心數(shù)倉定位存在。 在2018年規(guī)劃整個分行數(shù)據(jù)云服務的初期，我們也和很多分行進行過調研和溝通。分行用數(shù)普遍存在一些共性的痛點，比如業(yè)務人員無法自主用數(shù)，缺乏完整的、體系化的一體化數(shù)據(jù)開發(fā)平臺等等。基于這些背景，總行架構管理團隊研究了大數(shù)據(jù)領域的發(fā)展趨勢，且正好趕上招行自己內部私有云建設的時機，適時地提出了大數(shù)據(jù)云化這樣一條創(chuàng)新服務的模式。 「分行數(shù)據(jù)云」項目從2018年11月啟動以后，經(jīng)過9個月的建設過程，第一版于2019年8月上線，并在2020年3月進行了全行推廣使用。在接下來的兩年多的持續(xù)迭代過程中，活躍用戶數(shù)已經(jīng)超過4萬人，基本實現(xiàn)了數(shù)據(jù)平民化的使用，也說明一線人員對于“自主用數(shù)”這種模式的認可。

03. 數(shù)字化平臺介紹

前面簡單介紹了招行數(shù)據(jù)云的建設歷程，接下來將具體分享一下數(shù)據(jù)云平臺是如何做到讓業(yè)務自主用數(shù)的。 通過「分行數(shù)據(jù)云」，我們?yōu)榉中刑峁┝烁咝П憬莸挠脭?shù)體驗，圓方平臺更成為了分行數(shù)據(jù)工作的主戰(zhàn)場。目前： 平臺月活用戶數(shù)已經(jīng)達到4.2萬規(guī)模； 平臺在分行的滲透率達到80%；月均訪問次數(shù)600萬+。

回過頭再來看看以往的用數(shù)模式，經(jīng)過用戶的申請，然后審批提數(shù)，最后才能到業(yè)務人員手中進行數(shù)據(jù)分析工作。而現(xiàn)在業(yè)務人員自主在平臺上進行數(shù)據(jù)分析工作，已經(jīng)完全擺脫了以往流程上的一些束縛，效率大大提升。據(jù)我們統(tǒng)計，一項數(shù)據(jù)分析工作從以前的平均5個工作日縮減到了目前的1個小時。

在平臺的技術建設方面，我們主要關注到以下四個方面：?

技術架構：以大數(shù)據(jù)的開源組件Spark為核心，構建了一整套可擴展的技術架構，通過多實例部署，實現(xiàn)圓方平臺的高可用；利用ClickHouse的核心技術，打造了極致的查詢體驗，目前平臺上面93%的查詢能夠在3秒內完成。?

平民用數(shù)：實現(xiàn)拖拉拽式的ETL以及數(shù)據(jù)分析，所見即所得，大大降低了用戶的用數(shù)門檻。實現(xiàn)多終端適配，支持移動應用免APP的部署，降低用戶側產出的難度。實現(xiàn)了通過訂閱和預警有效觸達一線用戶，實現(xiàn)數(shù)據(jù)分析全鏈路的內容資產化，降低用戶在數(shù)據(jù)分析各個環(huán)節(jié)的使用門檻。?

開放融合：支持多種類型的數(shù)據(jù)源接入，支持通過數(shù)據(jù)API服務賦能下游應用，從而拓展更多的使用場景。我們對接了分行常用的一些數(shù)據(jù)應用，并且支持外部的系統(tǒng)對于產品功能進行封裝和融合，打通了數(shù)據(jù)支持應用的一個通道。?

安全管理：滿足多場景的數(shù)據(jù)分發(fā)需求，滿足多網(wǎng)段數(shù)據(jù)使用的安全需求，集成了行內的安全審批各項流程。 能達到全部分行全面自主用數(shù)的目標，光有平臺我們覺得是不夠的。在這幾年的推廣工作的過程中，我們深刻意識到隨著平臺的不斷推廣，數(shù)據(jù)使用的需求不斷增多，我們需要幫助用戶更快速的成長，獲取對應的數(shù)據(jù)分析技能，提升用戶的數(shù)字化思維，同時也能夠幫助用戶快速解決數(shù)據(jù)分析工作中的各類問題。我們專門投入了運營資源，希望通過對分行的運營支持工作全面統(tǒng)籌，協(xié)調規(guī)劃分行在用數(shù)方面的痛點、問題、訴求和解決方案。通過運營工作的推動，用戶個人單兵作戰(zhàn)能力以及數(shù)據(jù)協(xié)同能力不斷提升，切實解決了業(yè)務中臺人員自助分析數(shù)據(jù)的障礙，以及一線人員用數(shù)的障礙，形成了全行范圍內的用數(shù)文化，構建了數(shù)據(jù)驅動型的組織。

04. 未來展望

我們的平臺和運營工作進展到今天，其實感覺到后續(xù)的工作會更加艱巨。我們的目標也不僅僅是讓業(yè)務把數(shù)據(jù)用起來，還要讓業(yè)務把數(shù)據(jù)用好。因此，我們的平臺和服務將會在以下五個方面持續(xù)升級：?

構建一站式平臺，端到端方案：從數(shù)據(jù)匯集到數(shù)據(jù)治理，到數(shù)據(jù)存儲，到可視化分析，到多終端平臺展現(xiàn)以及到訂閱分發(fā)，通過一個平臺一站式搞定。?

可視化、零代碼：無論是數(shù)據(jù)處理還是可視化分析，還是頁面的展示邏輯，全部通過拖拽式的操作，所想即所見，所見即所得。?

云原生，高性能：基于云原生架構，支持從單點到上千節(jié)點的超大集群的伸縮部署，滿足不同數(shù)據(jù)規(guī)模、不同數(shù)據(jù)時效的各類場景。?

多終端適配，豐富場景支持：順應大數(shù)據(jù)技術的發(fā)展潮流，移動應用免APP部署，大中小屏幕快速適配。?

走進業(yè)務，賦能業(yè)務：運營工作更加接地氣，更加貼近用戶的實際訴求，推動IT和業(yè)務的全面融合，賦能業(yè)務。 最后總結一下，只有降低數(shù)據(jù)分析的使用門檻，降低一線業(yè)務人員使用數(shù)據(jù)的技術難度，加大數(shù)據(jù)分析人員自主用數(shù)的積極性，才能讓一線數(shù)據(jù)人員便捷高效地產出數(shù)據(jù)成果，提高產能。真正做到數(shù)據(jù)驅動業(yè)務，體現(xiàn)出數(shù)據(jù)的真正價值。