- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-08-23來源:宛童瀏覽數:414次
治理需要做成常態化,之前啟動過數據治理專項,發現當時達到了治理目標,但是幾個月過后,數據成本等問題又出現了,其實這個過程只是做到了治標,但是沒有治本,我們要分析數據問題的根因,是資產建設不足、數據管控力度不夠還是治理意識不足?治理是一個持續性的過程,治理經驗需要有工具化平臺將治理能力落地成常態化機制。
企業在數據治理過程中會遇到各種難題,如數據規模大,加工復雜、風險相關數據對抗時效要求高等。在數據的使用過程中又會浮現復用難、重復建設多,以及數據劇增等情況,因而導致整體成本增長過快、數據管理難、安全生產突出…面對這些問題,螞蟻大安全也在不斷嘗試,尋找適合螞蟻大安全的數據治理方案和架構。
目前螞蟻大安全基于元數據體系建設及相關技術探索,在數據治理方面取得了一些收益和成效。InfoQ 采訪了螞蟻集團大安全大數據技術團隊數據架構及治理負責人康樹鵬,他就上述內容進行了分享,希望對你有所啟發。
與此同時,康樹鵬也會在 7 月 16 日深圳 ArchSummit 全球架構師峰會上分享更詳細的內容,歡迎關注。
InfoQ:在數據治理過程中,螞蟻集團主要存在哪些問題?康樹鵬:在我看來,螞蟻大安全的數據治理過程中,從成本治理角度,主要存在以下幾個問題,1、數據研發人員多,對成本及數據治理認知不一;2、螞蟻經過多年業務發展,數據復雜性極高;3、數據治理過程中,需要解決數據孤島等問題;4、數據治理底層基礎設施需不斷完善。
InfoQ:與電商類或其他業務類相比,金融類的數據治理,有沒有本質上的區別?康樹鵬:金融類的數據治理與電商及其他業務相比,在治理方法和工具能力上是有很多共同點的,但金融類業務對數據的一致性、可用性、完整性及合規性提出了更高要求,一方面,金融業務強調防范金融風險,治理過程要嚴格保障不對風險識別、防范能力及系統產生影響;另外一方面,金融數據(比如交易流水)保存時間有嚴格的法律要求,不能簡單治理或清理。
InfoQ:螞蟻集團大安全,數據治理是從什么時候開始的?如果將治理過程分階段,您會如何劃分?為什么?康樹鵬:螞蟻大安全的數據治理一直都在做,如果分階段的話,從我的角度可以分為三個階段:第一階段,分散式、運動式的治理,治理由各個業務線的數據團隊分別負責;第二階段,集中式、綜合式的治理,我們啟動了數據治理專項計劃,形成數據治理專項小組統一了大安全的數據架構標準。在治理過程中結合資產模型重構,對安全數據進行了整體的盤點和治理,提升了大安全數據整體的使用效率和架構水位;第三階段,常態化、體系化的治理,將治理融入到日常的研發和工作當中,做成常態化及體系化的治理。下一階段,治理需要向智能化方向推進,同時數據作為新的生產要素,需要在市場化方向進行嘗試和探索。
InfoQ:您負責了螞蟻大安全的數據治理,在您看來,想要進行數據治理,應該包括哪幾個方面?康樹鵬:數據治理一般包含以下四個方向:1、 數據架構方面的治理,數據技術標準規范層面;2、數據安全方面的治理,數據隱私、合規、共享等方面 ; 3、數據質量方面的治理,數據內容一致性、產出時效等方面;4、數據成本方面的治理,存儲、計算、運維等方面。
InfoQ:數據質量應該是治理的重中之重,例如多產品指標邏輯不同、數據一致性等問題,螞蟻大安全是如何解決這些問題的?康樹鵬:螞蟻大安全為上億用戶,每日千萬筆交易提供實時的風險防控,數據質量關乎著風險防控的水位。為了保障數據質量,首先在研發階段,我們有研發規范及變更管控能力,確保變更都是經過測試和驗證的;在生產階段,有相應的質量檢查規則,在數據生成后進行業務規則校驗:當數據在業務策略生效后,業務系統也會針對業務指標進行監控,當有異常時可以進行快速的止血和回滾,保障業務穩定;在離線數據研發階段,我們會有資產判重的能力,當有相似邏輯發布上線,會進行發布管控攔截;在核心底層資產建設過程中,會利用資產平臺的指標管理能力,確保指標不重、不錯、好用。
InfoQ:許多公司越來越重視數據成本上的治理,螞蟻大安全的思路是什么?康樹鵬:數據成本主要來源于存儲、計算、運維等,目前重點治理對象為存儲和計算,大安全的治理思路主要從以下幾個方面入手。
首先是成本及治理意識的提升,針對現狀進行盤點,并對核心團隊及用戶進行宣導和合作,確保治理目標一致;
存量治理,通過專項方式進行攻堅,保障整體的 ROI;
增量部分,確保工具化管控能力落地,保障數據的合理新增;
產品能力方面,通過構建整體的數字化治理體系,保障常態化治理的推進
資產治理和建設相結合,大安全從前兩年開始推進《精品資產》建設項目,旨在通過提升優質資產的厚度和復用度,提升整體的研發效率,降低煙囪,保障業務可持續的健康發展。
InfoQ:關于元數據中心建設方面,螞蟻利用元數據在數據治理上有哪些比較創新的探索?康樹鵬:元數據是數據治理的關鍵基礎設施,在治理識別、決策、管控、效果分析等過程中提供底層數據支撐;例如以元數據血緣來說,螞蟻構建了更精細化的血緣數據,從任務血緣、表級血緣、字段血緣、以及業務應用側血緣。同時螞蟻使用數據應用末端場景注冊這種創新的方式,將業務場景、血緣數據及在線系統結合起來,形成一個業務場景切面,在鏈路影響分析、重點業務保障、節點分層打標等方面都有很好幫助。
InfoQ:對于中小公司來說,您認為可以借鑒的治理路徑有哪些?或者說您踩過的坑點,是否有可以分享給大家的?康樹鵬:在我看來,一個公司是否啟動數據治理,需要理清公司當前的數據現狀,定義出數據方面的關鍵問題,是成本問題、數據質量問題還是數據效率問題,根據關鍵問題進行入手;假如一個公司要進行數據成本治理,需要考慮下 ROI,特別是研發成本;同時需要同公司領導層達成共識,要給予數據治理大力支持,保障數據治理戰略的落地和執行,從人員意識層面要進行宣導,達成治理共識;
其次,需要盡可能地將各個業務環節數字化,建立一套元數據體系,通過數字化的方式發現問題并制定合理的治理目標,前期可以通過專項式的治理,快速達成治理目標;最后,需要將治理過程中能夠標準化、工具化、自動化的流程沉淀下來,落地到系統當中,做成常態化治理方案,持續推進治理。以上,是我推薦的一個治理路徑。
坑點分享:治理需要做成常態化,之前啟動過數據治理專項,發現當時達到了治理目標,但是幾個月過后,數據成本等問題又出現了,其實這個過程只是做到了治標,但是沒有治本,我們要分析數據問題的根因,是資產建設不足、數據管控力度不夠還是治理意識不足?治理是一個持續性的過程,治理經驗需要有工具化平臺將治理能力落地成常態化機制。
上一篇:企業流程體系構建與優化...