- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2019-03-25來源:億信華辰瀏覽數:1470次
如果你做過BI或大數據,一定會接觸數據資產管理的一些概念,比如元數據,數據字典,血統分析等等,但你會發現,要做好大數據平臺的數據資產管理并不容易,比如數據字典的維護,為什么?
我們可以有一堆的理由,比如戰略問題、業務問題、流程問題、機制問題、平臺問題,人力資源問題等等,但假如這些問題都解決了,是否意味著你的數據字典就可用了呢?
也不是。
為什么呢?
因為大數據平臺的數據來自于各個外部業務系統(上游系統),其數據字典的質量是受到上游系統約束的,而一般業務系統的數據資產變更規范性是比較差的,比如沒有專門的數據管理系統來進行管理,究其原因主要有以下三點:
一是管理難度高,很多企業業務系統會比較多,各類系統的開發流程很多還不一樣,比如來自于各個合作伙伴,要統一數據資產管理的標準非常困難,流程的復雜性導致統一數據管理平臺的建設門檻也很高,商用的數據管理平臺(比如元數據管理)大多是無法適應這種復雜的場景的,而大數據平臺天然的集約型使得數據管理更可能成功。
二是驅動力不夠,業務系統在開始建設的時候,關注的是功能的快速實現,很少有人能預見到諸如數據資產管理這種非功能性的需求,而要對已經建成的業務系統再重新梳理數據資產進行管理,則顯得困難重重。
三是效益不明顯,雖然大家都開始認識到數據資產管理的重要性,但重要而不緊急的事情總是很難提上日程,短期內數據資產管理的規范性跟開發的靈活性一定程度上還是沖突的,似乎從線下文檔或開發人員口中獲取信息也不是難事,但這個隱性的管理成本其實很高,等到系統要重構或大版本升級的時候會發現系統變得好陌生。
那么,業務系統的數據資產要不要系統化的自動管理呢?
答案是不一定,這個依賴當前業務系統的規模和成熟度,一個判定標準是當企業的IT要考慮中臺戰略的時候,也許數據資產管理也要提上日程,因為中臺意味著沉淀和復用,而數據知識非常需要沉淀。
對于擁有大數據的企業來講,高效使用數據的一個前提是理解數據資產的準確含義,比如背景、命名、釋義及枚舉值等等,而業務系統是數據產生的源頭,理應承擔起數據資產管理的重任,比如確保數據資產的質量,數據資產變更能自動提醒等等,其不僅要考慮自身利益,更應站在企業的全局角度看待這個問題,這也符合第一性原理,下游系統的數據資產管理管的再好,巧婦也難為無米之炊,上游垃圾進,下游也是垃圾出。
那么,業務系統的數據資產管理要怎么做呢?
除了傳統的元數據管理那套理論,這里再給出三點建議:
首先,在策略層面,需要業務系統對于數據資產管理能有足夠的重視,這是第一要務,大家會問投入那么大的代價去搞這個體系到底有沒有價值?
的確在前期看不清的情況下,沒必要畢其功于一役,因此需要找到好的場景切入點,比如存量中找個核心的系統進行試點,也可以只針對新增系統進行嘗試。
其次,在方法層面,不建議采取后向的方式,比如事后補錄數據字典,這種方式往往導致與生產系統的嚴重不一致,最終積重難返,要從數據資產產生的源頭進行管控,即需要從數據庫接入、開發到上線的整個流程進行管控,對于流程中涉及的任何數據資產管理的操作進行規范,比如數據庫新建、建表,變更等等。
數據資產管理需要跟企業的整個數據產生流程無縫銜接,比如不按照規范進行數據資產錄入變更,業務系統就不能上線,要有這種壯志斷腕的決心,否則就不建議做。
下面筆者列出了業務系統數據資產管理流程的一個示意,這里涉及四個關鍵角色:
1、資產接入責任方:負責及時對數據源進行管理,比如新增數據庫和用戶,并將其接入到數據資產管理平臺
2、資產開發責任方:依托數據資產管理平臺按照資產管理的規范進行建表等操作,確保數據資產的質量,比如對表,字段解釋清楚含義
3、資產維護責任方:負責資產上線發布管理,對數據資產管理平臺與生產系統的資產進行比對,督促資產開發責任方進行資產修復
4、資產總體管理責任人方:負責整個企業數據資產的管理,包括數據資產管理平臺的建設,數據資產管理規范的建立,數據資產的跟蹤及質量通報、跨專業協調解決等。
最后,在系統層面,要打破專業、上下游系統的邊界,構建一個企業級的數據資產管理平臺,實現對各類業務系統、大數據平臺及相關BI系統的數據資產的統一管理,其不僅要包括傳統的元數據管理等功能,更要包括開發管理、流程管理等眾多功能,從而適應企業特定的數據資產管理規范要求,一般來講,不要奢望讓企業的業務流程去適應系統,數據資產管理系統一定要與時俱進。

業務系統的數據資產管理能力一旦形成,下游系統的數據資產管理效率就能自然提升,無論是資產的自動發現,比對或是稽核,下游系統不再需要靠大量的線下確認工作去疲于應付上游系統的變更,原來的被動資產管理模式將向著更主動的方向演進。