- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-11-21來源:悲情浪漫者瀏覽數:282次
從21世紀初數據倉庫出現到現在已經過去近20年,數據開放的形式也在不斷演化,不同的開放形式其實適配了不同領域數據分析的要求,在同一個公司,不同開放形式也往往同時存在,比如我所在的公司,ABCDE五種開放模式就同時存在。
?現在數據開放成了數據治理的熱點,但數據開放是沒法一步到位的,每個企業都要基于實際需要走出自己的路,下面就講講我所經歷的數據開放演化史,整個過程長達近20年,大致經歷了五個階段:
(1)數據倉庫時期-應用開放模式(2004-2007)
(2)數據集市時期-數據集開放模式(2007-2014)
(3)大數據平臺時期-租戶開放模式(2014-2017)
(4)數據中臺時期-API開放模式(2017-2021)
(5)企業級數據治理時期-統一開放模式(2021-至今)
每個時期的數據開放模式也折射出了那個時期業務對數據的真正訴求,同時帶有明顯的時代特征。
1、數據倉庫時期-應用開放模式(2004-2007)
業務驅動:
主要是為了滿足公司財務管理、市場經營,客戶服務等生產經營需要,屬于被動的剛性要求。
數據來源:
通過數據倉庫歸集業務系統的數據,加工處理后形成模型、報表和指標數據。
數據范圍:
單領域級,以業務B域為主。
開放形式:
模式A-通過web門戶等渠道向業務部門提供數據,后增加了自助等形式。
模式B-通過定制化取數工單的形式提供數據。
數據特點:
模式A-加工完成的應用數據,以報表、指標為主,數據粒度較粗,一次使用完成后無法再重復利用,數據靈活性低,數據安全程度高。
模式B-報表、指標及結果數據為主,一次使用完成后無法再重復利用,數據靈活性高,數據安全程度高。
開放時效:
模式A-所見即所得。
模式B-依賴于數據團隊的開發速度,一般為幾天到幾周。
開放成本:
模式A-一次性開發投入后持續自動更新和開放,受眾范圍廣,性價比高。
模式B-每次開放都需要定制化開發,受眾范圍小,性價比低,開放成本隨著需求的增加線性增長。
開放組織:
經營分析室。
2、數據集市時期-數據集開放模式(2007-2014)
業務驅動:
應用開放模式以開放固定的統計數據和結果數據為主,難以滿足市場快速靈活的數據分析需求,一線要求開放可再利用的原生數據和模型數據,即采取“授人以漁”模式。
數據來源:
通過數據倉庫歸集的業務系統的原生數據及加工處理后形成的模型數據。
數據范圍:
單領域級,以業務B域為主。
開放形式:
在模式A、B基礎上,新增模式C-即通過數據交換需求工單的形式提供數據集到數據集市,一線自主加工后使用。
數據特點:
原生數據或者模型數據,以細粒度清單級數據為主,數據靈活性高,數據安全管控要求高。
開放時效:
一方面依賴于數據團隊的交換配置時長和審批時長,另一方面也依賴一線數據團隊的二次加工速度,一般為幾天到一周。
開放成本:
一次性的數據交換成本及一線的二次開發成本。
開放組織:
數據運營部。
3、大數據平臺時期-租戶開放模式(2014-2017)
業務驅動:
移動互聯網時代開啟,流量數據爆發式增長,市場競爭日趨激烈,公司一方面要求加強用戶上網行為分析,進一步加快數據響應速度,另一方面也要求探索對外數據價值變現,這對數據開放支撐模式和開放范圍都提出了更高要求。
數據來源:
通過大數據平臺歸集的業務系統的原始數據及加工處理后形成的模型數據。
數據范圍:
多領域,包括B域規模數據,O域高價值數據(DPI,位置等),M域個別數據。
開放形式:
在模式A、B及C基礎上,新增模式D-即大數據租戶的開放形式,相對于數據集市,大數據租戶不僅可以授權開放,省去了數據交換的環節,而且開通的速度和靈活性大幅增加,這讓“授人以漁”的開放模式逐步普及,數據租戶開始百花齊放。
數據特點:
原生數據或者模型數據,以細粒度清單級數據為主,數據安全管控要求高,數據靈活性高。
開放時效:
所見即所得。
開放成本:
由于要直接給業務人員使用,開放數據的加工成本和解釋成本很高。
開放組織:
大數據中心。
4、數據中臺時期-API開放模式(2017-2021)
業務驅動:
針對數據開放運營中暴露的業務場景理解不深、能力無法沉淀和復用、開放過程無法掌控、開放效果無法評估、資源消耗過大,安全風險較高等問題,要求優化數據開放模式,提升數據開放的效率和效益。
數據來源:
在原來基礎上,減少了原生數據的開放,加強二次加工后的數據模型的開放比例。
數據范圍:
范圍和類別基本不變,但基于業務需要不斷豐富原有數據的屬性和質量。
開放形式:
在模式A、B、C及D基礎上,新增模式E-即API的開放形式,并對API進行閉環運營。
數據特點:
以模型數據及統計數據為主,時效性強、業務價值高、可解釋性強,安全性較高。
開放時效:
所見即所得。
開放成本:
API封裝需要一定的開發周期,需求方對接的開發成本較高。
開放組織:
大數據中心。
5、企業級數據治理時期-統一開放模式(2021-至今)
業務驅動:
數字化轉型要求公司實施流程重構,實現全局流程最優,這就要求建立企業級數據治理體系,實現公司全域數據的貫通、采集和開放。
數據來源:
通過數據湖歸集的業務系統的原始數據及加工處理后形成的數倉模型數據。
數據范圍:
全領域,BOM全域數據,全面的跨域開放。
開放形式:
整合C、D、E三種開放模式,打造統一的數據目錄和開放流程,通過數據地圖提供一站式的針對各類開放類型的數據訂閱開放服務,確保一致的開放體驗。
數據特點:
原生數據+模型數據為主,業務價值高、可解釋性強。
開放時效:
明確C、D、E的開放服務承諾并進行閉環運營。
開放成本:
通過平臺化、集約化、標準化、自助化推進開放成本降低。
開放組織:
企業數據管理部牽頭,明確數據擁有方、數據申請方,安全管理方等的職責。
從21世紀初數據倉庫出現到現在已經過去近20年,數據開放的形式也在不斷演化,不同的開放形式其實適配了不同領域數據分析的要求,在同一個公司,不同開放形式也往往同時存在,比如我所在的公司,ABCDE五種開放模式就同時存在。
要承認,模式A和B仍然是大多數公司的開放現狀,但按照數據開放最新的定義,A和B甚至不能叫作數據開放,因為其僅能為特定應用目的服務,很難二次利用,流動起來也沒多大價值,因此,一個公司報表和取數做的再多,也不代表數據開放水平和利用水平有多高。
相應的,C、D和E是更具價值的開放形式,但對這些原生數據的開采利用門檻會高很多,需要公司組織、機制、流程和平臺的保障。
比如數據首先要找得到,讀得懂,這就對公司的數據架構管理水平提出很高要求,至少要建立基本的數據目錄和數據標準,又比如數據開放出去需要有人會用,這就對公司數據需求方的技術能力提出要求,再比如數據開放出去安全風險很大,這就對公司的數據安全管理能力提出更高要求,再比如要確保開放出去的數據質量,這就要求數據提供方能給出SLA承諾,所有這些,都離不開企業數據治理體系的保駕護航。
在相當長時間內,大多數公司只能將數據開放限制在特定的領域和特定的人群,這既受限于業務需要,也受制于生產關系,而數字化轉型則是當前驅動數據進一步開放的催化劑。
上一篇:數據治理:指標體系管理!...
下一篇:可用性指標大家族...