伴隨著我國(guó)銀行信息化建設(shè)的發(fā)展,銀行形成了包括核心系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、風(fēng)險(xiǎn)管理、客戶關(guān)系管理等在內(nèi)的多種業(yè)務(wù)和管理系統(tǒng)。大數(shù)據(jù)給銀行數(shù)據(jù)處理帶來(lái)的大容量、快速處理和多樣性,使得銀行在數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)、信息共享、信息挖掘利用等方面面臨挑戰(zhàn),也越來(lái)越重視元數(shù)據(jù)的管理和體系的建設(shè)工作。
本篇文章,筆者將為大家解讀一下有關(guān)銀行進(jìn)行元數(shù)據(jù)管理的三個(gè)問(wèn)題,明確在行業(yè)快速變化的大環(huán)境下,如何建設(shè)符合銀行自身特色的元數(shù)據(jù)管理體系,提升銀行數(shù)據(jù)治理能力。
要明確三個(gè)問(wèn)題:
1、銀行元數(shù)據(jù)的現(xiàn)狀
2、銀行元數(shù)據(jù)管理的意義
3、銀行如何搭建元數(shù)據(jù)管理體系
元數(shù)據(jù)概述
元數(shù)據(jù)最早于1969年 Jack由. Myers提出。長(zhǎng)期以來(lái),在銀行領(lǐng)域,元數(shù)據(jù)主要應(yīng)用在數(shù)據(jù)倉(cāng)庫(kù)。在數(shù)據(jù)倉(cāng)庫(kù)中,元數(shù)據(jù)是用以描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)這類集成類數(shù)據(jù)系統(tǒng)來(lái)說(shuō),存儲(chǔ)的表、視圖等數(shù)據(jù)對(duì)象數(shù)以萬(wàn)計(jì),再加上內(nèi)部復(fù)雜的數(shù)據(jù)抽取、加載和轉(zhuǎn)換,聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘,以及眾多的數(shù)據(jù)集市,很容易形成“蜘蛛網(wǎng)”現(xiàn)象。而解決“蜘蛛網(wǎng)”問(wèn)題的關(guān)鍵就在于元數(shù)據(jù)管理,它可以幫助最終用戶理解和使用數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù),也是保證數(shù)據(jù)質(zhì)量的關(guān)鍵。
根據(jù)銀行數(shù)據(jù)特點(diǎn),結(jié)合業(yè)界理論和實(shí)踐經(jīng)驗(yàn)元數(shù)據(jù)一般可以分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)三個(gè)類別,內(nèi)容覆蓋結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。
(1)業(yè)務(wù)元數(shù)據(jù)
業(yè)務(wù)元數(shù)據(jù)是定義和業(yè)務(wù)相關(guān)數(shù)據(jù)的信息,用于輔助定位、理解及訪問(wèn)業(yè)務(wù)信息。業(yè)務(wù)元數(shù)據(jù)的范圍主要包括:業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、專業(yè)術(shù)語(yǔ)、數(shù)據(jù)標(biāo)準(zhǔn)、概念數(shù)據(jù)模型、實(shí)體/屬性、邏輯數(shù)據(jù)模型等。
(2)技術(shù)元數(shù)據(jù)
它又可以分成結(jié)構(gòu)性技術(shù)元數(shù)據(jù)和關(guān)聯(lián)性技術(shù)元數(shù)據(jù)。結(jié)構(gòu)性技術(shù)元數(shù)據(jù)提供了在信息技術(shù)的基礎(chǔ)架構(gòu)中對(duì)數(shù)據(jù)的說(shuō)明,如數(shù)據(jù)的存放位置、數(shù)據(jù)的存儲(chǔ)類型、數(shù)據(jù)的血緣關(guān)系等。關(guān)聯(lián)性技術(shù)元數(shù)據(jù)描述了數(shù)據(jù)之間的關(guān)聯(lián)和數(shù)據(jù)在信息技術(shù)環(huán)境之中的流轉(zhuǎn)情況。
(3)操作元數(shù)據(jù)
操作元數(shù)據(jù)主要是指與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程,以及系統(tǒng)日常運(yùn)行產(chǎn)生的操作數(shù)據(jù)。操作元數(shù)據(jù)管理的內(nèi)容主要包括:與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程、項(xiàng)目、版本,以及系統(tǒng)生產(chǎn)運(yùn)行產(chǎn)生的操作記錄,如運(yùn)行記錄、應(yīng)用程序、運(yùn)行作業(yè)。
技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、操作元數(shù)據(jù)三者關(guān)系緊密:業(yè)務(wù)元數(shù)據(jù)指導(dǎo)技術(shù)元數(shù)據(jù);技術(shù)元數(shù)據(jù)以已有的業(yè)務(wù)元數(shù)據(jù)為參考進(jìn)行設(shè)計(jì);操作元數(shù)據(jù)作為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)管理的要素之一,為兩者的管理提供支撐。
元數(shù)據(jù)管理及重要意義
元數(shù)據(jù)管理是指元數(shù)據(jù)的定義、收集、管理和發(fā)布的方法、工具及流程的集合。它涵蓋元數(shù)據(jù)定義,元數(shù)據(jù)的管理原則、管理模式和方法,元數(shù)據(jù)相關(guān)制度、規(guī)范、手冊(cè),元數(shù)據(jù)管理系統(tǒng),元數(shù)據(jù)管理相關(guān)的日常處理流程等。元數(shù)據(jù)管理是一個(gè)以相關(guān)元數(shù)據(jù)規(guī)范、指引為基礎(chǔ),以元數(shù)據(jù)管理系統(tǒng)作為技術(shù)支撐,與應(yīng)用系統(tǒng)的開(kāi)發(fā)、設(shè)計(jì)和版本制作流程緊密結(jié)合的完整體系。
銀行通過(guò)構(gòu)建元數(shù)據(jù)管理系統(tǒng),可以實(shí)現(xiàn)將不同系統(tǒng)、不同工具、不同人員中的元數(shù)據(jù)信息進(jìn)行統(tǒng)一集中管理,實(shí)現(xiàn)從業(yè)務(wù)層到技術(shù)層的全面技術(shù)貫通,為銀行科技系統(tǒng)更高效、規(guī)范地運(yùn)作提供系統(tǒng)支撐,對(duì)銀行業(yè)務(wù)發(fā)展具有重大意義。銀行通過(guò)元數(shù)據(jù)進(jìn)行管理,可以在以下方面進(jìn)行提升:
1)統(tǒng)一表達(dá)形式,建立統(tǒng)一標(biāo)準(zhǔn),使數(shù)據(jù)更易讀更好地實(shí)現(xiàn)信息共享,最大程度地發(fā)揮信息的價(jià)值作用,降低溝通成本,提升溝通效率,增強(qiáng)上下游各應(yīng)用與分行間的協(xié)作水平。
2)用戶更清晰地理解數(shù)據(jù)含義及數(shù)據(jù)間的關(guān)聯(lián)關(guān)系,迅速定位軟件設(shè)計(jì)變更帶來(lái)的影響,及時(shí)對(duì)相關(guān)系統(tǒng)設(shè)計(jì)做出必要的調(diào)整,如數(shù)據(jù)定義、接口,提升快速應(yīng)對(duì)變更的能力。
3)實(shí)現(xiàn)規(guī)范、標(biāo)準(zhǔn)落地,確保元數(shù)據(jù)設(shè)計(jì)/登記質(zhì)量,可以更好地支撐數(shù)據(jù)分布、數(shù)據(jù)交換、數(shù)據(jù)集成、數(shù)據(jù)生命周期管理、數(shù)據(jù)標(biāo)準(zhǔn)等數(shù)據(jù)治理相關(guān)的工作內(nèi)容。
4)實(shí)現(xiàn)公共資源的統(tǒng)一分配和登記,從而確保有效管理,不遺漏、不沖突。
5)實(shí)現(xiàn)對(duì)元數(shù)據(jù)資產(chǎn)的統(tǒng)計(jì)、分析和挖掘,例如血緣分析、孤兒分析、影響性分析以及各類統(tǒng)計(jì)功能等,提升基于數(shù)據(jù)所做決策的準(zhǔn)確性和可信性。
搭建元數(shù)據(jù)管理體系
銀行元數(shù)據(jù)管理對(duì)于數(shù)據(jù)治理工作起著重要的作用,是數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量管理的重要基礎(chǔ)。銀行應(yīng)該建立一個(gè)體系清晰、內(nèi)容全面、標(biāo)準(zhǔn)明確的元數(shù)據(jù)管理體系,緊密圍繞國(guó)家相關(guān)標(biāo)準(zhǔn)和行業(yè)規(guī)范,充分結(jié)合銀行自身的整體系統(tǒng)發(fā)展戰(zhàn)略,全面考慮相關(guān)規(guī)范和管理要求的可持續(xù)發(fā)展和良好的可操作性。
1、建立企業(yè)級(jí)元數(shù)據(jù)管理系統(tǒng)
對(duì)于銀行來(lái)說(shuō),建立元數(shù)據(jù)管理系統(tǒng)是其元數(shù)據(jù)管理體系建設(shè)的核心。企業(yè)級(jí)元數(shù)據(jù)管理系統(tǒng)作為銀行全行級(jí)的元數(shù)據(jù)管理平臺(tái),至少需要包含以下主要功能:元數(shù)據(jù)日常管理和維護(hù)、版本管理、權(quán)限管理、提交與審批管理等功能,以及血緣分析、影響性分析、關(guān)聯(lián)度分析等信息統(tǒng)計(jì)分析功能 。億信華辰的元數(shù)據(jù)管理平臺(tái)EsPowerMeta正是基于長(zhǎng)久的項(xiàng)目實(shí)踐,可提供如下功能:
(1)元數(shù)據(jù)日常管理和維護(hù)
億信華辰元數(shù)據(jù)管理平臺(tái)支持開(kāi)發(fā)人員通過(guò)頁(yè)面聯(lián)機(jī)、批量方式對(duì)技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和操作元數(shù)據(jù)進(jìn)行新增、修改、刪除,提供各類元數(shù)據(jù)間的調(diào)用關(guān)系管理、變更通知以及配套的審批管控流程。
(2)版本管理
億信華辰元數(shù)據(jù)管理平臺(tái)里元模型和元數(shù)據(jù)均支持版本管理。不僅區(qū)分了最新元數(shù)據(jù)和定版元數(shù)據(jù),還提供了歷史版本查看和對(duì)比。元模型版本管理,實(shí)現(xiàn)了元模型在發(fā)布之前,都不會(huì)改變?cè)獢?shù)據(jù)結(jié)構(gòu),保障了元數(shù)據(jù)的穩(wěn)定性。
(3)權(quán)限管理
信息安全是元數(shù)據(jù)管理系統(tǒng)的重要環(huán)節(jié)。億信華辰元數(shù)據(jù)管理平臺(tái)采用分類授權(quán)、分角色授權(quán)等原則,對(duì)訪問(wèn)元數(shù)據(jù)管理系統(tǒng)進(jìn)行權(quán)限控制。設(shè)置用戶角色與權(quán)限,建立與應(yīng)用系統(tǒng)、各類元數(shù)據(jù)的關(guān)聯(lián)關(guān)系;針對(duì)用戶角色權(quán)限的變更,提供配套的角色與權(quán)限申請(qǐng)審批管理流程,加強(qiáng)事中的審核控制、事后的監(jiān)督核查。
(4)提交與審批管理
億信華辰元數(shù)據(jù)管理平臺(tái)在管理各類元數(shù)據(jù)資產(chǎn)時(shí),需要根據(jù)不同元數(shù)據(jù)的特性,并考慮實(shí)際應(yīng)用場(chǎng)景和管理的需求,設(shè)定相應(yīng)的審批控制流程,從而加強(qiáng)對(duì)元數(shù)據(jù)的管理,保證元數(shù)據(jù)平臺(tái)的準(zhǔn)確性、時(shí)效性和穩(wěn)定性。
(5)信息統(tǒng)計(jì)分析
億信華辰元數(shù)據(jù)管理平臺(tái)主要提供元數(shù)據(jù)管理系統(tǒng)質(zhì)量評(píng)估、各類資產(chǎn)多維度統(tǒng)計(jì)和報(bào)表功能、資產(chǎn)變更統(tǒng)計(jì)及排名分析等。通過(guò)信息統(tǒng)計(jì)分析功能,能夠及時(shí)了解元數(shù)據(jù)管理系統(tǒng)中元數(shù)據(jù)資產(chǎn)整體和變更情況,為開(kāi)展血緣分析、影響分析、全鏈分析、關(guān)聯(lián)度分析、屬性值差異分析等工作提供依據(jù)。
2、建立企業(yè)級(jí)元數(shù)據(jù)技術(shù)規(guī)范和實(shí)施指引
銀行元數(shù)據(jù)管理體系,需要以各類元數(shù)據(jù)技術(shù)規(guī)范和實(shí)施指引為指導(dǎo),規(guī)范元數(shù)據(jù)管理。由于元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)分布、模型管理以及數(shù)據(jù)交換等領(lǐng)域關(guān)系密切,銀行需要基于上述領(lǐng)域制定元數(shù)據(jù)管理的規(guī)范,以明確元數(shù)據(jù)管理的技術(shù)規(guī)則、技術(shù)要求、管理方法、實(shí)施原則、實(shí)施方法和手段,指導(dǎo)全行元數(shù)據(jù)日常管理及元數(shù)據(jù)系統(tǒng)建設(shè)。
3、制定合適的元數(shù)據(jù)管理流程
企業(yè)級(jí)元數(shù)據(jù)管理系統(tǒng)的集中式元數(shù)據(jù)管理模式需要將企業(yè)所有的元數(shù)據(jù)統(tǒng)一在元數(shù)據(jù)管理系統(tǒng)中進(jìn)行管理。進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)需要充分重視元數(shù)據(jù)質(zhì)量,不能脫離日常的應(yīng)用系統(tǒng)研發(fā)管理流程,一旦脫離,久而久之,其管理的元數(shù)據(jù)就會(huì)變成食之無(wú)味、棄之可惜的“雞肋”。同時(shí),需要利用一系列工具和技術(shù)手段,確保元數(shù)據(jù)的數(shù)據(jù)質(zhì)量。
結(jié)語(yǔ):銀行元數(shù)據(jù)管理應(yīng)圍繞“一個(gè)中心、一套制度一套流程”建設(shè)符合銀行自身特色的元數(shù)據(jù)管理體系。中國(guó)農(nóng)業(yè)發(fā)展銀行利用億信華辰的元數(shù)據(jù)管理平臺(tái)建設(shè)了元數(shù)據(jù)管理系統(tǒng) ,搭建了業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的集中管理和發(fā)布平臺(tái)。元數(shù)據(jù)管理平臺(tái)為用戶提供高質(zhì)量、準(zhǔn)確、易于管理的數(shù)據(jù),它將貫穿數(shù)據(jù)中心構(gòu)建、運(yùn)行和維護(hù)的整個(gè)生命周期。
(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)