? ? ??大數(shù)據(jù)時(shí)代的到來意味著數(shù)據(jù)的海量性和復(fù)雜性，也意味著對原數(shù)據(jù)處理過程的更高要求。

? ? ??例如金融大數(shù)據(jù)，特別是銀行大數(shù)據(jù)建設(shè)過程中，必然遇到數(shù)據(jù)種類繁雜，體量龐大，多組件的ETL交叉加工。隨著平臺(tái)在應(yīng)用上的不斷推廣創(chuàng)新，作為基礎(chǔ)的數(shù)據(jù)也會(huì)隨之飛速增長，增長的數(shù)據(jù)帶來數(shù)據(jù)血緣不清晰，數(shù)據(jù)重復(fù)存儲(chǔ)加工，數(shù)據(jù)口徑混亂，數(shù)據(jù)質(zhì)量參差不齊等一系列問題。而要解決這個(gè)問題，就要做好最核心的元數(shù)據(jù)管理。

? ? ??對企業(yè)來說，一個(gè)小小的元數(shù)據(jù)可能造成巨大的損失，也可能創(chuàng)造無限的便利。今天小億就來為大家說說什么是元數(shù)據(jù)？元數(shù)據(jù)的作用是什么？如何管理元數(shù)據(jù)，以及元數(shù)據(jù)的應(yīng)用都有哪些？

? ? ??— 01 —什么是元數(shù)據(jù)？

? ? ??元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，是為了描述數(shù)據(jù)的相關(guān)信息而存在的數(shù)據(jù)。

? ? ??元數(shù)據(jù)不僅僅表示數(shù)據(jù)的類型、名稱、值等信息，它可以理解為是一組用來描述數(shù)據(jù)的信息組/數(shù)據(jù)組，該信息組/數(shù)據(jù)組中的一切數(shù)據(jù)、信息，都描述/反映了某個(gè)數(shù)據(jù)的某方面特征，則該信息組/數(shù)據(jù)組可稱為一個(gè)元數(shù)據(jù)。

? ? ??例如：元數(shù)據(jù)可以為數(shù)據(jù)說明其元素或?qū)傩裕Q、大小、數(shù)據(jù)類型等），或其結(jié)構(gòu)（長度、字段、數(shù)據(jù)列），或其相關(guān)數(shù)據(jù)（位于何處、如何聯(lián)系、擁有者）。在日常生活中，元數(shù)據(jù)無所不在。只要有一類事物，就可以定義一套元數(shù)據(jù)。

? ? ??除此以外，在數(shù)據(jù)倉庫體系中，元數(shù)據(jù)代表了一種統(tǒng)計(jì)數(shù)據(jù)從元數(shù)據(jù)、數(shù)據(jù)倉庫到數(shù)據(jù)應(yīng)用的全鏈路信息，記錄了統(tǒng)計(jì)數(shù)據(jù)從產(chǎn)生到展示的全部過程。可以說，有了元數(shù)據(jù)，開發(fā)人員便可以方便的找到統(tǒng)計(jì)數(shù)據(jù)背后的計(jì)算邏輯與過程，用于指導(dǎo)開發(fā)工作并追蹤數(shù)據(jù)問題，可以極大的提升工作的效率。

? ? ??— 02 —元數(shù)據(jù)都有哪些類型？

? ? ??元數(shù)據(jù)按照其描述對象的不同可以分為三大類，分別是“技術(shù)元數(shù)據(jù)”、“業(yè)務(wù)員數(shù)據(jù)”、“管理元數(shù)據(jù)”。

? ? ??1.技術(shù)元數(shù)據(jù)

? ? ??技術(shù)元數(shù)據(jù)主要是描述系統(tǒng)中技術(shù)領(lǐng)域的相關(guān)概念信息，包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，以及數(shù)據(jù)源接口、數(shù)據(jù)倉庫、數(shù)據(jù)集市、存儲(chǔ)等全面數(shù)據(jù)處理環(huán)節(jié)的信息。這類元數(shù)據(jù)主要被系統(tǒng)建設(shè)的技術(shù)人員使用。主要有以下幾類類型，如圖所示：

? ? ??2.業(yè)務(wù)元數(shù)據(jù)

? ? ??業(yè)務(wù)元數(shù)據(jù)主要用來描述記錄在系統(tǒng)中業(yè)務(wù)的相關(guān)概念等信息，包括業(yè)務(wù)術(shù)語、信息分類、指標(biāo)定義、業(yè)務(wù)規(guī)則等內(nèi)容。它提供了介于使用者和實(shí)際系統(tǒng)之間的語義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。這類元數(shù)據(jù)主要的使用者是業(yè)務(wù)人員和公司決策人員，主要有以下幾種類型，如圖所示：

? ? ??3.管理元數(shù)據(jù)

? ? ??管理元數(shù)據(jù)用來定義系統(tǒng)中涉及管理領(lǐng)域的相關(guān)概念等信息，包括人員角色、崗位職責(zé)等內(nèi)容，例如對項(xiàng)目管理、IT運(yùn)維、IT資源設(shè)備等相關(guān)信息的描述，這里元數(shù)據(jù)主要被企業(yè)IT部門的管理人員使用。利用此類元數(shù)據(jù)可以進(jìn)行工作分配、網(wǎng)絡(luò)資源等方面的管理。

? ? ??管理元數(shù)據(jù)進(jìn)一步細(xì)分又可以劃分出認(rèn)責(zé)元數(shù)據(jù)、稽核元數(shù)據(jù)、安全元數(shù)據(jù)、操作元數(shù)據(jù)、存儲(chǔ)元數(shù)據(jù)等分類。例如操作元數(shù)據(jù)有系統(tǒng)執(zhí)行日志；訪問模式、訪問頻率和執(zhí)行時(shí)間；程序名稱和描述；版本維護(hù)等；備份、歸檔時(shí)間、歸檔存儲(chǔ)信息等。

不管分類如何變化，實(shí)質(zhì)性內(nèi)容都是圍繞數(shù)據(jù)的統(tǒng)一定義、數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)的處理過程、數(shù)據(jù)從存儲(chǔ)要求、數(shù)據(jù)的安全管理要求等等內(nèi)容進(jìn)行規(guī)范管理。

? ? ??— 03 —元數(shù)據(jù)的作用是什么？

? ? ??在大數(shù)據(jù)時(shí)代的背景下，數(shù)據(jù)即資產(chǎn)，元數(shù)據(jù)實(shí)現(xiàn)了信息的描述和分類的格式化，從而為機(jī)器處理創(chuàng)造了可能，它能幫助企業(yè)更好地對數(shù)據(jù)資產(chǎn)進(jìn)行管理，理清數(shù)據(jù)之間的關(guān)系。在傳統(tǒng)意義上，元數(shù)據(jù)有兩方面的用處：

? ? ??第一，幫助數(shù)據(jù)平臺(tái)了解自己本身的情況。例如：有哪些數(shù)據(jù)、存儲(chǔ)的數(shù)據(jù)有多大、如何找到所需要的數(shù)據(jù)、數(shù)據(jù)何時(shí)產(chǎn)出等等信息，當(dāng)我們拿到這些信息后，就可以做對應(yīng)運(yùn)維報(bào)警等工作。

? ? ??第二，幫助數(shù)據(jù)平臺(tái)制定數(shù)據(jù)統(tǒng)計(jì)的標(biāo)準(zhǔn)。例如：數(shù)據(jù)口徑如何統(tǒng)一、計(jì)算指標(biāo)如何統(tǒng)一、數(shù)據(jù)之間的關(guān)系如何、數(shù)據(jù)的上下游關(guān)聯(lián)數(shù)據(jù)是什么等等信息，打通了上下游數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，就可以為數(shù)據(jù)質(zhì)量及維護(hù)可視化奠定基礎(chǔ)。

? ? ??— 04 —如何管理元數(shù)據(jù)？

? ? ??元數(shù)據(jù)也是根據(jù)實(shí)際業(yè)務(wù)場景定義屬性，元數(shù)據(jù)會(huì)有通用的屬性，比如名稱、類型，不同類型的元數(shù)據(jù)還會(huì)有自己特定的屬性。元數(shù)據(jù)既然也是數(shù)據(jù)，肯定是存儲(chǔ)在數(shù)據(jù)庫中的。元數(shù)據(jù)存儲(chǔ)庫是指存儲(chǔ)元數(shù)據(jù)的物理數(shù)據(jù)庫表，通常采用開源的關(guān)系型數(shù)據(jù)庫（MySQL）實(shí)現(xiàn)元數(shù)據(jù)存儲(chǔ)，下面從幾個(gè)方面展開說說如何管理元數(shù)據(jù)：

? ? ??1.確定元數(shù)據(jù)范圍

? ? ??首先確定元數(shù)據(jù)來源范圍，在實(shí)際的工作中，不是所有數(shù)據(jù)都是要做元數(shù)據(jù)管理，通常我們會(huì)選擇業(yè)務(wù)數(shù)據(jù)做元數(shù)據(jù)管理，非業(yè)務(wù)數(shù)據(jù)是不會(huì)納入管理范圍內(nèi)的，主要還是因?yàn)樵獢?shù)據(jù)管理是提供業(yè)務(wù)和開發(fā)人員快速掌握業(yè)務(wù)數(shù)據(jù)。

確定規(guī)則后，就要結(jié)合公司的實(shí)際情況去梳理哪些業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)庫用戶、哪些表需要做元數(shù)據(jù)管理。當(dāng)然也可以支持非結(jié)構(gòu)化的元數(shù)據(jù)抽取，例如：word、pdf等。

? ? ??2.接入元數(shù)據(jù)

? ? ??元數(shù)據(jù)從哪接入，一般都是從源系統(tǒng)接入。假如公司已經(jīng)存在數(shù)倉或者實(shí)時(shí)性要求不高，為了節(jié)約開發(fā)工作量，對于已有的元數(shù)據(jù)會(huì)從數(shù)倉接入，還未接入的會(huì)從源系統(tǒng)進(jìn)行接入。但這種方案也是存在風(fēng)險(xiǎn)的，假如數(shù)倉的數(shù)據(jù)和源系統(tǒng)出現(xiàn)不一致，就會(huì)導(dǎo)致元數(shù)據(jù)出錯(cuò)。現(xiàn)在大部分的元數(shù)據(jù)抽取都是采用配置自動(dòng)化的方式進(jìn)行。

? ? ??那就不得不提億信華辰的元數(shù)據(jù)管理系統(tǒng)，它完美地實(shí)現(xiàn)了數(shù)據(jù)的自動(dòng)化采集，提供多種數(shù)據(jù)庫適配器，實(shí)現(xiàn)元數(shù)據(jù)的管理、分析與采集，可以從Oracle、MySQL、SQL Server等數(shù)據(jù)庫中采集數(shù)據(jù)，從excel文本中采集，并且還內(nèi)置Hbase等分部署數(shù)據(jù)庫采集適配器，可滿足不同場景的業(yè)務(wù)需求。

? ? ??3.建立元數(shù)據(jù)標(biāo)準(zhǔn)

? ? ??在梳理的過程中可能會(huì)出現(xiàn)有些數(shù)據(jù)庫或者有些數(shù)據(jù)定義不規(guī)范的情況，導(dǎo)致元數(shù)據(jù)管理無法進(jìn)行下去。那接下來需要建立元數(shù)據(jù)的管理規(guī)范，去反推前端的源數(shù)據(jù)進(jìn)行整改，主要是保證元數(shù)據(jù)的完整性和一致性。

? ? ??針對不同的類型的公司要求，元數(shù)據(jù)會(huì)開放給不同的人群，所以要對元數(shù)據(jù)進(jìn)行權(quán)限管理，規(guī)范里面就需定義權(quán)限的管理流程：元數(shù)據(jù)的權(quán)限分層、元數(shù)據(jù)權(quán)限申請流程、元數(shù)據(jù)的發(fā)布流程、元數(shù)據(jù)的審核流程。

? ? ??4.元數(shù)據(jù)的維護(hù)

? ? ??元數(shù)據(jù)維護(hù)主要是對已經(jīng)發(fā)布的元數(shù)據(jù)進(jìn)行維護(hù)管理，已經(jīng)發(fā)布上線的元數(shù)據(jù)，如需調(diào)整、優(yōu)化則必須重新走元數(shù)據(jù)發(fā)布流程，不準(zhǔn)許對元數(shù)據(jù)進(jìn)行直接修改。為了安全，元數(shù)據(jù)所有操作行為都要記錄到元數(shù)據(jù)操作日志里面。

? ? ??可以對元數(shù)據(jù)創(chuàng)建目錄將不同的元數(shù)據(jù)掛在對應(yīng)的目錄下，按照業(yè)務(wù)流程、業(yè)務(wù)主題域、開發(fā)流程設(shè)計(jì)對應(yīng)的目錄，主要還是根據(jù)公司要求設(shè)計(jì)。

? ? ??5.元數(shù)據(jù)的查找、分析、報(bào)告

? ? ??有單獨(dú)的頁面支持元數(shù)據(jù)的模糊或精準(zhǔn)快速查找，通過輸入關(guān)鍵信息查找對應(yīng)的元數(shù)據(jù)。還可以將元數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)的一類，因此我們需要產(chǎn)出元數(shù)據(jù)資產(chǎn)報(bào)告，從報(bào)告中能夠快速的了解元數(shù)據(jù)訪問熱度、數(shù)據(jù)價(jià)值、數(shù)據(jù)成本、數(shù)據(jù)分布等相關(guān)信息。

? ? ??在這里億信華辰的元數(shù)據(jù)管理平臺(tái)內(nèi)置全文搜索引擎，讓各層次用戶可快速定位自己所關(guān)心的元數(shù)據(jù)。該管理平臺(tái)支持基于名稱、基本屬性、元數(shù)據(jù)間關(guān)系查找的同時(shí)，還支持全文搜索。通過多種組合條件的模糊查詢，即可在整個(gè)元數(shù)據(jù)環(huán)境中隨時(shí)檢索所需元數(shù)據(jù)。

? ? ??— 05 —元數(shù)據(jù)的應(yīng)用都有哪些？

? ? ??企業(yè)業(yè)務(wù)多樣、產(chǎn)品紛繁復(fù)雜，在各類系統(tǒng)和應(yīng)用中形成了大量的數(shù)據(jù)。有了元數(shù)據(jù)，我們就可以了解企業(yè)擁有什么數(shù)據(jù)，數(shù)據(jù)表示什么、數(shù)據(jù)來自何處、它如何在系統(tǒng)中流轉(zhuǎn)等等，進(jìn)行元數(shù)據(jù)管理、構(gòu)建元數(shù)據(jù)應(yīng)用，如業(yè)務(wù)術(shù)語、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)字典、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)血緣分析、數(shù)據(jù)地圖等。下面我們主要說說數(shù)據(jù)血緣關(guān)系和數(shù)據(jù)地圖。

? ? ??1.數(shù)據(jù)血緣分析

? ? ??數(shù)據(jù)血緣是元數(shù)據(jù)的重要應(yīng)用，數(shù)據(jù)血緣能夠說明數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，比如說這張表是從某個(gè)系統(tǒng)抽取過來的，這個(gè)字段和那個(gè)字段有什么關(guān)系，包含了集群血緣關(guān)系、系統(tǒng)血緣關(guān)系、表級血緣關(guān)系和字段血緣關(guān)系，其指向數(shù)據(jù)的上游來源，向上游追根溯源。

? ? ??向上、向下表級、字段級別的追溯數(shù)據(jù)，能清晰展現(xiàn)數(shù)據(jù)加工處理邏輯脈絡(luò)，快速定位數(shù)據(jù)異常字段影響范圍，準(zhǔn)確圈定最小范圍數(shù)據(jù)回溯，降低了理解數(shù)據(jù)和解決數(shù)據(jù)問題的成本。血緣分析可以滿足許多行業(yè)(包括醫(yī)療、金融、銀行和制造業(yè)等)對所呈現(xiàn)數(shù)據(jù)的特殊監(jiān)管及合規(guī)性要求。比如億信元數(shù)據(jù)管理平臺(tái)（EsPowerMeta）就提供了圖形化的元數(shù)據(jù)基礎(chǔ)分析以及高級應(yīng)用分析。

? ? ??除此以外，影響度分析，也是較為血緣關(guān)系應(yīng)用的一部分，其用來分析數(shù)據(jù)的下游流向。當(dāng)系統(tǒng)進(jìn)行升級改造時(shí)，能動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)變更、刪除及時(shí)告知下游系統(tǒng)。通過依賴數(shù)據(jù)的影響性分析，可以快速定位出元數(shù)據(jù)修改會(huì)影響到哪些下游系統(tǒng)，哪些表和哪些字段。從而減少系統(tǒng)升級改造帶來的風(fēng)險(xiǎn)。

? ? ??2.數(shù)據(jù)地圖

? ? ??數(shù)據(jù)地圖在整個(gè)數(shù)據(jù)體系中，承擔(dān)的是一種管理者的角色，通過圖形化的方式來展示數(shù)據(jù)信息，并標(biāo)明數(shù)據(jù)計(jì)算中所必要的各種信息參數(shù)，不僅數(shù)據(jù)開發(fā)人員可以使用，對于產(chǎn)品和運(yùn)營來說也是非常友好的。它包含的內(nèi)容有如下幾個(gè)部分：

? ? ??（1）快速的搜索定位：通過搜索引擎的方式來查找相關(guān)數(shù)據(jù)，支持精確查詢、模糊查詢、表名查詢、字段查詢、備注查詢等方式；

? ? ??（2）標(biāo)準(zhǔn)化的圖形展示：采用圖形化的方式來組織頁面邏輯，例如采用類似Wifi圖標(biāo)的形式來標(biāo)注數(shù)據(jù)質(zhì)量級別，肉眼可見的便捷，方便使用者所需要的關(guān)鍵信息；

? ? ??（3）積累歷史數(shù)據(jù)信息：在很多場景下，歷史數(shù)據(jù)是不需要重復(fù)計(jì)算的，直接拉取能夠極大的避免重復(fù)開發(fā)。例如針對新用戶的統(tǒng)計(jì)，可以拉取歷史用戶信息，和每日用戶登錄日志進(jìn)行關(guān)聯(lián)，用于生產(chǎn)每日新增用戶；

? ? ??（4）直接關(guān)聯(lián)分析工具：因?yàn)閿?shù)據(jù)的信息直接存儲(chǔ)在平臺(tái)上，因而可以調(diào)用報(bào)表插件來快速看到直觀的報(bào)表信息，不需要二次加工開發(fā)，很大的提升了開發(fā)的效率。

? ? ??有了這些，業(yè)務(wù)人員可以了解企業(yè)的數(shù)據(jù)有哪些，通過數(shù)據(jù)的業(yè)務(wù)內(nèi)涵更好地理解數(shù)據(jù)；技術(shù)人員可以掌握數(shù)據(jù)的整體情況，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)建立數(shù)據(jù)庫表，實(shí)現(xiàn)落標(biāo)，達(dá)到數(shù)據(jù)標(biāo)準(zhǔn)化。數(shù)據(jù)血緣和數(shù)據(jù)地圖將會(huì)使數(shù)據(jù)脈絡(luò)格外清晰，再也不會(huì)覺得數(shù)據(jù)一團(tuán)亂麻了。

? ? ??— 06 —小結(jié)

? ? ??如何從數(shù)據(jù)中探索信息、發(fā)現(xiàn)知識，尋找隱藏在數(shù)據(jù)中的趨勢、模式、相關(guān)性及隱含規(guī)律，都要我們用于更好的數(shù)據(jù)洞察力，而這種洞察力的基礎(chǔ)來自我們對元數(shù)據(jù)的理解。

? ? ??元數(shù)據(jù)是用數(shù)據(jù)管理數(shù)據(jù)，是快速查找數(shù)據(jù)、精確定位數(shù)據(jù)、準(zhǔn)確理解數(shù)據(jù)和有效使用數(shù)據(jù)的關(guān)鍵。元數(shù)據(jù)管理還須符合數(shù)據(jù)標(biāo)準(zhǔn)、較高的數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享、合理順滑管理流程。在存儲(chǔ)、計(jì)算和人力成本合理可控、可管理的前提下，使數(shù)據(jù)價(jià)值得最大發(fā)揮，是數(shù)據(jù)全生命周期管理重要組成部分，是提升數(shù)據(jù)價(jià)值發(fā)揮的前提，是數(shù)據(jù)治理的基石。