大數(shù)據(jù)時代的到來意味著數(shù)據(jù)的海量性和復雜性，也意味著對原數(shù)據(jù)處理過程的更高要求。

例如金融大數(shù)據(jù)，特別是銀行大數(shù)據(jù)建設過程中，必然遇到數(shù)據(jù)種類繁雜，體量龐大，多組件的ETL交叉加工。隨著平臺在應用上的不斷推廣創(chuàng)新，作為基礎的數(shù)據(jù)也會隨之飛速增長，增長的數(shù)據(jù)帶來數(shù)據(jù)血緣不清晰，數(shù)據(jù)重復存儲加工，數(shù)據(jù)口徑混亂，數(shù)據(jù)質量參差不齊等一系列問題。而要解決這個問題，就要做好最核心的元數(shù)據(jù)管理。

對企業(yè)來說，一個小小的元數(shù)據(jù)可能造成巨大的損失，也可能創(chuàng)造無限的便利。今天小億就來為大家說說什么是元數(shù)據(jù)？元數(shù)據(jù)的作用是什么？如何管理元數(shù)據(jù)，以及元數(shù)據(jù)的應用都有哪些？

一、什么是元數(shù)據(jù)？

元數(shù)據(jù)是關于數(shù)據(jù)的數(shù)據(jù)，是為了描述數(shù)據(jù)的相關信息而存在的數(shù)據(jù)。

元數(shù)據(jù)不僅僅表示數(shù)據(jù)的類型、名稱、值等信息，它可以理解為是一組用來描述數(shù)據(jù)的信息組/數(shù)據(jù)組，該信息組/數(shù)據(jù)組中的一切數(shù)據(jù)、信息，都描述/反映了某個數(shù)據(jù)的某方面特征，則該信息組/數(shù)據(jù)組可稱為一個元數(shù)據(jù)。

例如：元數(shù)據(jù)可以為數(shù)據(jù)說明其元素或屬性（名稱、大小、數(shù)據(jù)類型等），或其結構（長度、字段、數(shù)據(jù)列），或其相關數(shù)據(jù)（位于何處、如何聯(lián)系、擁有者）。在日常生活中，元數(shù)據(jù)無所不在。只要有一類事物，就可以定義一套元數(shù)據(jù)。

除此以外，在數(shù)據(jù)倉庫體系中，元數(shù)據(jù)代表了一種統(tǒng)計數(shù)據(jù)從元數(shù)據(jù)、數(shù)據(jù)倉庫到數(shù)據(jù)應用的全鏈路信息，記錄了統(tǒng)計數(shù)據(jù)從產生到展示的全部過程。可以說，有了元數(shù)據(jù)，開發(fā)人員便可以方便的找到統(tǒng)計數(shù)據(jù)背后的計算邏輯與過程，用于指導開發(fā)工作并追蹤數(shù)據(jù)問題，可以極大的提升工作的效率。

二、元數(shù)據(jù)都有哪些類型？

元數(shù)據(jù)按照其描述對象的不同可以分為三大類，分別是“技術元數(shù)據(jù)”、“業(yè)務員數(shù)據(jù)”、“管理元數(shù)據(jù)”。

1.技術元數(shù)據(jù)

技術元數(shù)據(jù)主要是描述系統(tǒng)中技術領域的相關概念信息，包括數(shù)據(jù)結構、數(shù)據(jù)處理方面的特征描述，以及數(shù)據(jù)源接口、數(shù)據(jù)倉庫、數(shù)據(jù)集市、存儲等全面數(shù)據(jù)處理環(huán)節(jié)的信息。這類元數(shù)據(jù)主要被系統(tǒng)建設的技術人員使用。主要有以下幾類類型，如圖所示：

2.業(yè)務元數(shù)據(jù)

業(yè)務元數(shù)據(jù)主要用來描述記錄在系統(tǒng)中業(yè)務的相關概念等信息，包括業(yè)務術語、信息分類、指標定義、業(yè)務規(guī)則等內容。它提供了介于使用者和實際系統(tǒng)之間的語義層，使得不懂計算機技術的業(yè)務人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。這類元數(shù)據(jù)主要的使用者是業(yè)務人員和公司決策人員，主要有以下幾種類型，如圖所示：

3.管理元數(shù)據(jù)

管理元數(shù)據(jù)用來定義系統(tǒng)中涉及管理領域的相關概念等信息，包括人員角色、崗位職責等內容，例如對項目管理、IT運維、IT資源設備等相關信息的描述，這里元數(shù)據(jù)主要被企業(yè)IT部門的管理人員使用。利用此類元數(shù)據(jù)可以進行工作分配、網(wǎng)絡資源等方面的管理。

管理元數(shù)據(jù)進一步細分又可以劃分出認責元數(shù)據(jù)、稽核元數(shù)據(jù)、安全元數(shù)據(jù)、操作元數(shù)據(jù)、存儲元數(shù)據(jù)等分類。例如操作元數(shù)據(jù)有系統(tǒng)執(zhí)行日志；訪問模式、訪問頻率和執(zhí)行時間；程序名稱和描述；版本維護等；備份、歸檔時間、歸檔存儲信息等。

不管分類如何變化，實質性內容都是圍繞數(shù)據(jù)的統(tǒng)一定義、數(shù)據(jù)的標準規(guī)范、數(shù)據(jù)的處理過程、數(shù)據(jù)從存儲要求、數(shù)據(jù)的安全管理要求等等內容進行規(guī)范管理。

三、元數(shù)據(jù)的作用是什么？

在大數(shù)據(jù)時代的背景下，數(shù)據(jù)即資產，元數(shù)據(jù)實現(xiàn)了信息的描述和分類的格式化，從而為機器處理創(chuàng)造了可能，它能幫助企業(yè)更好地對數(shù)據(jù)資產進行管理，理清數(shù)據(jù)之間的關系。在傳統(tǒng)意義上，元數(shù)據(jù)有兩方面的用處：

第一，幫助數(shù)據(jù)平臺了解自己本身的情況。例如：有哪些數(shù)據(jù)、存儲的數(shù)據(jù)有多大、如何找到所需要的數(shù)據(jù)、數(shù)據(jù)何時產出等等信息，當我們拿到這些信息后，就可以做對應運維報警等工作。

第二，幫助數(shù)據(jù)平臺制定數(shù)據(jù)統(tǒng)計的標準。例如：數(shù)據(jù)口徑如何統(tǒng)一、計算指標如何統(tǒng)一、數(shù)據(jù)之間的關系如何、數(shù)據(jù)的上下游關聯(lián)數(shù)據(jù)是什么等等信息，打通了上下游數(shù)據(jù)之間的關聯(lián)關系，就可以為數(shù)據(jù)質量及維護可視化奠定基礎。

四、如何管理元數(shù)據(jù)？

元數(shù)據(jù)也是根據(jù)實際業(yè)務場景定義屬性，元數(shù)據(jù)會有通用的屬性，比如名稱、類型，不同類型的元數(shù)據(jù)還會有自己特定的屬性。元數(shù)據(jù)既然也是數(shù)據(jù)，肯定是存儲在數(shù)據(jù)庫中的。元數(shù)據(jù)存儲庫是指存儲元數(shù)據(jù)的物理數(shù)據(jù)庫表，通常采用開源的關系型數(shù)據(jù)庫（MySQL）實現(xiàn)元數(shù)據(jù)存儲，下面從幾個方面展開說說如何管理元數(shù)據(jù)：

1.確定元數(shù)據(jù)范圍

首先確定元數(shù)據(jù)來源范圍，在實際的工作中，不是所有數(shù)據(jù)都是要做元數(shù)據(jù)管理，通常我們會選擇業(yè)務數(shù)據(jù)做元數(shù)據(jù)管理，非業(yè)務數(shù)據(jù)是不會納入管理范圍內的，主要還是因為元數(shù)據(jù)管理是提供業(yè)務和開發(fā)人員快速掌握業(yè)務數(shù)據(jù)。

確定規(guī)則后，就要結合公司的實際情況去梳理哪些業(yè)務系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)庫用戶、哪些表需要做元數(shù)據(jù)管理。當然也可以支持非結構化的元數(shù)據(jù)抽取，例如：word、pdf等。

2.接入元數(shù)據(jù)

元數(shù)據(jù)從哪接入，一般都是從源系統(tǒng)接入。假如公司已經(jīng)存在數(shù)倉或者實時性要求不高，為了節(jié)約開發(fā)工作量，對于已有的元數(shù)據(jù)會從數(shù)倉接入，還未接入的會從源系統(tǒng)進行接入。但這種方案也是存在風險的，假如數(shù)倉的數(shù)據(jù)和源系統(tǒng)出現(xiàn)不一致，就會導致元數(shù)據(jù)出錯。現(xiàn)在大部分的元數(shù)據(jù)抽取都是采用配置自動化的方式進行。

那就不得不提億信華辰的元數(shù)據(jù)管理系統(tǒng)，它完美地實現(xiàn)了數(shù)據(jù)的自動化采集，提供多種數(shù)據(jù)庫適配器，實現(xiàn)元數(shù)據(jù)的管理、分析與采集，可以從Oracle、MySQL、SQL Server等數(shù)據(jù)庫中采集數(shù)據(jù)，從excel文本中采集，并且還內置Hbase等分部署數(shù)據(jù)庫采集適配器，可滿足不同場景的業(yè)務需求。

3.建立元數(shù)據(jù)標準

在梳理的過程中可能會出現(xiàn)有些數(shù)據(jù)庫或者有些數(shù)據(jù)定義不規(guī)范的情況，導致元數(shù)據(jù)管理無法進行下去。那接下來需要建立元數(shù)據(jù)的管理規(guī)范，去反推前端的源數(shù)據(jù)進行整改，主要是保證元數(shù)據(jù)的完整性和一致性。

針對不同的類型的公司要求，元數(shù)據(jù)會開放給不同的人群，所以要對元數(shù)據(jù)進行權限管理，規(guī)范里面就需定義權限的管理流程：元數(shù)據(jù)的權限分層、元數(shù)據(jù)權限申請流程、元數(shù)據(jù)的發(fā)布流程、元數(shù)據(jù)的審核流程。

4.元數(shù)據(jù)的維護

元數(shù)據(jù)維護主要是對已經(jīng)發(fā)布的元數(shù)據(jù)進行維護管理，已經(jīng)發(fā)布上線的元數(shù)據(jù)，如需調整、優(yōu)化則必須重新走元數(shù)據(jù)發(fā)布流程，不準許對元數(shù)據(jù)進行直接修改。為了安全，元數(shù)據(jù)所有操作行為都要記錄到元數(shù)據(jù)操作日志里面。

可以對元數(shù)據(jù)創(chuàng)建目錄將不同的元數(shù)據(jù)掛在對應的目錄下，按照業(yè)務流程、業(yè)務主題域、開發(fā)流程設計對應的目錄，主要還是根據(jù)公司要求設計。

5.元數(shù)據(jù)的查找、分析、報告

有單獨的頁面支持元數(shù)據(jù)的模糊或精準快速查找，通過輸入關鍵信息查找對應的元數(shù)據(jù)。還可以將元數(shù)據(jù)作為數(shù)據(jù)資產的一類，因此我們需要產出元數(shù)據(jù)資產報告，從報告中能夠快速的了解元數(shù)據(jù)訪問熱度、數(shù)據(jù)價值、數(shù)據(jù)成本、數(shù)據(jù)分布等相關信息。

在這里億信華辰的元數(shù)據(jù)管理平臺內置全文搜索引擎，讓各層次用戶可快速定位自己所關心的元數(shù)據(jù)。該管理平臺支持基于名稱、基本屬性、元數(shù)據(jù)間關系查找的同時，還支持全文搜索。通過多種組合條件的模糊查詢，即可在整個元數(shù)據(jù)環(huán)境中隨時檢索所需元數(shù)據(jù)。

五、元數(shù)據(jù)的應用都有哪些？

企業(yè)業(yè)務多樣、產品紛繁復雜，在各類系統(tǒng)和應用中形成了大量的數(shù)據(jù)。有了元數(shù)據(jù)，我們就可以了解企業(yè)擁有什么數(shù)據(jù)，數(shù)據(jù)表示什么、數(shù)據(jù)來自何處、它如何在系統(tǒng)中流轉等等，進行元數(shù)據(jù)管理、構建元數(shù)據(jù)應用，如業(yè)務術語、數(shù)據(jù)標準、數(shù)據(jù)字典、數(shù)據(jù)資產目錄、數(shù)據(jù)血緣分析、數(shù)據(jù)地圖等。下面我們主要說說數(shù)據(jù)血緣關系和數(shù)據(jù)地圖。

1.數(shù)據(jù)血緣分析

數(shù)據(jù)血緣是元數(shù)據(jù)的重要應用，數(shù)據(jù)血緣能夠說明數(shù)據(jù)與數(shù)據(jù)之間的關系，比如說這張表是從某個系統(tǒng)抽取過來的，這個字段和那個字段有什么關系，包含了集群血緣關系、系統(tǒng)血緣關系、表級血緣關系和字段血緣關系，其指向數(shù)據(jù)的上游來源，向上游追根溯源。

向上、向下表級、字段級別的追溯數(shù)據(jù)，能清晰展現(xiàn)數(shù)據(jù)加工處理邏輯脈絡，快速定位數(shù)據(jù)異常字段影響范圍，準確圈定最小范圍數(shù)據(jù)回溯，降低了理解數(shù)據(jù)和解決數(shù)據(jù)問題的成本。血緣分析可以滿足許多行業(yè)(包括醫(yī)療、金融、銀行和制造業(yè)等)對所呈現(xiàn)數(shù)據(jù)的特殊監(jiān)管及合規(guī)性要求。比如億信元數(shù)據(jù)管理平臺（EsPowerMeta）就提供了圖形化的元數(shù)據(jù)基礎分析以及高級應用分析。

除此以外，影響度分析，也是較為血緣關系應用的一部分，其用來分析數(shù)據(jù)的下游流向。當系統(tǒng)進行升級改造時，能動態(tài)數(shù)據(jù)結構變更、刪除及時告知下游系統(tǒng)。通過依賴數(shù)據(jù)的影響性分析，可以快速定位出元數(shù)據(jù)修改會影響到哪些下游系統(tǒng)，哪些表和哪些字段。從而減少系統(tǒng)升級改造帶來的風險。

2.數(shù)據(jù)地圖

數(shù)據(jù)地圖在整個數(shù)據(jù)體系中，承擔的是一種管理者的角色，通過圖形化的方式來展示數(shù)據(jù)信息，并標明數(shù)據(jù)計算中所必要的各種信息參數(shù)，不僅數(shù)據(jù)開發(fā)人員可以使用，對于產品和運營來說也是非常友好的。它包含的內容有如下幾個部分：

（1）快速的搜索定位：通過搜索引擎的方式來查找相關數(shù)據(jù)，支持精確查詢、模糊查詢、表名查詢、字段查詢、備注查詢等方式；

（2）標準化的圖形展示：采用圖形化的方式來組織頁面邏輯，例如采用類似Wifi圖標的形式來標注數(shù)據(jù)質量級別，肉眼可見的便捷，方便使用者所需要的關鍵信息；

（3）積累歷史數(shù)據(jù)信息：在很多場景下，歷史數(shù)據(jù)是不需要重復計算的，直接拉取能夠極大的避免重復開發(fā)。例如針對新用戶的統(tǒng)計，可以拉取歷史用戶信息，和每日用戶登錄日志進行關聯(lián)，用于生產每日新增用戶；

（4）直接關聯(lián)分析工具：因為數(shù)據(jù)的信息直接存儲在平臺上，因而可以調用報表插件來快速看到直觀的報表信息，不需要二次加工開發(fā)，很大的提升了開發(fā)的效率。

有了這些，業(yè)務人員可以了解企業(yè)的數(shù)據(jù)有哪些，通過數(shù)據(jù)的業(yè)務內涵更好地理解數(shù)據(jù)；技術人員可以掌握數(shù)據(jù)的整體情況，根據(jù)數(shù)據(jù)標準建立數(shù)據(jù)庫表，實現(xiàn)落標，達到數(shù)據(jù)標準化。數(shù)據(jù)血緣和數(shù)據(jù)地圖將會使數(shù)據(jù)脈絡格外清晰，再也不會覺得數(shù)據(jù)一團亂麻了。

六、小結

如何從數(shù)據(jù)中探索信息、發(fā)現(xiàn)知識，尋找隱藏在數(shù)據(jù)中的趨勢、模式、相關性及隱含規(guī)律，都要我們用于更好的數(shù)據(jù)洞察力，而這種洞察力的基礎來自我們對元數(shù)據(jù)的理解。

元數(shù)據(jù)是用數(shù)據(jù)管理數(shù)據(jù)，是快速查找數(shù)據(jù)、精確定位數(shù)據(jù)、準確理解數(shù)據(jù)和有效使用數(shù)據(jù)的關鍵。元數(shù)據(jù)管理還須符合數(shù)據(jù)標準、較高的數(shù)據(jù)質量、數(shù)據(jù)安全、數(shù)據(jù)共享、合理順滑管理流程。在存儲、計算和人力成本合理可控、可管理的前提下，使數(shù)據(jù)價值得最大發(fā)揮，是數(shù)據(jù)全生命周期管理重要組成部分，是提升數(shù)據(jù)價值發(fā)揮的前提，是數(shù)據(jù)治理的基石。

在過去，億信華辰成功幫助佛山某區(qū)政務服務數(shù)據(jù)管理局搭建了元數(shù)據(jù)管理平臺，本項目通過元數(shù)據(jù)管理平臺，梳理各類數(shù)據(jù)來源，實現(xiàn)衛(wèi)計委、工商局、流管局等各政府部門的元數(shù)據(jù)自動采集，理清現(xiàn)有的數(shù)據(jù)流轉流程和數(shù)據(jù)架構，并基于其構建一套新的數(shù)據(jù)架構，同時提供數(shù)據(jù)血緣分析、影響分析等，最后形成全區(qū)的政務數(shù)據(jù)地圖，為后續(xù)數(shù)據(jù)標準建設，數(shù)據(jù)質量管理打下堅實的基礎，并為政務資源目錄、自主填報系統(tǒng)、教育無紙化等應用提供支撐。