簡(jiǎn)而言之，數(shù)據(jù)目錄就是關(guān)于企業(yè)數(shù)據(jù)資產(chǎn)的一個(gè)有序清單。它可以使用元數(shù)據(jù)來幫助企業(yè)管理數(shù)據(jù)，幫助數(shù)據(jù)專業(yè)人員收集、組織、訪問和充實(shí)元數(shù)據(jù)，從而為數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)治理提供支持。

在上文我們簡(jiǎn)單介紹數(shù)據(jù)目錄的定義，也就是使用元數(shù)據(jù)來幫助企業(yè)管理數(shù)據(jù)。接下來，我們使用圖書館作類比，帶您詳細(xì)了解數(shù)據(jù)目錄。當(dāng)您前往圖書館查找某一圖書時(shí)，您可以使用圖書目錄來查找該圖書是否存在，了解它的版本、位置以及相關(guān)描述。您可以使用所有這些信息來決定是否真的需要這本書，了解如何找到它。當(dāng)今的許多對(duì)象存儲(chǔ)、數(shù)據(jù)庫和數(shù)據(jù)倉庫就相當(dāng)于一座座圖書館。

我們?cè)倩氐綀D書館和圖書目錄。現(xiàn)在，我們對(duì)圖書目錄進(jìn)行擴(kuò)展，涵蓋整個(gè)國家的所有圖書館。想象一下，這樣您就可以在一個(gè)界面中查找整個(gè)國家中儲(chǔ)藏了您所需圖書的所有圖書館，查找關(guān)于您所需的每一本圖書的所有詳細(xì)信息。

企業(yè)數(shù)據(jù)目錄之于數(shù)據(jù)，正如圖書目錄之于圖書。它可以為您提供一個(gè)整體視圖，提供關(guān)于您所有數(shù)據(jù)的深度可見性，而不僅僅是一次只查看某一項(xiàng)數(shù)據(jù)。

您為什么需要這樣一個(gè)視圖呢？

與過去相比，想從如今前所未有的數(shù)據(jù)海洋中找到正確的數(shù)據(jù)更加困難。同時(shí)，關(guān)于數(shù)據(jù)的監(jiān)管條例和法規(guī)（例如 GDPR）也比過去更多、更嚴(yán)格。在這一背景下，除了數(shù)據(jù)訪問之外，數(shù)據(jù)治理也成為了一個(gè)嚴(yán)峻的挑戰(zhàn)。您不僅要了解當(dāng)前您所擁有數(shù)據(jù)的類型、哪些人在移動(dòng)數(shù)據(jù)、數(shù)據(jù)的用途以及如何保護(hù)數(shù)據(jù)，還必須避免過多的數(shù)據(jù)層和封裝，避免數(shù)據(jù)因太難使用而毫無用處。遺憾的是，很多企業(yè)和用戶在查找和訪問數(shù)據(jù)上面臨著很多問題，包括：

• 需耗費(fèi)大量時(shí)間和精力查找和訪問數(shù)據(jù)
• 數(shù)據(jù)湖變成了數(shù)據(jù)沼澤
• 無通用業(yè)務(wù)詞匯
• 難以理解“黑暗數(shù)據(jù)”的結(jié)構(gòu)和類別
• 難以評(píng)估數(shù)據(jù)來源
• 質(zhì)量和可靠性
• 無法捕獲部落知識(shí)或丟失的知識(shí)
• 難以重用知識(shí)和數(shù)據(jù)資產(chǎn)
• 需手動(dòng)和臨時(shí)進(jìn)行數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)管理員和首席數(shù)據(jù)官等用戶無不受到以上數(shù)據(jù)管理問題的困擾，無不希望能夠輕松訪問可靠的數(shù)據(jù)。他們面臨的一些常見的挑戰(zhàn)包括：

數(shù)據(jù)工程師想知道任意更改將對(duì)整個(gè)系統(tǒng)產(chǎn)生哪些影響，他們可能會(huì)問：

• 我們 CRM 應(yīng)用中的模式變更將產(chǎn)生哪些影響？
• Peoplesoft 和 HCM 數(shù)據(jù)結(jié)構(gòu)有何不同？

數(shù)據(jù)科學(xué)家希望能夠輕松訪問數(shù)據(jù)并進(jìn)一步了解數(shù)據(jù)質(zhì)量，他們想了解以下信息：

• 從何處可以找到和查看一些地理位置數(shù)據(jù)？
• 如何輕松訪問數(shù)據(jù)湖中的數(shù)據(jù)？

數(shù)據(jù)管理員負(fù)責(zé)管理數(shù)據(jù)流程，關(guān)注概念、利益相關(guān)者間協(xié)議以及數(shù)據(jù)生命周期管理。他們希望了解：

• 我們是否真的在改善運(yùn)營數(shù)據(jù)質(zhì)量？
• 我們是否為重要的關(guān)鍵數(shù)據(jù)元素定義了標(biāo)準(zhǔn)？

首席數(shù)據(jù)官關(guān)心哪些人在組織中做了哪些事，一般不使用數(shù)據(jù)目錄。但是，他們?nèi)匀幌Ｍ私猓?

• 哪些人可以訪問客戶的個(gè)人信息？
• 我們是否為所有數(shù)據(jù)定義了保留策略？

有了數(shù)據(jù)目錄，這些問題就能迎刃而解。

數(shù)據(jù)目錄使用場(chǎng)景

在過去幾年中，隨著需要管理和訪問的數(shù)據(jù)的數(shù)量日益增長(zhǎng)，數(shù)據(jù)目錄這一概念開始流行起來。在這一切的背后，是云、大數(shù)據(jù)分析、人工智能和機(jī)器學(xué)習(xí)正逐漸改變?nèi)藗儾榭础⒐芾砗褪褂脭?shù)據(jù)的方式 — 不僅要管理數(shù)據(jù)，還要訪問和充分利用數(shù)據(jù)。

使用數(shù)據(jù)目錄，您可以更好地使用數(shù)據(jù)，獲得以下優(yōu)勢(shì)：

• 節(jié)省成本
• 提高運(yùn)營效率
• 增強(qiáng)競(jìng)爭(zhēng)優(yōu)勢(shì)
• 改善客戶體驗(yàn)
• 減少欺詐，降低風(fēng)險(xiǎn)

等等，這些只是數(shù)據(jù)目錄的一部分使用場(chǎng)景。實(shí)際上，數(shù)據(jù)目錄的使用方式多種多樣。從根本上說，它的宗旨就是提供更廣泛的數(shù)據(jù)可見性和更深入的數(shù)據(jù)訪問支持。

1 自助分析：

許多用戶難以找到正確的數(shù)據(jù)，同時(shí)，除了查找數(shù)據(jù)外，他們還難以判斷數(shù)據(jù)是否有用。例如，您可能會(huì)發(fā)現(xiàn)一個(gè)名為 customer_info.csv 的文件，而又恰好需要一個(gè)關(guān)于客戶的文件。但這并不意味著它就是您需要的，它可能只是 50 個(gè)類似文件中的一個(gè)。同時(shí)，該文件可能包含許多字段，您可能并不了解所有這些數(shù)據(jù)元素代表什么。對(duì)此，您需要通過一種更簡(jiǎn)單的方法來查看數(shù)據(jù)的業(yè)務(wù)上下文，例如它是否是來自正確的數(shù)據(jù)存儲(chǔ)的托管資源以及它與其他數(shù)據(jù)工件之間的關(guān)系。

數(shù)據(jù)發(fā)現(xiàn)還包括通過各種方式來理解數(shù)據(jù)的形態(tài)和特征，例如簡(jiǎn)單的值分布和統(tǒng)計(jì)信息，或者重要且復(fù)雜的個(gè)人身份信息 (PII) 或個(gè)人健康信息 (PHI)。

2 審計(jì)、合規(guī)和變更管理：

隨著關(guān)于數(shù)據(jù)的政府監(jiān)管法規(guī)數(shù)量不斷增長(zhǎng)，企業(yè)經(jīng)常需要證明數(shù)據(jù)的來源，例如特定數(shù)據(jù)工件的來源，或在實(shí)現(xiàn)最終目標(biāo)之前進(jìn)行了哪些數(shù)據(jù)轉(zhuǎn)換；在查看表格、報(bào)告或文件時(shí)，數(shù)據(jù)用戶通常也希望理解數(shù)據(jù)的具體來源以及數(shù)據(jù)通過各種方式在整個(gè)組織中的移動(dòng)過程。同時(shí)，對(duì)于變更管理來說，一項(xiàng)重要任務(wù)就是查看數(shù)據(jù)管道中某部分的變更將如何影響系統(tǒng)的其他部分。這就是為什么客戶希望詳細(xì)了解數(shù)據(jù)沿襲的原因。

3 使用業(yè)務(wù)術(shù)語表增強(qiáng)數(shù)據(jù)治理：

如今大多數(shù)企業(yè)都建立了一個(gè)所有人都認(rèn)可的術(shù)語表，就業(yè)務(wù)概念達(dá)成了一致。通常，業(yè)務(wù)術(shù)語表記錄在 Excel 工作簿中。其實(shí)，數(shù)據(jù)目錄比 Excel 工作簿更適合存儲(chǔ)和管理這一重要業(yè)務(wù)信息。

此外，數(shù)據(jù)目錄還支持在業(yè)務(wù)術(shù)語之間建立鏈接，從而創(chuàng)建分類；可以記錄業(yè)務(wù)術(shù)語與實(shí)物資產(chǎn)（例如表和列）之間的關(guān)系；可以幫助用戶理解哪些業(yè)務(wù)概念與哪些技術(shù)工件相關(guān)；可以幫助用戶按業(yè)務(wù)概念線對(duì)數(shù)據(jù)資產(chǎn)分類，隨后直接使用業(yè)務(wù)概念（而不是技術(shù)名稱）來進(jìn)行數(shù)據(jù)搜索和發(fā)現(xiàn)。數(shù)據(jù)目錄讓用戶可以看到與數(shù)據(jù)相關(guān)的所有內(nèi)容，增強(qiáng)對(duì)所查看內(nèi)容的信任度，為數(shù)據(jù)治理奠定一個(gè)絕佳的起點(diǎn)。

許多人可能不熟悉元數(shù)據(jù)，我們有必要先介紹一些簡(jiǎn)單的概念。元數(shù)據(jù)是什么？元數(shù)據(jù)分為 3 類：

技術(shù)元數(shù)據(jù)：模式、表、列、文件名、報(bào)告名 — 源系統(tǒng)中記錄的所有信息

業(yè)務(wù)元數(shù)據(jù)：通常指用戶具備的關(guān)于組織資產(chǎn)的業(yè)務(wù)知識(shí)，包括業(yè)務(wù)描述、備注、注釋、分類、適用性、評(píng)級(jí)等等。

操作元數(shù)據(jù)：這一對(duì)象的刷新時(shí)間？它由哪一個(gè) ETL 作業(yè)創(chuàng)建？表格被訪問次數(shù)有多少？具體有哪些？

在過去幾年里，這些寶貴的元數(shù)據(jù)的使用方式發(fā)生了一次細(xì)微的變革。曾經(jīng)，元數(shù)據(jù)僅用于審計(jì)、來歷追溯和報(bào)告。如今，無服務(wù)器處理、圖形數(shù)據(jù)庫等技術(shù)創(chuàng)新，尤其是全新、更加便捷的 AI 和機(jī)器學(xué)習(xí)技術(shù)正在突破元數(shù)據(jù)的界限，帶來新的可能。

在今天，元數(shù)據(jù)可增強(qiáng)數(shù)據(jù)管理。從自助數(shù)據(jù)準(zhǔn)備到角色和數(shù)據(jù)內(nèi)容庫訪問控制，自動(dòng)化數(shù)據(jù)打通，異常監(jiān)視和警報(bào)，自動(dòng)化資源供應(yīng)和擴(kuò)展等等，元數(shù)據(jù)可以全面增強(qiáng)所有這些功能。數(shù)據(jù)目錄可以使用元數(shù)據(jù)幫助您實(shí)現(xiàn)比數(shù)據(jù)管理更強(qiáng)大的功能。

一個(gè)優(yōu)秀的數(shù)據(jù)目錄應(yīng)當(dāng)具備以下功能：

1 數(shù)據(jù)搜索和發(fā)現(xiàn)：數(shù)據(jù)目錄應(yīng)當(dāng)具備靈活的搜索和過濾選項(xiàng)，從而賦能用戶快速找到相關(guān)數(shù)據(jù)集，以實(shí)施數(shù)據(jù)科學(xué)、分析或數(shù)據(jù)工程；按照數(shù)據(jù)資產(chǎn)的技術(shù)層級(jí)來瀏覽元數(shù)據(jù)。此外，如支持用戶輸入技術(shù)信息、自定義標(biāo)簽或業(yè)務(wù)術(shù)語，數(shù)據(jù)目錄可以進(jìn)一步改善搜索功能。

2 從各種數(shù)據(jù)源收集元數(shù)據(jù)：請(qǐng)確保您的數(shù)據(jù)目錄可以從各種互聯(lián)數(shù)據(jù)資產(chǎn)中收集技術(shù)元數(shù)據(jù)，包括對(duì)象存儲(chǔ)、自治駕駛數(shù)據(jù)庫、本地部署系統(tǒng)等等。

3 元數(shù)據(jù)管理：數(shù)據(jù)目錄應(yīng)支持主題專家通過企業(yè)業(yè)務(wù)術(shù)語表、標(biāo)簽、關(guān)聯(lián)、用戶自定義注釋、分類、評(píng)級(jí)等形式來貢獻(xiàn)業(yè)務(wù)知識(shí)。

4 自動(dòng)化和數(shù)據(jù)智能：對(duì)于大規(guī)模數(shù)據(jù)，人工智能和機(jī)器學(xué)習(xí)通常必不可少。因此，數(shù)據(jù)目錄應(yīng)利用 AI 和機(jī)器學(xué)習(xí)技術(shù)來處理所收集的元數(shù)據(jù)，讓所有可以自動(dòng)化的手動(dòng)任務(wù)都實(shí)現(xiàn)自動(dòng)化。此外，人工智能和機(jī)器學(xué)習(xí)還可以切實(shí)增強(qiáng)數(shù)據(jù)功能，例如為數(shù)據(jù)目錄用戶以及現(xiàn)代化數(shù)據(jù)平臺(tái)上其他服務(wù)的用戶提供數(shù)據(jù)建議。

5 企業(yè)級(jí)功能：您需要利用強(qiáng)大的企業(yè)級(jí)功能來正確使用您至關(guān)重要的數(shù)據(jù)資產(chǎn)，例如身份與訪問管理功能以及基于 REST API 的重要功能。同時(shí)，這還意味著客戶和合作伙伴可以貢獻(xiàn)元數(shù)據(jù)（例如自定義收集器），通過 REST 公開其應(yīng)用中的數(shù)據(jù)目錄功能。

除此之外，您的數(shù)據(jù)目錄還應(yīng)當(dāng)成為事實(shí)上的系統(tǒng)目錄，從而為所有持久層（例如對(duì)象存儲(chǔ)、Hadoop、數(shù)據(jù)庫和數(shù)據(jù)倉庫）以及跨所有數(shù)據(jù)存儲(chǔ)運(yùn)行的查詢服務(wù)提供抽象。

正是因?yàn)槿绱耍瑪?shù)據(jù)目錄已不再僅僅是錦上添花，而是成為了一項(xiàng)必不可少的工具。