一 揮之不去的數據使用問題

我們不斷聽到關于大數據的爆炸式增長以及數據對任何領域的任何業務的重要性。但是，如此多的業務用戶根本不使用他們的數據，因為他們不知道自己擁有什么（是否有企業數據的最新清單？），他們找不到它（是否組織中的任何人都知道重要數據的位置？）或者他們只是不信任它（我們找到了它，但它來自哪里，它意味著什么？）。如果不能明確回答所有這些問題，那么，令人驚訝的是，您并不孤單！在大型組織中，數據不可避免地跨越多個系統，因此，IT 面臨著整合來自各種流程和系統的數據的挑戰性任務。例如，許多組織維護傳統和遺留系統，并通過云存儲、“大數據”Hadoop 集群和第三方供應商數據擴展其數據能力。這些數據存儲庫中的每一個都有自己的規則和要求。現代組織的數據供應鏈是海量、復雜和分散的。只需進行一次更改，例如第三方系統的數據推送切換，即可影響一系列業務流程。難怪組織在需要時難以確定正確的數據。然而，這些相同的組織需要以業務速度進行實時洞察，以做出明智的業務決策，以實現或保持競爭優勢。?

二 元數據管理基本知識

組織現在正在尋求用元數據來幫助解決這個問題。簡而言之，元數據只是關于數據的數據。它可以告訴我們各種數據屬性，包括數據所在的位置以及如何找到它。還記得通過識別作者、標題、主題或出版日期等信息（也稱為元數據）來查找書籍的日子嗎？卡片目錄是您在圖書館中搜索內容的首要地方。它會告訴我們在哪里可以找到這本書以及圖書館是如何組織的。如果卡片目錄告訴我們書籍是如何組織的，我們可以將集中式元數據門戶視為數據的卡片目錄。就像書籍駐留在圖書館、不同樓層、不同區域等一樣，數據以不同格式分散在企業的不同系統中。元數據應該存儲在中央位置，用于幫助組織標準化數據的定位方式。但是，在可以按類型組織元數據并了解其功能之前，需要回過頭來了解元數據的基本內容并定義數據。

1.元數據的類型

元數據允許組織描述和記錄數據，但大多數組織難以實施元數據解決方案。為了讓元數據幫助組織更好地理解、跟蹤和檢索數據，他們必須首先了解如何有效地構建元數據本身。首先要了解三種不同類型的元數據。

物理元數據：這是最直接處理數據的物理位置和存儲的元數據類型。它由可以由數據庫或任何移動、更改或存儲數據的技術應用程序自動填充的技術元數據組成。

邏輯元數據：這種類型的元數據涉及通過系統的數據流的設計。這可能包括模式或其他設計文檔，這些文檔描繪了數據應該如何從數據分析師或其他數據消費者的攝入到最終消費。該元數據可以從數據建模軟件或系統架構師那里獲取。

概念元數據：這種類型的元數據處理從業務角度理解的數據的含義和目的。它可以包括數據的典型用途，以及特定數據集在業務流程中的使用方式。這些信息中的大部分必須從業務用戶的頭腦中獲取。這三種類型的元數據代表了查看和理解數據的三個有利位置。為了充分利用您的數據資產，有必要獲取并保持更新所有三種類型的元數據。既然我們了解了如何管理元數據，我們就需要了解如何使用元數據。

2.元數據的功能

元數據可用于將基本信息匯總到高級功能。元數據使用方式的一些最常見示例包括搜索、瀏覽、聯合、訪問權限等。更高級的用法包括：

資源發現：使用相關標準元數據可用于查找數據資源，將相似資源聚集在一起，區分不相關資源并給出某些數據集的位置。

組織數據資源：元數據可用于根據主題組織來自各種數據源的數據文件和鏈接。促進和簡化軟件交換：可以使用元數據無縫搜索任何數據庫或網絡中的數據資源。

數據識別：使用文件名或 URL，元數據可用于查找任何數據對象的位置。

存檔和保存：元數據對于確保數據資源將繼續可訪問和可用至關重要。元數據或有關數據集沿襲的信息是歸檔和保存的關鍵要素。元數據管理不是一件容易的事，需要考慮很多。組織需要確保元數據存儲在可以訪問和索引的位置，以便輕松找到。元數據的質量需要保持一致，以便所有用戶都可以信任它，并且相同的數據需要隨著時間的推移保持最新。那么如何創建、維護、更新、存儲、發布和處理元數據呢？這就是強大的數據治理策略可以提供幫助的地方。

3.組織和定義數據

在可以使用元數據創建一個詞匯表來告訴組織數據的確切位置以及應該如何使用它之前，我們必須了解元數據的目的和對業務的價值。為了充分理解數據，必須對數據進行三角剖分——從三個不同的角度來看。從這些不同的角度收集元數據是全面了解數據在業務中的方式和位置的唯一方法：

物理數據視角：組織有多個數據庫，每個數據庫都有一個代碼，指定每組數據的確切位置。此模型中的元數據應包括有關每個系統所在位置以及某些數據集在每個系統中的位置的信息。通常，此類元數據可以從運行物理硬件的軟件自動派生。

邏輯數據視角：此類別應包含有關數據如何從 A 點傳輸到 B 點的元數據。本質上，它是一張地圖，告訴組織數據的來源、發生了什么以及隨著時間的推移它移動到哪里。邏輯數據模型顯示數據應如何流經組織，并為我們提供元數據來自何處以及如何轉換的藍圖。

概念數據視角：概念元數據應從業務角度傳達數據集的含義和目的。它應該告訴用戶數據的含義，它通常用于什么目的，它是什么時候創建的，它是否是最新的以及它是否是機密的等等。概念數據模型需要人工輸入來定義數據。它還要求用戶不斷更新此元數據，因為它會隨著時間而變化。例如，數據科學家可能會發現“舊”數據的新用途。在這種情況下，應更新用例元數據以反映數據的新用途。

為了有效地管理如此多的元數據，用戶必須能夠進入并建議更新，并提供適當的認證或批準流程。一旦一個組織從這些角度查看他們的數據，元數據模型就會開始形成。下一步是實施適當的數據治理解決方案來組織元數據并將其放置在集中存儲庫中。

4.元數據管理平臺

為了創建一個全面的數據詞匯表，為業務專業人員提供所有權維度的透明度，組織需要構建數據治理平臺。該平臺應促進數據所有者和數據消費者之間的流暢通信。此外，它應該具有廣泛的協作能力，讓用戶能夠獲得有關其數據的專業知識。該平臺應提供組織數據環境的全面視圖。通過向組織數據資產的各個方面提供透明度，業務用戶不僅可以了解其數據資產的詳細信息，還可以了解其數據質量以及與跨業務應用程序使用相關的風險。與任何公司資產一樣，需要當前的庫存和價值評估才能開始跟蹤和保護數據的過程。全面的當前元數據對于數據保護和安全至關重要。

最后，正確的平臺應該具有自動發現功能，能夠捕獲和監控元數據的變化。一旦發現更改，技術元數據關系就是構建業務沿襲的原材料，以便在業務環境中提供對數據的有意義的見解。通過適當的數據治理策略，企業可以成功地創建一個全面的數據治理詞匯表，其中包含出現在報告和應用程序等數據工件中的業務術語定義。數據治理的核心不僅僅是標準化的術語，而是監督數據和回答問題的人。這是通過分配負責組織和維護數據定義的數據所有者和數據管理員來實現的。

三 元數據管理基本構件

在信息時代的深處，趨勢以閃電般的速度發展和成熟。隨著大數據已成為常態，組織正在努力應對前所未有的數據量和速度，數據管理專業人士的最新流行語是“元數據管理”，這是有充分理由的。組織可以使用元數據來分類、管理和組織在其企業中收集的大量不同數據。此信息對于理解和有效部署資源以支持企業部門至關重要。元數據提供了關鍵信息，以實現真正的預測分析洞察力。

然而，管理元數據需要的遠不止數據治理工具。它需要適當的基礎、清晰的流程和合適的人員來執行工作。因此，元數據管理的構建既包括構成戰略的工具和技術，也包括人員和流程的結合，以創建支持和問責的文化。與任何重大業務計劃一樣，從一開始就需要改變思想和克服挑戰，這就是您不能等待的原因。

1.建立組織數據文化

當今企業在尋求實施數據計劃時面臨的一個典型挑戰是獲得高層管理人員的支持。另一個常見且相關的問題是實現或展示ROI所需的時間。在投資元數據管理時，將產生立竿見影的影響，盡管完整的投資回報率將在更長的時間內實現。正確管理元數據需要持久性，除非將流程構建到工作結構中，否則很少有組織能夠維持這種持久性。但是，如果完全實施，回報是可觀的，為組織提供更多的利潤和更高的運營效率、優化的數據利用率和數據資產的最大價值。組織很少有足夠的資源來同時為多個項目配備人員，而那些需要專業知識（例如數據科學家）的人需求量很大，從而造成了瓶頸。不僅人們在爭奪資源或分散在各個項目中，而且需要不同業務線之間廣泛參與和協作的項目進一步破壞了進展。運營被日常業務所消耗，營銷部門忙于創建活動和內容，IT 正在處理從數據到環境再到最終用戶支持的無數請求和優先級，而財務則埋在平衡賬目中。讓每個人同時在同一個房間討論、組織和定義數據幾乎是不可能的，更不用說大多數利益相關者的低優先級了。

2.鼓勵員工積極參與

那么如何讓每個部門不僅參與元數據管理，而且投入元數據管理？每個部門都需要意識到，適當的元數據管理將幫助他們找到隱藏在組織數據中的“金塊”，從而做出更好的業務決策和更高的盈利能力。如果找到正確的模式、趨勢、洞察力和可操作信息不足以激勵員工參與元數據管理，那么高層管理人員將不得不利用他們可以利用的所有資源來推動變革。這可以包括創建元數據工作的可見性、開辟職業道路以及創造性地建立與組織文化和政策相一致的短期和長期激勵措施。一旦組織獲得了上層管理人員的預算和支持，并為元數據管理可以與整個企業的員工和部門實現的目標奠定了基礎，他們就可以開始建立元數據管理基礎。

3.奠定元數據管理基礎

在啟動元數據管理程序時，組織內部或外部的人員必須處理三個基本步驟。它們是：

模型的設計和工具的實現：每個企業都是不同的，每個企業都需要確保他們的模型是定制的，以滿足他們的特定需求。元數據模型的架構師必須保證組織正在收集正確的元數據清單以解決他們各自的業務問題。此外，還必須配置該工具以滿足持續的業務需求。此步驟應由具有處理所有類型元數據經驗的內部專家或外部顧問處理。理想情況下，架構師直接向首席數據官 (CDO) 報告。

元數據的監督和管理：與任何項目一樣，需要指定一名項目經理來確保一切按計劃進行。在這種情況下，組織需要一位了解元數據模型的經理，以保證一旦設計了工具，就可以收集和正確維護正確的信息，并且按時正確完成工作。經理角色的技術含量不高，但可以確保元數據模型聯網在一起，以通過實現等提高設計的可用性。

元數據的采集：需要采集三種元數據。前兩種類型是物理元數據和邏輯元數據。物理元數據處理數據的位置，邏輯處理通過企業的數據流。邏輯元數據的數據沿襲提供了有關數據來自和去向的關鍵信息，這兩種類型本質上都是技術性的。因此，收集這些類型的元數據需要具有技術技能的分析師。許多物理和邏輯元數據在最初收集后可以自動刷新。另一方面，概念元數據處理從業務角度理解的數據的含義和目的。它是人們頭腦中的“數據”，必須從各行各業的實際人員那里收集。元數據架構師可以監督這項工作，但它需要是一項戰略性和協作性的工作。無論誰負責收集概念性元數據，都必須優先考慮并計劃首先針對哪些元數據，以快速獲取高價值信息。它涉及與來自不同業務線的人員進行一對一、小組或大型研討會的過程，以及收集和記錄他們的業務定義，以確保已知差異并記錄在案，從而避免對數據的錯誤假設不要導致錯誤的決定。以快速獲取高價值信息為目標。它涉及與來自不同業務線的人員進行一對一、小組或大型研討會的過程，以及收集和記錄他們的業務定義，以確保已知差異并記錄在案，從而避免對數據的錯誤假設不要導致錯誤的決定。以快速獲取高價值信息為目標。它涉及與來自不同業務線的人員進行一對一、小組或大型研討會的過程，以及收集和記錄他們的業務定義，以確保已知差異并記錄在案，從而避免對數據的錯誤假設不要導致錯誤的決定。一旦組織建立了元數據管理基礎，業務和技術用戶將能夠快速找到數據存儲庫以及有關其沿襲和可靠性的詳細信息，換句話說，數據來自哪里，如何到達那里，它進行了哪些轉換其質量水平及其與其他數據和報告的關系。

四 構建元數據業務案例

元數據正迅速成為數據管理領域的下一個轟動效應，對于大數據項目的成功至關重要。元數據包含對理解和有效部署跨組織數據至關重要的所有信息——例如意義和目的、沿襲、利用等信息。在企業數據環境中，支持有效的數據治理、確保合規性并滿足不斷增長的數據管理需求清單至關重要。我們討論了如何從元數據中提取價值，以及組織如何利用其元數據來優化數據計劃。但是，除非他們確信他們會看到顯著的投資回報 (ROI)，否則高層管理人員不太可能投資于元數據管理技術。為了幫助展示急需的投資回報率，下面將討論如何為元數據制作商業案例并展示價值。

1.構建元數據業務案例

企業有一個基本問題——他們的底線。執行領導層可能沒有意識到，投資元數據可以通過提高運營效率、優化數據安全性和最大化數據價值來提高他們的底線。以下是展示元數據重要性并幫助構建元數據業務案例的 4 個關鍵功能。

發現：在大數據環境中查找單個數據集可能是一個具有挑戰性的提議，但強大的元數據中央存儲庫使組織能夠快速輕松地搜索和發現他們需要的數據。通過使用元數據定義和標記數據集，可以更輕松地查找和確認數據對于特定用途是否有效。這提高了運營效率，使組織能夠更有效地利用其數據。

影響分析：能夠定位和了解數據的質量至關重要，但元數據可以更進一步。通過使用元數據，組織可以了解數據的相關性以及更改數據可能對其他數據集產生的影響。例如，如果用戶正在搜索諸如“客戶識別號”之類的業務術語，則影響分析可以告訴用戶哪些其他數據集、用例和主題領域與該術語相關。此外，如果應該以某種有意義的方式刪除、移動或更改該數據元素，他們可以確定對組織的影響。例如，如果您將電話號碼的數據類型從字符串更改為數字，可能會節省一些存儲空間，但可能會破壞整個組織的 10 種算法。

清點和評估：數據泄露在當今的企業中幾乎是不可避免的，但元數據可以幫助評估損害并讓組織做好準備，立即做出適當的響應。元數據可用于根據數據集的安全風險對數據集進行分類和排名，以確保快速了解和及時解決違規的潛在影響。例如，社會安全號碼包含高度敏感的數據，但是，沒有關聯的名稱，它們只是 9 位數字的序列。如果黑客只獲得了社會安全號碼的訪問權限，則與他們訪問包含社會安全號碼以及相關姓名和出生日期的完整客戶記錄相比，需要做出不同的響應。

認證：每個組織都需要用于大數據項目的高質量數據，因此擁有有效且透明的認證流程非常重要。如果一個組織向第三方出售數據并希望獲得最大的補償，則需要確保數據的質量和可靠性。元數據可用于創建數據質量評分，因此可以定量驗證數據的質量。組織不僅可以獲得最大的數據回報，而且還可以對內部使用的數據質量充滿信心。完善的元數據管理策略可以帶來好處，但要有效利用元數據，組織將需要實施一個強大、穩健的數據治理平臺。

2.構建元數據治理平臺

為了利用元數據，組織將需要一個全面的數據治理解決方案，以提供組織數據環境的完整視圖。該平臺應包括交互式數據可視化和沿襲功能，并為組織數據資產的各個方面提供透明度。它還應該具有自動發現功能，能夠捕獲和監控元數據的變化。一旦發現更改，就可以調查技術元數據關系，以提供對數據的有意義的見解，從而做出更好的業務決策。

3.提取元數據業務價值

大數據不再是新現象；現在這已成為常態，全球數以百萬計的組織已經開始實施大數據。然而，并非所有人都成功。如今，許多組織都在努力從他們攝取的大量數據中創造價值，從而難以訪問、使用和分析最能滿足他們需求的數據。事實上，最近的一項調查發現，“超過 85% 的受訪者表示他們的公司已經啟動了創建數據驅動文化的計劃，但迄今為止只有 37% 的受訪者表示成功。”組織現在意識到他們必須依靠元數據來分類、管理和組織在整個組織中發現的大量不同的企業數據。元數據向業務和技術用戶展示在數據存儲庫中的何處查找信息，同時提供有關數據來自何處、如何到達那里、經歷了哪些轉換、其質量水平以及與其他數據或報告的關系的詳細信息。元數據的最佳實踐始于數據進入組織的那一點。互聯網上有如此多不同的信息，我們重點介紹了最常見的元數據類型和功能。通過了解這些含義，組織可以開始構建系統，以實現具有可證明投資回報的高級數據管理。

五 數據治理與元數據

為了利用元數據，組織將需要通過采用全面的數據治理來實現數據治理，從而提供組織數據環境的完整視圖。該解決方案應包括交互式數據可視化和沿襲功能，并為組織數據資產的各個方面提供透明度。

此外，該解決方案應具有自動發現功能，能夠捕獲和監控元數據的更改。一旦發現更改，就可以調查技術元數據關系以提供對數據的有意義的見解。借助適當的數據治理平臺，企業可以授權其數據社區使用元數據來幫助啟動他們的大數據計劃。當您可以將技術血統轉化為業務血統時，真正的價值就會顯現出來——這是通過將元數據與數據治理相結合來利用元數據價值的眾多方法之一。

1.構建成功數據管理框架

數據驅動型組織知道如何利用其數據作為戰略資產來優化業務流程、改進決策、增強客戶體驗和增加收入。但是，利用這些資產不僅僅是管理數據，而是建立一種致力于最大化數據價值的文化，利益相關者參與其中，業務用戶有權尋找數據以增強業務戰略和目標。全面的數據管理戰略應包括數據治理和元數據管理的基礎，以促進數據的理解、可訪問性、可用性和利用率。使這種戰略成功的基本文化需要業務和 IT 之間的伙伴關系、數據所有者和管理者之間的責任以及整個企業的合作與協作，以收集和維護概念元數據等關鍵信息。所有這一切都應該使業務用戶能夠輕松定位數據并將其應用于業務問題，將原始數據轉化為可操作的見解。然而，建立這種文化并成為數據驅動的組織并非一蹴而就。企業領導者必須采取許多步驟來實施元數據管理。在之前的博客中，我們專注于元數據管理的構建塊。在本博客中，我們將研究組織如何培養數據驅動的文化。可靠的數據管理必須從正確的工具開始，但正是技術、人員和流程的結合才能實現企業級的卓越。世界上最好的錘子也可能是一個鎮紙，沒有熟練的工匠來使用它，這就是為什么數據管理的成功始于正確的團隊。

2.創建數據驅動型的文化

任何嘗試實施數據管理解決方案的人都會告訴您，如果沒有高管的支持和預算，該項目將一事無成。高級管理層需要了解和提升數據資產的價值以及建立數據驅動文化的重要性，并證明建立了作為數據管理團隊的承諾。領導層需要聘請合適的專家來宣傳和監督整個企業的數據戰略。如今，許多組織聘請首席數據官 (CDO)，而其他組織則利用數據顧問充當事實上的 CDO。緊隨CDO之下的應該是一名高級主管，擔任企業采用的負責人。他們的職責包括整合、采用和遵守 CDO 推薦的新數據政策、標準、分析方法和各種能力。在這個職位上取得成功需要豐富的變革管理經驗，以及對技術開發生命周期的深刻理解。接下來，組織應該聘請一位精通技術的高級經理來擔任數據工程經理的角色。該職位負責領導團隊構建高性能、可擴展的數據解決方案，以滿足數據創建者、管理者和消費者的需求。此人還可以管理數據平臺，并與包括產品工程師、產品經理、設計師、分析師和數據科學家在內的各種團隊和個人合作，以了解他們的數據供應鏈需求，并開發用于數據攝取、準備和交付的創新解決方案。完善團隊的是數據傳播者。這個職位可以由在宣傳和激勵他人工作方面經驗豐富的數據分析師擔任。這項工作對于推動數據知識參與討論、組織和定義來自不同業務線的數據至關重要。數據傳播者可以采取多種方法，但主要目標是傳播廣泛的數據知識并鼓勵不同部門的參與和協作。

3.促進數據管理知識參與

在數據團隊中，數據傳播者對于創建數據驅動的組織至關重要，因為他們可能是組織收集概念元數據的先鋒。數據傳播者或他們指定的團隊成員的任務是收集駐留在不同部門和業務線員工頭腦中的數據。為了跨業務職能收集這種概念性元數據，他們必須采訪主題專家并與各種業務和技術團隊進行跨職能合作。然而，收集這些知識存在許多障礙。首先，只是物流問題。將各個部門的專家同時聚集在同一個房間，分享他們的專業知識，絕非易事。然后，隨著任何新工藝或技術的引入，普遍存在懷疑。會有厭惡改變的員工，以及懷疑新程序有效性的員工。在員工之間建立轉換可能需要時間。最后，有些員工感到共享知識的威脅。他們保護他們所擁有的知識，作為保護他們和他們的位置的盾牌。這些員工不會輕易放棄他們認為是他們權力來源的東西。然而，了解這些障礙的存在是克服它們的第一步。數據團隊需要找到創新的方式來吸引用戶并鼓勵他們參與。數據布道者可以用來激勵參與的一種方法是實施內部營銷活動，讓人們對數據感到興奮并獲得他們的支持。例如，數據傳播者可以制作各種營銷材料，將人們與數據洞察聯系起來，以展示數據如何特別有利于他們的團隊。他們還可以采取更有趣的方法，使用“游戲化”或競賽來增加參與度和興趣，或者使用真實世界的示例培訓團隊，以展示數據知識如何與他們的工作相關。如果內部宣傳不起作用，數據傳播者可以與人力資源 (HR) 部門合作，進一步吸引員工。HR 可以為數據參與提供特殊認可，例如對 ID 標簽和電子郵件簽名的確認、聲望贈品或諸如休假、獎金、免費午餐等獨家福利，以幫助促進參與。

構建數據工程師生態圈