元數據管理正處于轉型飛躍的風口浪尖。
2021年，Gartner 朝著這一目標邁出了一大步，取消了元數據管理解決方案魔力象限，取而代之的是活動元數據市場指南。這一變化預示著一種在當今現代數據堆棧中處理元數據的新方法。

無論您每天處理千字節還是兆字節的數據，您都可能想知道這究竟意味著什么。
· 為什么傳統的元數據管理會失敗？
· 傳統元數據與活動元數據有何不同？
· 為什么這份報告標志著元數據管理的范式轉變？
· 這對當今的數據領導者意味著什么？

在本文中，我們嘗試解開這些問題（不使用任何營銷術語）并分享對元數據管理發展方向的預測。

元數據管理的前世今生
元數據作為一種組織信息的思想，自古就有，但元數據的現代思想可以追溯到 1990 年代后期。
元數據管理始于 IT 學科。隨著我們擁抱互聯網，隨著數據類型和格式的爆炸式增長，IT 團隊負責創建“數據清單”。
然后，隨著數據傳播到 IT 團隊之外并變得更加主流，數據治理的想法生根發芽。這是圍繞數據管理人員和流程以確保企業的可用性、完整性和安全性的學科。
隨著數據治理的理念開始流行，許多公司開始全力以赴。他們創建了整個數據治理部門，為稱為“數據管理員”的人員建立了新角色，投資了數據治理委員會等等。

這些團隊開始意識到他們需要軟件來管理所有這些元數據。這開啟了元數據管理的黃金時代。
與任何新技術一樣，事情很快就爆發了。
新公司成立，現有公司創建新的元數據產品。人們需要一種方法來整理所有這些新的元數據軟件選項，因此 Gartner 開始發布他們的元數據管理魔力象限報告。Informatica、Collibra 和 Alation 等公司（Gartner 報告中的所有領導者）利用這種市場炒作迅速增長。
創建了數十億美元的公司，并在元數據管理軟件上花費了數億美元。

那么，畢竟，為什么 Gartner 取消了他們的報告？為什么取代它的市場指南以不祥的注釋開頭，“傳統的元數據實踐是不夠的……”？
傳統元數據管理為何失敗的一個字答案：被動
“如果你形容某人是被動的，你的意思是他們不采取行動，而是讓事情發生在他們身上。”
–柯林斯詞典

如果你用谷歌搜索“被動”這個詞，這是第一個結果。老實說，沒有更好的方法來解釋早期被動元數據系統的根本故障。
· 傳統的元數據管理工具沒有采取行動。通過簡單地對元數據進行編目或存儲，傳統的元數據系統無法從元數據信號中驅動任何“行動”。這減少了元數據可能對數據平臺和數據消費者產生的影響。
· 傳統的元數據管理系統讓事情發生在他們身上。傳統的元數據系統基本上是靜態工具，依賴于人力來整理和記錄數據。這意味著元數據程序的成功取決于實施它的人。
這些根本性的缺陷導致了傳統元數據管理工具的最終垮臺。

因此，盡管對元數據管理軟件進行了大量投資，但大多數公司都在努力使他們的元數據項目取得成功。幾周前，一家大公司的一位高級數據負責人對這些工具發表了評論，“每個人都知道我們購買的工具是昂貴的貨架。”
一家實施元數據管理解決方案的著名專業服務公司的顧問證實了這一觀點：“我們約 50% 的業務是公司中有人花費數百萬美元購買昂貴的工具，而 2 到 3 年后才意識到'不工作或被使用，并讓我們嘗試并拼命地解決這種情況。”
范式轉變：從被動元數據到主動元數據

今天，我們正處于元數據管理的一個轉折點——一個新時代的開始，其標志是以全新的方式來思考元數據及其在數據堆棧中所扮演的角色。這就是Gartner 新市場指南的主題主動元數據的用武之地。

快速搜索“主動”一詞會引發與被動相反的短語：
· “參與行動；以精力充沛的工作、參與等為特征。”
· “處于存在、進步或運動的狀態”
· “具有快速運動的力量；敏捷”

花點時間在元數據的背景下思考這些短語，它們描繪了一幅活躍的元數據可以是什么的圖景。
主動元數據：一個永遠在線、智能驅動、以行動為導向的系統，是其被動、靜態前身的對立面。

主動元數據平臺的 3 個關鍵特征
根據Gartner的說法，主動元數據是“一組能夠持續訪問和處理并支持持續分析的元數據的功能……”
這實際上意味著什么，主動元數據平臺與傳統元數據管理平臺有何不同？以下是您應該注意的四個基本特征。
主動元數據平臺通過全文檢索智能化展現。
主動元數據平臺不會只是通過關鍵字進行簡單的過濾元數據。相反，他們在現代數據堆棧的每個階段不斷地收集元數據——日志、查詢歷史、使用統計……幾乎任何類型的元數據，從任何地方，每一秒，并通過全文檢索方式智能化展現數據。

Google式智能檢索數據，而不是過濾數據
主動元數據平臺不只是收集元數據，它們從數據中創建智能。
與傳統的元數據平臺不同，主動元數據平臺不斷處理元數據以連接各個點并創造智能。
主動元數據平臺的真正突出之處在于它們是真正的學習系統，這意味著平臺的智能只會隨著時間的推移而增長。隨著人們更多地使用平臺，平臺在數據堆棧中觀察到更多元數據，通過數據API的使用推動元數據的自治和穿透，最終用戶體驗會變得更好。

元數據通過數據創建更好的用戶體驗和分析
主動元數據平臺不僅僅停留在智能上，他們可以與第三方集成。

這可能是主動元數據平臺從其傳統元數據管理那里取得的最重要的飛躍。他們不僅僅是被動的觀察者，而是在實時數據系統中提出建議、生成警報和操作智能，打通元數據與數據之前的通道。

一個例子是使用活動元數據來提高數據質量。當在源表中檢測到數據質量問題時，系統可以自動報告數據的信息，并能通過三方集成起到自動化和智能化的效果。或者更好的是，該系統可以使用過去關于數據質量故障的記錄來準確預測問題所在，并在沒有任何人工干預的情況下進行修復或預警。

將元數據用API的方式發布給三方使用
元數據的下一步是什么？
多年來，元數據管理遠遠落后于現代數據堆棧的其余部分。但在 2021 年，元數據似乎終于開始迎頭趕上，2022年會開啟新發展的元年。

創新正處于超速狀態。在過去的 12 個月里，與過去十年相比，在這個領域推出的初創公司更多。
Gartner 放棄其元數據管理魔力象限并將主動元數據作為一個新類別引入的重大決定是向前邁出的一大步。
這最終摒棄了傳統的、被動的元數據管理方法，為元數據的新時代鋪平了道路。

與 Gartner 的任何主要公告一樣，該公告可能會在市場上引發一些短期混亂。傳統的元數據產品將爭先恐后地將自己重新命名為“主動的元數據平臺”。有些人實際上會開始在他們的產品中添加一些主動的元數據功能，這進一步增加了混亂。當然，還會有更多的初創公司成立。

但最終，在接下來的 12 到 18 個月內，一個或多個真正基于正確設計原則從頭開始構建的活躍元數據平臺將成為該類別的最終贏家。
對于現代數據堆棧中的元數據來說，這是一個令人難以置信的時刻。希望這一次我們最終能做對。