日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

什么是主動元數據管理?有何優勢?

時間:2023-10-06來源:互聯網瀏覽數:735

元數據是描述數據的數據,它提供數據的來源、含義、位置、所有權和創建等信息,主要用于跟蹤、分類和分析。

元數據管理則是對元數據的創建、存儲、整合、控制的一整套流程,是數據治理過程的一部分,能夠支持基于元數據的相關需求和應用,讓開發和業務人員快速的了解數據的上下游關系及本身的含義,精準定位需要查找的數據,減少數據研究的時間成本,提高效率。

盡管企業越來越意識到元數據管理的重要性,但是在實際的數據治理中,元數據管理技術和方法仍面臨著很多挑戰:局部的元數據管理限制著企業數據資產的共享或重用;手動的元數據管理和維護煩瑣且錯誤率高,使得項目的成本提高,交付的周期變長;數據環境日趨復雜,傳統元數據管理方式難以勝任……

針對傳統元數據管理的痛點問題,主動元數據管理方法應運而生。

— 01 —什么是主動元數據管理?
主動元數據的概念是由Gartner提出。早在2006年,Gartner的一份關于數據服務的前瞻市場分析報告中就出現了主動元數據管理一詞。2017年,Gartner在其《元數據管理解決方案魔力象限》中提出元數據市場”已出現二分為‘主動’與‘被動’兩條技術路徑的早期跡象“ 。2019年Gartner在《數據管理技術成熟度曲線報告》中將主動元數據管理與“數據編織”這一新引進的技術點緊密關聯,并于2021年的成熟度曲線報告中正式引入了主動元數據技術點,主動元數據管理開始進入Gartner的“炒作序列”。

但無論在無論在《主動元數據管理市場指南》還是在《數據管理技術成熟度曲線報告》中,Gartner定義的都是”主動元數據管理“(Active Metadata Management)而非“主動元數據”。即元數據還是那個元數據,但針對元數據的管理方法和理念有了更新。

附Gartner定義:主動元數據管理是對用戶、數據管理、系統、基礎設施以及數據治理過程的持續分析,以確定數據在設計與實際運行之間的一致性和異常情況。 (the continuous analysis of user, data management, systems, infrastructure and data governance experience to determine the alignment and exceptions between data as designed versus operational experience)

— 02 —主動元數據管理和傳統元數據管理區別
主動元數據是相對過去的被動元數據而言,針對二者的區別,Atlan公司進行了區分,即:被動元數據是提供基本數據定義的技術元數據,例如模式、數據類型、模型、所有者名稱等;而主動元數據是一種描述性元數據,通過提供數據發生的所有事情的詳細信息來為數據添加上下文,除了技術元數據之外,它還包括運行、業務和社交元數據。

具體來看,主動元數據管理強調人工干預和有意識的信息添加,以促進數據的更好理解和管理。而被動元數據管理更依賴于自動化,通過系統和工具生成,提供有關數據處理歷史和存儲信息的洞察。主動元數據管理與被動元數據管理的區別主要體現在三個方面:

1、 被動元數據是在數據被處理、存儲或傳輸時由系統或工具自動生成收集,而主動元數據管理強調對元數據做持續的分析和理解,不僅需要理解庫表列schema等常規信息,更要理解這份數據背后的語義和它的加工口徑、業務主體、匯總粒度以及如何正確使用等。

2、主動元數據能夠更加面向行動、面向治理來解決實際的業務問題,主動元數據不再是等用戶碰到數據使用問題時去到一個數據目錄上去找它,而是給出一個設計建議或者一個可被系統執行的指令。

3、主動元數據管理更強調工具無縫集成,在數據生產、消費和協作的各個環節為用戶提供完整的元數據上下文以及智能建議,以實施更主動的數據管理策略。

— 03 —主動元數據管理的關鍵點
簡而言之,我們可以將主動元數據管理理解為一種更動態、與業務更緊密相關、并能直接用于數據流轉甚至數據架構的自動化調整等場景的元數據管理模式。主動元數據管理平臺,應具備以下2個關鍵特征。

1.智能化與自動化
元數據的智能化即利用機器學習和知識圖譜等底層人工智能技術,完成數據側寫、自動分類、自動口徑提取、內容智能解析、使用狀況分析,以及面向業務語義的智能發現和推薦、異常探測等功能,當然還包括利用腳本編寫、組件嵌入實現的自動化和協同化功能,這些一起達成更“主動”的元數據管理,最終指向智能的數據的供需滿足,以及系統、業務之間的互通。

智能化的元數據管理可以影響數據全生命周期的各個方面。比如可以通過解析SQL查詢日志,自動創建列級別血緣;可以自動識別PII(個人識別信息)數據以保護個人信息,保障數據隱私與安全;可以通過自動檢測數據異常值和異常,捕捉不良數據,提高數據質量

目前較前沿的元數據管理工具已可基本實現智能化。例如億信華辰的元數據管理平臺EsPowerMeta支持全自動元數據采集和關聯,實現元模型智能化應用,提供圖形化元數據分析視圖。此外,平臺還支持連接各種數據庫自動化采集元數據,支持元數據依賴關系的自動分析和建立關聯,支持從SQL中自動解析元數據和依賴關系。


2.高度可擴展性
主動元數據管理建立在主動查找、豐富、清點和使用所有元數據的前提下,需打通元數據與舊數據、元數據與外部數據的各個通道,在實時數據系統中提出建議、生成警報和智能操作。

例如億信華辰的元數據管理平臺EsPowerMeta具備高度靈活可擴展的架構,平臺支持CWM(公共倉庫元模型)規范的同時,提供了一套便捷的的自定義管理接口功能,支持根據用戶管理需要,進行自定義元模型以及元模型之間關系的擴展,滿足元數據管理快速實施的需要。

該平臺的元數據接口開放,易與其他系統集成,便于為其他系統提供元數據服務。不僅可以向企業中的不同角色、不同用戶、不同系統提供可以靈活配置的接口,實現全企業的而高效協作;還可以將元數據管理工具直接集成到企業的portal中,在企業其他信息系統中保留元數據存儲庫的入口。


△億信華辰元數據管理平臺架構圖


— 04 —小結
主動元數據還在技術概念炒作的早期階段,對此的定義大家也有不同”程度“的理解:有人認為主動就是相對于”被動“搜集的主動探查,有人認為主動的含義是”被使用狀態的“元數據,更有人認為是對傳統元數據進行二次分析的才是主動元數據。目前各大元數據平臺供應商也還在探索階段。但總體來看,隨著數據環境的不斷變化,用戶面對多源異構和分布式的數據架構,希望有某種統一的頂層定義實現數據在架構、應用等各層面的互通,對元數據管理的需求也因此由“被動”轉為“主動”。
(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢