伴隨著大數據、云計算以及算法的發展,AI(人工智能)的浪潮從幾年前一直延續至今,并且廣泛應用于多個行業和領域,成為下一次科技革命的一個領軍技術。同樣,伴隨著數據量與數據來源的猛增,
數據治理也成為了企業在充分挖掘利用
數據價值過程中必不可少的環節,并逐漸發展為企業的核心業務之一。那么,當數據治理遇上AI,將如何相互促進和發展呢?
01、數據治理與人工智能的關系
“無治理、不分析”,沒有高質量的數據,就不會有可信的AI。由于數據治理的輸出是人工智能的輸入,即經過數據治理后的大數據,因此數據治理與人工智能的發展存在相輔相成的關系。
(1)數據治理為人工智能奠定基礎
數據治理在提升
數據質量方面具有重要作用。通過定義數據質量需求、定義數據質量測量指標、定義數據質量業務規則、制定數據質量改善方案、設計并實施數據質量管理工具、監控數據質量管理操作程序和績效等數據質量管理環節,企業可以獲得干凈的、結構清晰的數據,為深度學習等人工智能技術提供可信的數據輸入。
數據治理為人工智能保障數據隱私。所謂隱私保護,其實就是對隱私數據的保護。最理想的情況是能夠在產權層面確立相關個人作為隱私數據的合法的唯一擁有者,或至少對隱私數據實際控制者的行為嚴加管束,做到合法合規,這就離不開數據治理。數據治理工具從技術工具和保障措施等方面設計了保護隱私數據。
(2)人工智能對數據治理存在諸多優化作用
數據治理工作中,將大
數據應用機器學習技術,作數據挖掘和分析,從而識別哪些是用戶隱私性數據、哪些數據可能有異常,一旦數據特征被確認,打上標簽,未來再做數據管理時,就可以使用
元數據管理的方法機制,對外提供服務。比如當碰到涉及的某特殊標記數據,就會有相應的流程啟動,或在相關的數據對外服務提供過程中,自動識別數據涉及的個人隱私,避免引起政策方面的風險。通過AI技術的應用,可以增強數據安全管理和元數據管理的能力。
02、人工智能在數據治理中的應用
多年的理論研究更新、技術演進和應用實踐,數據治理從概念到技術已經發生了很多變化。特別是數據治理技術和人工智能技術有效的融合在一起,使智能化數據治理成為可能。億信華辰作為數據治理領域的領航者,不斷進行技術創新與產品升級,以下以睿治
數據治理平臺為例,看看人工智能在數據治理中的具體應用:
(1)元數據管理1.1智能化元數據服務
睿治平臺支持全自動元
數據采集和關聯,實現元模型智能化應用,提供圖形化元
數據分析視圖。支持連接各種數據庫自動化采集元數據,支持元數據依賴關系的自動分析和建立關聯,支持從SQL中自動解析元數據和依賴關系。
(2)主數據管理2.1智能識別主數據
確定主數據依賴于企業對于業務需求的理解和相應“黃金數據”的定義。通常來說,每個主數據主題域都有自己專用的記錄系統,并且分散在各個業務系統中。人工智能相關技術可以幫助我們在所有數據中篩選出頻繁出現或流動的數據,同時快速確定主數據的可靠與可信數據來源。睿治數據治理平臺可自動識別主數據,幫助重復數據自動匹配和合并,構建完整的主數據視圖。
2.2智能化的主數據建模
睿治數據治理平臺通過靈活多樣的主數據建模方式,快速構建各類主
數據標準化模型,滿足不同角色所需信息視圖,并可詳細定義分類屬性及填寫規范,有效保證主數據標準的固化。內置多種類型主數據成熟模型,即改即用。
(3)數據標準管理3.1智能的數據標準推薦
睿治數據治理平臺內置大量詞根和同義詞詞典,通過算法可以向用戶智能推薦需要制定標準的數據,快速創建數據標準,縮短維護標準的周期。
3.2標準智能映射匹配元數據
數據標準的設計目的是為了規范各業務系統的數據建設。睿治數據治理平臺支持對數據標準設置落地映射,一條標準可根據實際業務需求進行多個映射,映射設置細化到實際業務系統對應的元數據上,為后續的落地評估提供依據,設置好的落地映射支持修改、刪除。
3.3智能精確的數據標準落地評估
為了方便用戶檢查業務系統是否按照數據標準進行建設,睿治數據治理平臺提供對數據標準進行落地評估,并支持多種方式評估,包括單條數據標準、標準集進行評估。同時支持通過數據標準和元數據雙向評估標準落地情況,并且支持設置非強制性落標,設置了非強制性落標的元數據進行落標時可以例外通過,除界面手動操作評估外,睿治數據治理平臺讓用戶通過配置定時計劃任務,進行自動化評估。
(4)數據質量管理4.1智能新建規則
數據質量是保證數據應用的基礎。對于任何一個企業而言,在實施數據質量提升方案之前,需要依據不同的業務規則和業務期望選擇合適的數據質量指標體系,并進行數據的清洗。睿治數據治理平臺可根據數據標準快速新建質量規則。
4.2數據質量智能修復
睿治平臺內置數理統計算法、綁定機器學習算法,實現自動探查數據質量,同時支持智能修復。睿治數據治理平臺支持對檢查出來有問題的數據按照一定的規則進行智能修復,可以支持對空值、值域、規范(身份證、日期、全半角)這些規則進行修復,方便用戶對數據的整改。
(5)數據資產管理5.1智能添加數據資產編目
數據資產盤點是數據資產管理的重點手段,睿治數據治理平臺提供智能添加和手動添加數據資產的方式實現企業全場景的數據資產盤點。智能添加即通過平臺元數據實現快速智能編目,可幫助企業極大的縮短數據資產編目的時間和提高效率。
5.2智能的目錄活化管理
數據資產管理的重要產出物是數據資產目錄。睿治數據治理平臺通過可配置的資產目錄完整描述數據資源的業務、技術和管理類元信息。資產目錄與元數據無縫對接,支持通過元數據批量盤點數據資產,并自動活化資產目錄信息,及時響應資源的變更情況。
(6)數據安全管理6.1智能掃描識別敏感數據
數據安全治理是人工智能在數據治理全過程中的重要應用環節。睿治數據治理平臺支持設置敏感數據、敏感級別設置,并對敏感數據進行監控,對數據的不當防問進行監控,了解敏感數據的分布情況。同時根據敏感數據標簽可以對數據資產進行智能掃描識別敏感數據,對敏感數據自動進行標記,以及對數據資產設置敏感數據標簽和敏感級別,方便進行批量加密和脫敏,極大簡化用戶的操作。
(7)更智能的治理成果展示
睿治數據治理平臺利用最新的自然語言處理(NLP)、機器學習、知識圖譜等人工智能技術,用語音/文字輸入一句話,就能獲取最貼切的數據分析圖表。智能出圖,無需做表,零門檻使用,快速的展現數據治理的成果。

03、結語
數據治理并不是一個什么“高大上”的活兒,而絕對是一個“臟活、苦活、累活”。在企業數據環境日趨復雜的今天,傳統靠人工的數據治理方式,已經很難滿足人們對“數據智能”的不斷追求了。因此,人們需要一種更加自動化和智能化的數據治理手段,而“人工智能”無疑是一個絕佳選擇。
人工智能對于提升數據治理的智能化水平具有關鍵作用,因此也成為數據治理發展的重要趨勢。未來,通過人工智能技術降低數據治理的門檻將成為數據治理發展的重要方向。隨著數據治理和人工智能兩個領域的各自快速發展,未來二者的融合將會有更多場景和商業模式。
(部分內容來源網絡,如有侵權請聯系刪除)