在數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)治理提供基礎(chǔ)性支撐，本文重點(diǎn)闡述數(shù)據(jù)治理對于數(shù)據(jù)湖、人工智能等數(shù)字化轉(zhuǎn)型兩個關(guān)鍵建設(shè)場景的支撐作用。

1、數(shù)據(jù)治理是數(shù)據(jù)湖避免成為“數(shù)據(jù)沼澤”的關(guān)鍵
數(shù)據(jù)湖(Data Lake)是數(shù)據(jù)集合而并非數(shù)據(jù)平臺，在這一數(shù)據(jù)集合基礎(chǔ)之上，采用Hadoop大數(shù)據(jù)技術(shù)生態(tài)體系以構(gòu)建大數(shù)據(jù)平臺，實(shí)現(xiàn)對多源異構(gòu)數(shù)據(jù)的統(tǒng)一匯聚，并采用典型的數(shù)據(jù)驅(qū)動型設(shè)計(jì)模式 — ELT架構(gòu)模式，大規(guī)模捕獲各種新舊類型的多源異構(gòu)原始數(shù)據(jù)，并按需進(jìn)行數(shù)據(jù)轉(zhuǎn)換，形成多樣化應(yīng)用。

圖3 數(shù)據(jù)治理與數(shù)據(jù)湖

但是，數(shù)據(jù)湖的完美理念卻面臨著諸多問題，當(dāng)越來越多的多源異構(gòu)數(shù)據(jù)接入數(shù)據(jù)湖中，如果缺少有效的方法跟蹤這些多源異構(gòu)數(shù)據(jù)并對低質(zhì)量數(shù)據(jù)進(jìn)行有效治理，則企業(yè)花費(fèi)巨資構(gòu)建的數(shù)據(jù)湖極有可能成為“數(shù)據(jù)沼澤”，數(shù)據(jù)無法訪問、難以檢索，成為只進(jìn)不出的 “數(shù)據(jù)黑洞”。

為避免數(shù)據(jù)湖淪為“數(shù)據(jù)沼澤”，須實(shí)現(xiàn)數(shù)據(jù)目錄、標(biāo)準(zhǔn)、質(zhì)量、安全、共享的統(tǒng)一管理，開展相關(guān)的數(shù)據(jù)治理活動：

構(gòu)建數(shù)據(jù)資源目錄：
基于元數(shù)據(jù)信息，為數(shù)據(jù)湖構(gòu)建企業(yè)級數(shù)據(jù)資源目錄，對入湖數(shù)據(jù)進(jìn)行編目分類、建立索引，以便迅速查找、定位、獲取所需數(shù)據(jù)資源；

數(shù)據(jù)全鏈分析：
基于元數(shù)據(jù)信息，進(jìn)行數(shù)據(jù)血緣分析和影響分析，構(gòu)建數(shù)據(jù)全維關(guān)系圖譜，對數(shù)據(jù)流向從源頭到目的地之間追蹤信息的可視化表示，實(shí)現(xiàn)對數(shù)據(jù)資源流轉(zhuǎn)的清晰掌握和數(shù)據(jù)流通全流程的監(jiān)控；

建立數(shù)據(jù)標(biāo)準(zhǔn)：
建立數(shù)據(jù)分類標(biāo)準(zhǔn)及數(shù)據(jù)標(biāo)準(zhǔn)定義規(guī)范，明確數(shù)據(jù)標(biāo)準(zhǔn)的適用范圍；面向湖內(nèi)全量數(shù)據(jù)，建立企業(yè)統(tǒng)一業(yè)務(wù)術(shù)語庫；

提升數(shù)據(jù)質(zhì)量：
根據(jù)業(yè)務(wù)規(guī)則設(shè)計(jì)數(shù)據(jù)質(zhì)量規(guī)則，通過質(zhì)量工具配置規(guī)則進(jìn)行數(shù)據(jù)質(zhì)量定期排查、清洗，以發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題、提升數(shù)據(jù)質(zhì)量；并建立面向企業(yè)內(nèi)部單位、源系統(tǒng)項(xiàng)目組的數(shù)據(jù)質(zhì)量閉環(huán)管理機(jī)制；

數(shù)據(jù)安全保障：
基于數(shù)據(jù)資源目錄，劃分?jǐn)?shù)據(jù)安全等級和共享類型，以此為基礎(chǔ)進(jìn)行用戶角色的訪問控制、身份驗(yàn)證、授權(quán)，數(shù)據(jù)脫敏規(guī)則設(shè)計(jì)以及靜態(tài)和動態(tài)數(shù)據(jù)加密，以提高數(shù)據(jù)湖的安全與隱私性。

2、數(shù)據(jù)治理是人工智能的基石
人工智能分為基礎(chǔ)資源支撐、人工智能技術(shù)和人工智能應(yīng)用三個層面：基礎(chǔ)資源支撐層主要解決“算力”和數(shù)據(jù)“底座”問題；人工智能技術(shù)實(shí)現(xiàn)主要分為感知智能和認(rèn)知智能兩個階段，在感知智能階段，主要通過傳感器、探測儀等獲取視頻、語音、圖像等數(shù)據(jù)資源，基于感知器獲取的數(shù)據(jù)資源、結(jié)合深度學(xué)習(xí)算法訓(xùn)練出感知模型，如人臉識別技術(shù)；在認(rèn)知智能階段，主要通過自然語言處理NPL、知識圖譜等技術(shù)，挖掘出數(shù)據(jù)所隱含的關(guān)聯(lián)關(guān)系、業(yè)務(wù)邏輯、規(guī)律等認(rèn)知知識，為人工智能應(yīng)用場景奠定知識基礎(chǔ)。人工智能應(yīng)用場景是以AI應(yīng)用需求為驅(qū)動、選擇適當(dāng)?shù)腁I技術(shù)進(jìn)行落地實(shí)現(xiàn)，通過滿足應(yīng)用需求直接產(chǎn)生業(yè)務(wù)價(jià)值。

圖4 數(shù)據(jù)治理與人工智能

在AI時(shí)代，數(shù)據(jù)不再是程序代碼的附屬品，數(shù)據(jù)已本質(zhì)上成為構(gòu)建算法的源代碼，以及產(chǎn)生算法結(jié)果的核心驅(qū)動，基于大量數(shù)據(jù)、通過“自適應(yīng)、自學(xué)習(xí)”算法“訓(xùn)練”出算法，因此，數(shù)據(jù)質(zhì)量“好壞”，決定了算法的優(yōu)劣性和健壯性；此外，數(shù)據(jù)共享、數(shù)據(jù)安全等也是在開展人工智能工作時(shí)需要考慮的因素。數(shù)據(jù)治理在人工智能工作中能夠發(fā)揮以下關(guān)鍵作用：

制度流程保證：
在人工智能開展過程中，聯(lián)合數(shù)據(jù)治理組織制定、發(fā)布，配合人工智能技術(shù)研發(fā)開展的制度、流程和規(guī)范，明確企業(yè)內(nèi)部各部門、各項(xiàng)目組（AI項(xiàng)目組、數(shù)據(jù)治理項(xiàng)目、數(shù)據(jù)平臺項(xiàng)目組及業(yè)務(wù)系統(tǒng)項(xiàng)目組等）的責(zé)任分工；

資源協(xié)調(diào)：
通過數(shù)據(jù)治理團(tuán)隊(duì)協(xié)助協(xié)調(diào)數(shù)據(jù)資源，數(shù)據(jù)治理團(tuán)隊(duì)清晰地掌握數(shù)據(jù)資源的存儲位置、歸口管理部門，并能夠推動企業(yè)內(nèi)部數(shù)據(jù)資源共享，協(xié)助人工智能團(tuán)隊(duì)快速獲取所需的基礎(chǔ)數(shù)據(jù)資源；

高質(zhì)量數(shù)據(jù)輸入：
數(shù)據(jù)治理團(tuán)隊(duì)按照AI團(tuán)隊(duì)的數(shù)據(jù)質(zhì)量需要及業(yè)務(wù)規(guī)則，對輸入的數(shù)據(jù)資源進(jìn)行數(shù)據(jù)質(zhì)量檢測，按需出具數(shù)據(jù)質(zhì)量評估報(bào)告，給出數(shù)據(jù)質(zhì)量健康度得分，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，并快速制定數(shù)據(jù)質(zhì)量改進(jìn)方案：

保障數(shù)據(jù)安全：
人工智能工作開展過程中，需采取一系列的數(shù)據(jù)安全防護(hù)手段，如隱私數(shù)據(jù)的合規(guī)性確認(rèn)與檢查、敏感數(shù)據(jù)的脫敏處理、安全訪問控制、防泄露等措施。為AI應(yīng)用成果的數(shù)據(jù)安全性、合規(guī)性奠定基礎(chǔ)。