移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)日益發(fā)展，沉淀的數(shù)據(jù)越來越多，數(shù)據(jù)的質(zhì)量、使用效率、數(shù)據(jù)安全等等各類的問題迎面而來。為了讓數(shù)據(jù)發(fā)揮最大的價(jià)值，數(shù)據(jù)治理作為數(shù)智化戰(zhàn)略的一項(xiàng)必要舉措，列入了大多數(shù)企業(yè)的戰(zhàn)略行動(dòng)計(jì)劃，業(yè)界也有“數(shù)字轉(zhuǎn)型、治理先行”的說法。但是談到數(shù)據(jù)治理，業(yè)界有一個(gè)普遍的共識(shí)，那就是 “數(shù)據(jù)治理說起來容易，做起來難”。怎么通過數(shù)據(jù)治理解決這些難題？數(shù)據(jù)治理究竟難在哪里？華為作為典型的非云原生企業(yè)是如何應(yīng)對(duì)的呢？

2018到2021年間全球8300家標(biāo)桿企業(yè)中，全面擁抱數(shù)字技術(shù)的前10%企業(yè)相比后25%企業(yè)營(yíng)收增速超過5倍。數(shù)字化轉(zhuǎn)型浪潮下，數(shù)據(jù)資產(chǎn)將成為關(guān)鍵生產(chǎn)要素支撐未來數(shù)據(jù)產(chǎn)業(yè)化升級(jí)，是未來政企實(shí)現(xiàn)跨越式發(fā)展的必然選擇。

根據(jù)華為在政企行業(yè)多年的深入耕耘和自身轉(zhuǎn)型的實(shí)踐，我們發(fā)現(xiàn)，優(yōu)質(zhì)高效的數(shù)據(jù)底座，是保障政企運(yùn)營(yíng)效率持續(xù)提升和業(yè)務(wù)創(chuàng)新升級(jí)的重要基石。我們深知打破數(shù)據(jù)孤島、確保數(shù)據(jù)準(zhǔn)確、促進(jìn)數(shù)據(jù)共享、保障數(shù)據(jù)隱私與安全，是政企數(shù)據(jù)治理的關(guān)鍵。當(dāng)前很多企業(yè)數(shù)據(jù)體系建設(shè)呈現(xiàn)出“煙囪化”的趨勢(shì)，為政企數(shù)據(jù)治理帶來了四大挑戰(zhàn)：

進(jìn)不來 ：數(shù)據(jù)來源復(fù)雜，集成難；
質(zhì)量差 ：數(shù)據(jù)質(zhì)量要求高，規(guī)則校驗(yàn)多，落地難；
出不去 ：數(shù)據(jù)煙囪林立，業(yè)務(wù)和數(shù)據(jù)匹配難，共享難；
不放心 ：數(shù)據(jù)安全、交互風(fēng)險(xiǎn)高。

早期的華為是典型的非數(shù)字原生企業(yè)。從2007年開始，我們通過兩個(gè)階段的持續(xù)變革，系統(tǒng)地完成了數(shù)據(jù)管理體系建設(shè)，實(shí)現(xiàn)業(yè)務(wù)感知和ROADS體驗(yàn)的數(shù)字化轉(zhuǎn)型：

階段一（2007-2017） ：設(shè)立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，通過統(tǒng)一信息架構(gòu)與標(biāo)準(zhǔn)、有效的數(shù)據(jù)質(zhì)量改進(jìn)機(jī)制，提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)全流程貫通，業(yè)務(wù)運(yùn)作效率整體提升。

階段二（2017-至今）： 建設(shè)數(shù)據(jù)底座，匯聚和聯(lián)接全域數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)可視、隨需共享、敏捷自助、安全透明的目標(biāo)，支撐準(zhǔn)確決策和數(shù)據(jù)創(chuàng)新，構(gòu)筑差異化競(jìng)爭(zhēng)力。

華為經(jīng)過十多年的實(shí)踐，我們總結(jié)出 “4層保障”和“2個(gè)抓手”（信息架構(gòu)、數(shù)據(jù)質(zhì)量） ，實(shí)現(xiàn)清潔數(shù)據(jù)，充分釋放數(shù)據(jù)價(jià)值的核心手段。

4層保障包括：
政策保障： 從目的、適用范圍、管理原則、問責(zé)等方面進(jìn)行政策制定，公司層面需統(tǒng)一遵從，確保業(yè)務(wù)與IT共同參與數(shù)據(jù)治理。
流程保障： 建立數(shù)據(jù)管理流程，重大決議由企業(yè)變革指導(dǎo)委員會(huì)決策，通過變革管理體系和流程運(yùn)營(yíng)體系落地。
組織保障： 按領(lǐng)域任命數(shù)據(jù)管理Owner和團(tuán)隊(duì)，建立實(shí)體化數(shù)據(jù)管理組織承接數(shù)據(jù)管理改進(jìn)目標(biāo)。
IT落地保障： 建設(shè)承載面向“聯(lián)接共享”的數(shù)據(jù)底座和數(shù)據(jù)服務(wù)融合的統(tǒng)一IT平臺(tái)，完成數(shù)據(jù)全流程流轉(zhuǎn)與價(jià)值變現(xiàn)。

2個(gè)抓手是指：
信息架構(gòu)： 構(gòu)建面向“業(yè)務(wù)交易”的信息架構(gòu)，描述業(yè)務(wù)運(yùn)作和管理決策所需要的各類數(shù)據(jù)及其關(guān)系，保障企業(yè)內(nèi)統(tǒng)一“數(shù)據(jù)語(yǔ)言”。
數(shù)據(jù)質(zhì)量： 建立數(shù)據(jù)質(zhì)量管理框架和運(yùn)作機(jī)制，例行開展公司級(jí)數(shù)據(jù)質(zhì)量評(píng)估，由企業(yè)數(shù)據(jù)管理組織定期發(fā)布報(bào)告，牽引各業(yè)務(wù)領(lǐng)域持續(xù)改進(jìn)。

上述的4層保障和2個(gè)抓手，構(gòu)成了企業(yè)數(shù)據(jù)戰(zhàn)略資產(chǎn)綜合治理體系，能夠確保關(guān)鍵數(shù)據(jù)資產(chǎn)的有清晰的業(yè)務(wù)管理責(zé)任，IT落地有穩(wěn)定清晰的原則依據(jù)，作業(yè)人員有規(guī)范的流程指導(dǎo)。遇到爭(zhēng)議時(shí)，有裁決和升級(jí)處理機(jī)制，治理過程有充足的人力、組織、預(yù)算保障。只有建立起有效的數(shù)據(jù)治理環(huán)境，數(shù)據(jù)的質(zhì)量和安全才能得到保障，數(shù)據(jù)的價(jià)值才能真正發(fā)揮。

作為華為數(shù)字化轉(zhuǎn)型的底座，華為云沉淀了大量的實(shí)踐經(jīng)驗(yàn)和方案能力，并通過華為云Stack來賦能政企，加速各行各業(yè)的數(shù)字化轉(zhuǎn)型。在數(shù)據(jù)治理領(lǐng)域，華為云Stack為政企提供數(shù)據(jù)湖治理中心服務(wù)（DGC）來幫助企業(yè)客戶快速構(gòu)建數(shù)據(jù)運(yùn)營(yíng)能力。DGC是數(shù)據(jù)全生命周期一站式開發(fā)運(yùn)營(yíng)平臺(tái)，提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能，支持行業(yè)知識(shí)庫(kù)智能化建設(shè)，支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座。下面我們就來一起看看DGC是怎樣應(yīng)對(duì)我們前面提到的挑戰(zhàn)：

進(jìn)的來：簡(jiǎn)單高效的物理和邏輯數(shù)據(jù)集成保障數(shù)據(jù)全面入湖
非數(shù)字原生企業(yè)發(fā)展普遍有較長(zhǎng)的 歷史 ，隨著不同階段的發(fā)展需求，業(yè)務(wù)系統(tǒng)間存在大量復(fù)雜的集成和嵌套，數(shù)據(jù)來源多樣，數(shù)據(jù)形成孤島難以集中共享。

數(shù)據(jù)集成：簡(jiǎn)單易用的多源異構(gòu)數(shù)據(jù)批量和實(shí)時(shí)接入
DGC能夠提供活易用的可視化配置與遷移任務(wù)編排，將數(shù)據(jù)遷移和集成的效率提升數(shù)十倍。除主流關(guān)系型數(shù)據(jù)庫(kù)支持外，還支持對(duì)象存儲(chǔ)、NoSQL等40余種同/異構(gòu)數(shù)據(jù)源及三方大數(shù)據(jù)平臺(tái)批量遷移入湖。 DGC物理入湖與HetuEngine跨湖跨倉(cāng)協(xié)同的邏輯入湖 作為兩種重要數(shù)據(jù)集成方式協(xié)同互補(bǔ)，滿足數(shù)據(jù)聯(lián)接和用戶數(shù)據(jù)消費(fèi)不同場(chǎng)景需求，支撐客戶數(shù)據(jù)湖從離線走向?qū)崟r(shí)，構(gòu)建物理分散、邏輯統(tǒng)一的邏輯數(shù)據(jù)湖。

理的清：從源端架構(gòu)到平臺(tái)工具端到端數(shù)據(jù)質(zhì)量保障

企業(yè)級(jí)信息架構(gòu)：結(jié)構(gòu)化的方式實(shí)施有效的治理
企業(yè)在運(yùn)轉(zhuǎn)過程中，需要定義業(yè)務(wù)流程中涉及的人、事、物資源，實(shí)施有效的數(shù)據(jù)治理，確保各類數(shù)據(jù)在企業(yè)業(yè)務(wù)單元間高效、準(zhǔn)確地傳遞，上下游流程快速執(zhí)行和運(yùn)作。企業(yè)長(zhǎng)期存在信息架構(gòu)與IT開發(fā)實(shí)施“兩張皮”的現(xiàn)象，數(shù)據(jù)人員和IT人員缺乏統(tǒng)一協(xié)同，企業(yè)數(shù)據(jù)架構(gòu)混亂，信息架構(gòu)資產(chǎn)和產(chǎn)品實(shí)現(xiàn)邏輯割裂，數(shù)據(jù)模型資產(chǎn)缺失。

平臺(tái)工具和服務(wù)：一體化開發(fā)設(shè)計(jì)，端到端專業(yè)服務(wù)，有機(jī)聯(lián)動(dòng)保障數(shù)據(jù)質(zhì)量
結(jié)合華為數(shù)據(jù)治理專家團(tuán)隊(duì)與項(xiàng)目實(shí)踐經(jīng)驗(yàn)，DGC規(guī)范設(shè)計(jì)實(shí)現(xiàn)了一體化設(shè)計(jì)和開發(fā)，不僅確保了元數(shù)據(jù)驗(yàn)證、發(fā)布和注冊(cè)的一致性，而且實(shí)現(xiàn)了產(chǎn)品數(shù)據(jù)模型管理和資產(chǎn)可視，同時(shí)輔以專業(yè)的數(shù)據(jù)治理服務(wù)團(tuán)隊(duì)、成熟項(xiàng)目管理機(jī)制和豐富的實(shí)踐經(jīng)驗(yàn)，支撐企業(yè)構(gòu)建高質(zhì)量的清潔數(shù)據(jù)架構(gòu)和能力。在政務(wù)大數(shù)據(jù)中心通過DGC一體化平臺(tái)和專業(yè)服務(wù)，完成多個(gè)委辦局全量數(shù)據(jù)接入，落地?cái)?shù)據(jù)分層架構(gòu)模型設(shè)計(jì)，完成基礎(chǔ)庫(kù)與主題庫(kù)的建設(shè)，實(shí)現(xiàn)委辦局?jǐn)?shù)據(jù)全流程生命周期設(shè)計(jì)與落地，涵蓋數(shù)據(jù)架構(gòu)和模型設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)、數(shù)據(jù)模型物化、數(shù)據(jù)質(zhì)量稽核作業(yè)等，助力領(lǐng)導(dǎo)決策支持、宏觀經(jīng)濟(jì)云圖和惠民APP示范應(yīng)用系統(tǒng)上線。

出得去：通過數(shù)據(jù)服務(wù)和數(shù)據(jù)地圖實(shí)現(xiàn)數(shù)據(jù)自助消費(fèi)
數(shù)據(jù)底座建設(shè)的目標(biāo)是便捷地支撐數(shù)據(jù)消費(fèi)，確保用戶安全可靠地獲取數(shù)據(jù)，并通過靈活的數(shù)據(jù)分析等方式，按需快捷的消費(fèi)數(shù)據(jù)。

數(shù)據(jù)服務(wù)：服務(wù)化方式供應(yīng)數(shù)據(jù)
通過服務(wù)化方式對(duì)外提供，用戶不再直接集成數(shù)據(jù)，而是通過聚合應(yīng)用模型可視化構(gòu)建，涵蓋API發(fā)布、管理、運(yùn)維、售賣的全生命周期管理，作為業(yè)務(wù)的“可消費(fèi)產(chǎn)品”的關(guān)鍵要素之一，解決了數(shù)據(jù)的可供應(yīng)性。

數(shù)據(jù)地圖：從查詢到分析到使用一站式自助
以數(shù)據(jù)搜索為核心，綜合反映數(shù)據(jù)的來源、數(shù)量、質(zhì)量、分布、標(biāo)準(zhǔn)、流向、關(guān)聯(lián)關(guān)系，滿足多用戶、多場(chǎng)景的數(shù)據(jù)消費(fèi)需求，解決了數(shù)據(jù)“可搜索/可獲取性”的難點(diǎn)問題。消費(fèi)方獲取數(shù)據(jù)后，還支持從數(shù)據(jù)查詢到拖拽式分析的端到端的一站式自助作業(yè)，幫助數(shù)據(jù)消費(fèi)者結(jié)合自身需要獲取分析結(jié)果，滿足業(yè)務(wù)運(yùn)營(yíng)中數(shù)據(jù)實(shí)時(shí)可視化需求。

用的安：從模型、制度到平臺(tái)多維度打造立體化數(shù)據(jù)安全體系
安全能力模型評(píng)估：系統(tǒng)化安全管理抓手
數(shù)據(jù)安全能力成熟度模型是數(shù)據(jù)安全建設(shè)中的系統(tǒng)化框架，圍繞數(shù)據(jù)全生命周期，結(jié)合業(yè)務(wù)的需求以及監(jiān)管法規(guī)的要求，持續(xù)不斷的提升組織整體的數(shù)據(jù)安全能力，提升數(shù)據(jù)安全水平和行業(yè)競(jìng)爭(zhēng)力，確保數(shù)據(jù)生產(chǎn)要素安全流通和數(shù)字經(jīng)濟(jì) 健康 發(fā)展。在多個(gè)項(xiàng)目中，華為通過安全評(píng)估、安全加固等專業(yè)服務(wù)，助力客戶高分通過等保評(píng)估，實(shí)現(xiàn)數(shù)據(jù)安全流通。

從制度到工具和服務(wù)：統(tǒng)一安全治理框架落地

數(shù)據(jù)安全治理需要從決策層到技術(shù)層，從管理制度到工具支撐和服務(wù)體系，自上而下形成貫穿整個(gè)組織架構(gòu)的完整鏈條。企業(yè)組織內(nèi)的各個(gè)層級(jí)之間需要對(duì)數(shù)據(jù)安全治理的目標(biāo)達(dá)成共識(shí)，確保采取合理和適當(dāng)?shù)拇胧籇GC數(shù)據(jù)安全定義數(shù)據(jù)密級(jí)、認(rèn)證數(shù)據(jù)源、對(duì)數(shù)據(jù)動(dòng)靜態(tài)脫敏及添加水印等方式以最有效的方式保護(hù)數(shù)字資產(chǎn)。

企業(yè)數(shù)字化轉(zhuǎn)型逐步進(jìn)入深水區(qū)，如何提升海量數(shù)據(jù)治理的效率和準(zhǔn)確率，如何將專家經(jīng)驗(yàn)固化傳遞都面臨巨大的挑戰(zhàn)。人工智能與數(shù)據(jù)治理深度融合將會(huì)開啟數(shù)據(jù)治理的新階段，通過AI加速企業(yè)數(shù)據(jù)生產(chǎn)要素的變現(xiàn)、進(jìn)一步釋放數(shù)據(jù)價(jià)值。

智能數(shù)據(jù)資產(chǎn)編目
基于AI的智能數(shù)據(jù)編目系統(tǒng)具備數(shù)據(jù)的學(xué)習(xí)、理解和推理能力，幫助團(tuán)隊(duì)實(shí)現(xiàn)數(shù)據(jù)自主、簡(jiǎn)化數(shù)據(jù) 探索 、實(shí)現(xiàn)重要數(shù)據(jù)資產(chǎn)智能編目推薦。

智能數(shù)據(jù)標(biāo)準(zhǔn)推薦/去重
通過機(jī)器學(xué)習(xí)技術(shù)，自動(dòng)掃描元數(shù)據(jù)信息，提煉關(guān)鍵數(shù)據(jù)項(xiàng)，智能識(shí)別新增數(shù)據(jù)標(biāo)準(zhǔn)、冗余存量數(shù)據(jù)標(biāo)準(zhǔn)去重，提高智能化程度。

智能重復(fù)/異常數(shù)據(jù)檢測(cè)
智能重復(fù)/異常數(shù)據(jù)檢測(cè)技術(shù)，將數(shù)據(jù)根據(jù)相似讀音、相似數(shù)據(jù)類型分組，通過模型計(jì)算相似度得分，超出規(guī)定閾值時(shí)，自動(dòng)異常檢測(cè)和識(shí)別。

智能主外鍵識(shí)別
通過篩選候選主外鍵時(shí)構(gòu)造特征向量，并調(diào)用分類器智能判別該元數(shù)據(jù)是否為主外鍵，提升數(shù)據(jù)模型質(zhì)量，進(jìn)而優(yōu)化和簡(jiǎn)化后續(xù)資產(chǎn)梳理和對(duì)外提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)是物理世界、數(shù)字世界和認(rèn)知世界相互聯(lián)接轉(zhuǎn)換的紐帶，大規(guī)模數(shù)據(jù)交互將構(gòu)成龐大的政企數(shù)據(jù)生態(tài)。政企數(shù)字化轉(zhuǎn)型不能一蹴而就，數(shù)據(jù)治理亦非一朝一夕之功，治理的數(shù)據(jù)規(guī)模日趨龐大，類型千變?nèi)f化，手段也更智能豐富，需要我們共同攜手從制度、流程、技術(shù)、生態(tài)多維度一起努力，構(gòu)建數(shù)據(jù)智能新世界。