一.數(shù)據(jù)治理框架

數(shù)據(jù)治理主要專注于如下模塊域：

數(shù)據(jù)集成數(shù)據(jù)集成用來完成數(shù)據(jù)入湖動(dòng)作，不是簡單的數(shù)據(jù)搬家，而是按照一定的方法論進(jìn)行數(shù)據(jù)備份。數(shù)據(jù)入湖的前提條件是滿足6項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)，包括：明確數(shù)據(jù)Owner、發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)、定義數(shù)據(jù)密級、明確數(shù)據(jù)源、數(shù)據(jù)質(zhì)量評估、元數(shù)據(jù)注冊。此標(biāo)準(zhǔn)由數(shù)據(jù)代表在入湖前完成梳理并在數(shù)據(jù)治理平臺(tái)上進(jìn)行資產(chǎn)注冊。

數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理著重建立統(tǒng)一的數(shù)據(jù)語言，L1到L5數(shù)據(jù)層級業(yè)務(wù)對象的定義是數(shù)據(jù)標(biāo)準(zhǔn)的載體，并對應(yīng)發(fā)布包括L1到L5數(shù)據(jù)層級的數(shù)據(jù)標(biāo)準(zhǔn)。各業(yè)務(wù)對象對應(yīng)物理實(shí)現(xiàn)的IT系統(tǒng)需發(fā)布相應(yīng)的數(shù)據(jù)字典并進(jìn)行數(shù)據(jù)源認(rèn)證。而對于梳理出來，但沒有落IT系統(tǒng)的業(yè)務(wù)對象，需在后繼的開發(fā)中進(jìn)行數(shù)字化落地。

數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)是編排、調(diào)度和運(yùn)維的中心，數(shù)據(jù)開發(fā)是一個(gè)提供分析、設(shè)計(jì)、實(shí)施、部署及維護(hù)一站式數(shù)據(jù)解決方案，完成數(shù)據(jù)加工、轉(zhuǎn)換和質(zhì)量提升等。數(shù)據(jù)開發(fā)屏蔽了各種數(shù)據(jù)存儲(chǔ)的差異，一站式滿足從數(shù)據(jù)集成、數(shù)據(jù)清洗/轉(zhuǎn)換、數(shù)據(jù)質(zhì)量監(jiān)控等全流程的數(shù)據(jù)處理，是數(shù)據(jù)治理實(shí)施的主戰(zhàn)場。

數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量管理的目標(biāo)在于保證數(shù)據(jù)滿足使用的要求。數(shù)據(jù)標(biāo)準(zhǔn)是衡量數(shù)據(jù)質(zhì)量最基本的基準(zhǔn)。數(shù)據(jù)質(zhì)量要求各業(yè)務(wù)部門對相應(yīng)數(shù)據(jù)領(lǐng)域的數(shù)據(jù)質(zhì)量全權(quán)負(fù)責(zé)，按業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，制定數(shù)據(jù)質(zhì)量管控目標(biāo)，并遵循企業(yè)數(shù)據(jù)治理要求進(jìn)行數(shù)據(jù)質(zhì)量度量，制定符合各自業(yè)務(wù)情況的數(shù)據(jù)質(zhì)量政策及數(shù)據(jù)質(zhì)量相關(guān)的改進(jìn)計(jì)劃，持續(xù)進(jìn)行數(shù)據(jù)質(zhì)量管控。

數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)包括業(yè)務(wù)資產(chǎn)、技術(shù)資產(chǎn)、指標(biāo)資產(chǎn)等。數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)治理的重要支撐手段，核心是構(gòu)建企業(yè)級的元數(shù)據(jù)管理中心、建立數(shù)據(jù)資產(chǎn)目錄、建立數(shù)據(jù)搜索引擎、實(shí)現(xiàn)數(shù)據(jù)血緣和數(shù)據(jù)全景可視。其中元數(shù)據(jù)包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)，要求將企業(yè)所有概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型以及物理數(shù)據(jù)模型系統(tǒng)化地管理起來，同時(shí)建設(shè)企業(yè)數(shù)據(jù)地圖及數(shù)據(jù)血緣關(guān)系，為數(shù)據(jù)調(diào)用、數(shù)據(jù)服務(wù)、數(shù)據(jù)運(yùn)營及運(yùn)維提供強(qiáng)有力的信息支撐。

數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)通過在整個(gè)企業(yè)范圍統(tǒng)一數(shù)據(jù)服務(wù)設(shè)計(jì)和實(shí)現(xiàn)的規(guī)范并進(jìn)行數(shù)據(jù)服務(wù)生命周期管理，集約管理數(shù)據(jù)服務(wù)并減少數(shù)據(jù)調(diào)用和集成的開發(fā)成本。

數(shù)據(jù)安全由于企業(yè)使用的數(shù)據(jù)資源，既有來自于內(nèi)部業(yè)務(wù)系統(tǒng)，所有權(quán)屬于企業(yè)的數(shù)據(jù)，同時(shí)也有來自外部的數(shù)據(jù)，必須將數(shù)據(jù)安全納入數(shù)據(jù)治理的范疇，對所有企業(yè)數(shù)據(jù)要求依據(jù)數(shù)據(jù)安全等級定義進(jìn)行數(shù)據(jù)安全定級，在數(shù)據(jù)產(chǎn)生、傳輸、存儲(chǔ)和使用的過程中進(jìn)行必要的數(shù)據(jù)安全訪問控制，同時(shí)對數(shù)據(jù)相應(yīng)的CRUD活動(dòng)均需產(chǎn)生日志以完成安全審計(jì)。

主數(shù)據(jù)主數(shù)據(jù)管理是數(shù)據(jù)標(biāo)準(zhǔn)落地和提升數(shù)據(jù)質(zhì)量的重要手段，是企業(yè)級數(shù)據(jù)治理的重要范疇，其目標(biāo)在于保證在企業(yè)范圍內(nèi)重要業(yè)務(wù)實(shí)體數(shù)據(jù)的一致(定義和實(shí)際物理數(shù)據(jù)的一致)。主數(shù)據(jù)管理首先進(jìn)行企業(yè)主數(shù)據(jù)的識(shí)別，然后對已識(shí)別主數(shù)據(jù)按照主數(shù)據(jù)規(guī)范要求進(jìn)行數(shù)據(jù)治理和IT改造，以支撐企業(yè)業(yè)務(wù)流和工具鏈的打通和串聯(lián)。

管理中心數(shù)據(jù)治理的開展離不開組織、流程和政策的建設(shè)，管理中心也管理著數(shù)據(jù)治理過程中公共核心的統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)駕駛艙等，滿足不同角色的用戶擁有個(gè)性化的工作臺(tái)。

數(shù)據(jù)治理主要模塊域之間的關(guān)系如下圖所示：

圖1: 數(shù)據(jù)治理各模塊之間的關(guān)系

數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)開發(fā)和設(shè)計(jì)工作提供核心參考，同時(shí)也通過數(shù)據(jù)開發(fā)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化落地。數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)應(yīng)用提供“一致的語言”；數(shù)據(jù)標(biāo)準(zhǔn)為主數(shù)據(jù)管理提供主數(shù)據(jù)定義的基準(zhǔn)，數(shù)據(jù)標(biāo)準(zhǔn)也是數(shù)據(jù)質(zhì)量管理策略設(shè)計(jì)、數(shù)據(jù)質(zhì)量規(guī)則制定的核心依據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)所定義的密級分類和責(zé)任主體，為數(shù)據(jù)安全管理提供依據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)也是數(shù)據(jù)資產(chǎn)管理重要輸入。

主數(shù)據(jù)管理通過數(shù)據(jù)開發(fā)實(shí)現(xiàn)核心數(shù)據(jù)的一致性地記錄、更新和維護(hù)，是數(shù)據(jù)質(zhì)量提升的重要手段。主數(shù)據(jù)管理保障了數(shù)據(jù)應(yīng)用和運(yùn)營過程中核心數(shù)據(jù)的存在和一致性。

數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)應(yīng)用和運(yùn)營過程中數(shù)據(jù)準(zhǔn)確性、一致性、完整性、及時(shí)性、唯一性、有效性的重要保障，是數(shù)據(jù)業(yè)務(wù)價(jià)值創(chuàng)造的重要前提。

數(shù)據(jù)資產(chǎn)管理模塊完成元數(shù)據(jù)的采集和注冊，數(shù)據(jù)資產(chǎn)管理為數(shù)據(jù)應(yīng)用和數(shù)據(jù)消費(fèi)提供了解數(shù)據(jù)的窗口。

數(shù)據(jù)服務(wù)管控實(shí)現(xiàn)在數(shù)據(jù)服務(wù)開發(fā)過程中服務(wù)標(biāo)準(zhǔn)、規(guī)范、要求和管理的落實(shí)，數(shù)據(jù)服務(wù)打通數(shù)據(jù)應(yīng)用和數(shù)據(jù)消費(fèi)的物理通道。

數(shù)據(jù)安全在數(shù)據(jù)開發(fā)過程中完成數(shù)據(jù)安全的IT實(shí)現(xiàn)，以達(dá)成數(shù)據(jù)應(yīng)用過程中安全管理規(guī)范的要求。

以上工作的有效開展，離不開組織管理、明確的責(zé)任人、考核體系、流程制度、數(shù)據(jù)治理政策和數(shù)據(jù)治理平臺(tái)的支撐。

圖2: DataArts Studio各模塊之間的示意圖

DataArts Studio平臺(tái)提供了上述各個(gè)功能模塊，滿足數(shù)據(jù)接入、數(shù)據(jù)建模、標(biāo)準(zhǔn)化、質(zhì)量監(jiān)控、數(shù)據(jù)服務(wù)等全流程的數(shù)據(jù)管理動(dòng)作。

二. 數(shù)據(jù)治理組織框架

數(shù)據(jù)治理可以采用集中化（全時(shí)投入）和虛擬化（部分投入）混合的組織模式。結(jié)合具備專業(yè)技能的專職數(shù)據(jù)治理人員和熟悉業(yè)務(wù)和IT系統(tǒng)的已有人員，在運(yùn)作上實(shí)現(xiàn)數(shù)據(jù)治理團(tuán)隊(duì)的快速構(gòu)建和能力導(dǎo)入，捆綁業(yè)務(wù)、IT開發(fā)和數(shù)據(jù)團(tuán)隊(duì)并利用已有人員熟悉度快速切入重點(diǎn)工作。

在工作內(nèi)容和責(zé)任上具體到三層的工作組織：

在戰(zhàn)略層面，由數(shù)據(jù)治理Sponsor和各部門負(fù)責(zé)人組成的數(shù)據(jù)治理領(lǐng)導(dǎo)組制定數(shù)據(jù)治理的戰(zhàn)略方向，以構(gòu)建數(shù)據(jù)文化和氛圍為綱，整體負(fù)責(zé)數(shù)據(jù)治理工作的開展、政策的推廣和執(zhí)行，并作為數(shù)據(jù)治理問題的最終決策組織解決爭議，監(jiān)控和監(jiān)督數(shù)據(jù)治理工作的績效，并確保數(shù)據(jù)治理工作預(yù)算支持。

數(shù)據(jù)治理委員會(huì)和各領(lǐng)域數(shù)據(jù)治理工作組是數(shù)據(jù)治理戰(zhàn)略在運(yùn)作層面具體的實(shí)施團(tuán)隊(duì)。其中：

數(shù)據(jù)治理委員會(huì)：由數(shù)據(jù)治理負(fù)責(zé)人、數(shù)據(jù)治理專家和數(shù)據(jù)架構(gòu)專家團(tuán)組成，面向企業(yè)進(jìn)行數(shù)據(jù)治理工作的統(tǒng)籌并提供工作指導(dǎo)，在整個(gè)企業(yè)范圍定期溝通數(shù)據(jù)治理工作，形成數(shù)據(jù)質(zhì)量精細(xì)化管控文化。根據(jù)數(shù)據(jù)治理領(lǐng)導(dǎo)組的愿景和長期目標(biāo)，建立和管理數(shù)據(jù)治理流程、階段目標(biāo)和計(jì)劃，設(shè)計(jì)和維護(hù)數(shù)據(jù)治理方法、總則、工具和平臺(tái)，協(xié)助各數(shù)據(jù)領(lǐng)域工作組實(shí)施數(shù)據(jù)治理工作，對整體數(shù)據(jù)治理工作進(jìn)行度量和匯報(bào)，并對跨領(lǐng)域的數(shù)據(jù)治理問題和爭議進(jìn)行解決和決策。

各領(lǐng)域數(shù)據(jù)治理工作組：在各領(lǐng)域數(shù)據(jù)范圍內(nèi)進(jìn)行數(shù)據(jù)治理的工作，依據(jù)數(shù)據(jù)治理委員會(huì)制定的數(shù)據(jù)治理方法和總則，制定本領(lǐng)域數(shù)據(jù)治理目標(biāo)和工作計(jì)劃，負(fù)責(zé)領(lǐng)域數(shù)據(jù)資產(chǎn)的看護(hù)，維護(hù)更新相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)和及相關(guān)元數(shù)據(jù)，設(shè)計(jì)本領(lǐng)域數(shù)據(jù)度量和規(guī)則，監(jiān)控收集數(shù)據(jù)質(zhì)量問題并持續(xù)改進(jìn)提升，主動(dòng)升級數(shù)據(jù)相關(guān)問題。最終完成領(lǐng)域內(nèi)數(shù)據(jù)資產(chǎn)的看護(hù)，并支撐數(shù)據(jù)治理目標(biāo)的達(dá)成。

領(lǐng)域數(shù)據(jù)治理工作組由數(shù)據(jù)Owner、數(shù)據(jù)代表、數(shù)據(jù)管家、數(shù)據(jù)專員和數(shù)據(jù)架構(gòu)師組成。其中：

數(shù)據(jù)Owner (Data Owners)：數(shù)據(jù)Owner是領(lǐng)域數(shù)據(jù)治理工作的責(zé)任人。

制定本領(lǐng)域數(shù)據(jù)治理的目標(biāo)，工作計(jì)劃和執(zhí)行優(yōu)先級。

建立數(shù)據(jù)治理責(zé)任機(jī)制，將本領(lǐng)域的數(shù)據(jù)治理工作分解到工作組成員,并跟進(jìn)及管理工作組工作。

設(shè)計(jì)數(shù)據(jù)質(zhì)量規(guī)格，承接數(shù)據(jù)需求，對數(shù)據(jù)問題及爭議進(jìn)行裁決。

建設(shè)和維護(hù)本領(lǐng)域信息架構(gòu)。

建立和推動(dòng)領(lǐng)域數(shù)據(jù)文化和氛圍。

數(shù)據(jù)代表 (Data Representatives)：數(shù)據(jù)代表是領(lǐng)域數(shù)據(jù)治理工作的專家?guī)ь^人。

深刻理解數(shù)據(jù)工作的目標(biāo)、方法、規(guī)則、工具，并通過識(shí)別關(guān)鍵業(yè)務(wù)流程和IT系統(tǒng)，對本領(lǐng)域數(shù)據(jù)治理的路標(biāo)和工作計(jì)劃進(jìn)行細(xì)化并排序，最終管理執(zhí)行。

作為本領(lǐng)域數(shù)據(jù)治理專家，管理并解決問題和爭議，必要時(shí)提交數(shù)據(jù)Owner進(jìn)行裁決。

對業(yè)務(wù)環(huán)節(jié)數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性、有效性負(fù)責(zé)，確保行為即記錄，記錄即數(shù)據(jù)，并依據(jù)數(shù)據(jù)質(zhì)量規(guī)格對本領(lǐng)域數(shù)據(jù)進(jìn)行度量和報(bào)告。

落實(shí)本領(lǐng)域信息架構(gòu)的建設(shè)和遵從，負(fù)責(zé)本領(lǐng)域數(shù)據(jù)資產(chǎn)的看護(hù)，維護(hù)相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)目錄并更新發(fā)布。

承接上下游數(shù)據(jù)需求，并主動(dòng)根據(jù)領(lǐng)域內(nèi)應(yīng)用場景和業(yè)務(wù)需求識(shí)別數(shù)據(jù)需求，對需求的實(shí)現(xiàn)進(jìn)行推動(dòng)和管理。

依據(jù)相關(guān)規(guī)定定義本領(lǐng)域數(shù)據(jù)安全等級，并進(jìn)行數(shù)據(jù)授權(quán)管理。

數(shù)據(jù)管家 (Data Stewards)：數(shù)據(jù)管家是領(lǐng)域數(shù)據(jù)治理工作的協(xié)助者。

確保領(lǐng)域治理工作的流程和內(nèi)容規(guī)范，符合數(shù)據(jù)治理要求。

協(xié)助數(shù)據(jù)代表進(jìn)行問題跟蹤和解決。

梳理、維護(hù)并更新領(lǐng)域數(shù)據(jù)元數(shù)據(jù)（業(yè)務(wù)對象、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型）。

推廣和維護(hù)數(shù)據(jù)治理工具和平臺(tái)在本領(lǐng)域的應(yīng)用。

數(shù)據(jù)專員 (Data Specialists)：數(shù)據(jù)專員是領(lǐng)域數(shù)據(jù)治理工作的專家團(tuán)隊(duì)。基于本領(lǐng)域數(shù)據(jù)治理的工作計(jì)劃，利用數(shù)據(jù)專項(xiàng)技能，支撐數(shù)據(jù)代表完成數(shù)據(jù)Owner分配的各類數(shù)據(jù)治理工作。

數(shù)據(jù)架構(gòu)師 (Data Architects)：數(shù)據(jù)架構(gòu)師是領(lǐng)域數(shù)據(jù)治理工作在IT層面的代表。

開發(fā)和維護(hù)本領(lǐng)域的數(shù)據(jù)系統(tǒng)或子系統(tǒng)，確保數(shù)據(jù)在系統(tǒng)中得以記錄，數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)安全、主/參考數(shù)據(jù)管理、數(shù)據(jù)服務(wù)在系統(tǒng)中得以實(shí)施。

提供數(shù)據(jù)系統(tǒng)的數(shù)據(jù)相關(guān)信息（元數(shù)據(jù)、數(shù)據(jù)字典、數(shù)據(jù)血緣）。

協(xié)助執(zhí)行IT相關(guān)的數(shù)據(jù)治理工作。

確保數(shù)據(jù)系統(tǒng)的技術(shù)方案符合本領(lǐng)域的信息架構(gòu)，技術(shù)選擇能夠滿足數(shù)據(jù)發(fā)展中長期的需求。

三. 數(shù)據(jù)治理度量評論體系

數(shù)據(jù)治理實(shí)施方法論按照數(shù)據(jù)治理成熟度評估->評估現(xiàn)狀、確定目標(biāo)、分析差距->計(jì)劃制定、計(jì)劃執(zhí)行->持續(xù)監(jiān)測度量演進(jìn)的關(guān)鍵實(shí)施方法形成數(shù)據(jù)治理實(shí)施閉環(huán)流程。

圖3?: 數(shù)據(jù)治理實(shí)施方法論

這也遵循了PDCA（Plan-Do-Check-Action）循環(huán)的科學(xué)程序，結(jié)合數(shù)據(jù)治理工作的特點(diǎn)設(shè)計(jì)了兩個(gè)層面的度量評估：

度量評估工具	度量評估對象	度量評估方法	度量評估頻次
數(shù)據(jù)治理成熟度評估	企業(yè)整體	調(diào)查問卷	年度
數(shù)據(jù)治理評分卡	各業(yè)務(wù)及IT部門	數(shù)據(jù)治理工作組與各業(yè)務(wù)及IT部門共同打分	季度

通過年度的整體數(shù)據(jù)治理成熟度評估，了解各維度數(shù)據(jù)治理現(xiàn)狀，并制定可操作性目標(biāo)，分析差距，制定切實(shí)可行的計(jì)劃，在推進(jìn)落實(shí)計(jì)劃的過程中，利用季度性實(shí)施的數(shù)據(jù)治理評分卡，針對性地監(jiān)測度量各業(yè)務(wù)/IT部門的數(shù)據(jù)治理情況，持續(xù)推進(jìn)各部門的數(shù)據(jù)治理水平提升，進(jìn)而提高整體數(shù)據(jù)治理成熟度。

年度進(jìn)行的整體數(shù)據(jù)治理成熟度評估，可以結(jié)合主觀及客觀調(diào)查度量，綜合反映企業(yè)當(dāng)前數(shù)據(jù)治理成熟度水平，幫助制定切實(shí)可行的數(shù)據(jù)治理整體目標(biāo)。季度性實(shí)施的數(shù)據(jù)治理評分卡是一個(gè)重要的工具手段，從一些關(guān)鍵核心維度進(jìn)行季度性迭代評分，持續(xù)促進(jìn)所有部門數(shù)據(jù)治理工作的落實(shí)提升。

數(shù)據(jù)治理成熟度評估使用調(diào)查問卷方式，包括11個(gè)治理模塊，60多個(gè)調(diào)查問卷事項(xiàng)，全方面多維度度量了數(shù)據(jù)治理工作的水平。

數(shù)據(jù)治理評分卡使用評分卡形式，由數(shù)據(jù)治理組織和各業(yè)務(wù)IT部門共同針對各部門自身數(shù)據(jù)治理情況進(jìn)行打分。評分卡是季度性打分，作為一個(gè)工具手段持續(xù)推動(dòng)促進(jìn)各部門的數(shù)據(jù)治理工作，改進(jìn)數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)治理水平。

圖4: 數(shù)據(jù)治理評分卡

數(shù)據(jù)治理成熟度評估分5個(gè)級別：

級別1是最低級別，數(shù)據(jù)治理處于初始級別，空白狀態(tài)，沒有相關(guān)流程及數(shù)據(jù)治理管控。

級別2是開始管理級別，仍處于匱乏狀態(tài)，沒有形成正式一致的數(shù)據(jù)治理方法。

級別3是明確定義級別，處于可改進(jìn)狀態(tài)，已經(jīng)形成了主動(dòng)治理的流程和正式一致的數(shù)據(jù)治理方法。

級別4是量化管理級別，已經(jīng)步入適宜匹配狀態(tài)，貫穿組織采用的正式一致的數(shù)據(jù)治理方法都是可量化管控的。

級別5是最高級別，專注于持續(xù)優(yōu)化提升，已經(jīng)步入卓越狀態(tài)。

圖5: 數(shù)據(jù)治理成熟度級別分層

數(shù)據(jù)治理評分卡對各維度度量是按5分制進(jìn)行評分，每一個(gè)度量細(xì)項(xiàng)只有得分0或得分1，如果滿足度量細(xì)項(xiàng)要求得分1，否則得分0。

圖6: 數(shù)據(jù)治理評分卡數(shù)據(jù)執(zhí)行維度度量評分計(jì)算范例

如上示例，針對流程7.10交付項(xiàng)目管理，數(shù)據(jù)執(zhí)行維度有6個(gè)度量細(xì)項(xiàng)，則這一度量維度的總體得分就是SUM(度量細(xì)項(xiàng)得分)*5/6。所以這一度量維度的實(shí)際得分就是(1+1+1+0+0+1)*5/6=3.3。

四. DAYU方法論產(chǎn)品落地

DAYU數(shù)據(jù)治理方法論已經(jīng)在華為云云服務(wù)數(shù)據(jù)治理中心DataArts Studio上落地實(shí)現(xiàn)，包括流程落地和功能落地。

流程落地是指有一套詳細(xì)的流程規(guī)范（需求、設(shè)計(jì)、實(shí)施、驗(yàn)證、發(fā)布等階段）指導(dǎo)用戶使用DataArts Studio開展數(shù)據(jù)治理工作；功能落地是指DataArts Studio平臺(tái)提供自動(dòng)化、智能化的工具幫助用戶高效完成數(shù)據(jù)治理工作。

DAYU數(shù)據(jù)治理方法論還有完全版本，詳細(xì)描述了流程落地和功能落地內(nèi)容。可通過《華為數(shù)據(jù)之道》圖書進(jìn)行深入了解

圖7: 方法論流程落地

圖8: 方法論功能落地

一. 什么是數(shù)據(jù)治理中心DataArts Studio

企業(yè)在進(jìn)行數(shù)據(jù)管理時(shí)，通常會(huì)遇到下列挑戰(zhàn)。

數(shù)據(jù)治理的挑戰(zhàn)

缺乏企業(yè)數(shù)據(jù)體系標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范定義的方法論，數(shù)據(jù)語言不統(tǒng)一。

缺乏面向普通業(yè)務(wù)人員的高效、準(zhǔn)確的數(shù)據(jù)搜索工具，數(shù)據(jù)找不到。

缺乏技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)聯(lián)，數(shù)據(jù)讀不懂。

缺乏數(shù)據(jù)的質(zhì)量管控和評估手段，數(shù)據(jù)不可信。

數(shù)據(jù)運(yùn)營的挑戰(zhàn)

數(shù)據(jù)運(yùn)營效率低，業(yè)務(wù)環(huán)境的快速變化帶來大量多樣化的數(shù)據(jù)分析報(bào)表需求，因?yàn)槿狈Ω咝У臄?shù)據(jù)運(yùn)營工具平臺(tái)，數(shù)據(jù)開發(fā)周期長、效率低，不能滿足業(yè)務(wù)運(yùn)營決策人員的訴求。

數(shù)據(jù)運(yùn)營成本高，數(shù)據(jù)未服務(wù)化，導(dǎo)致數(shù)據(jù)拷貝多、數(shù)據(jù)口徑不一致，同時(shí)數(shù)據(jù)重復(fù)開發(fā)，造成資源浪費(fèi)。

數(shù)據(jù)創(chuàng)新的挑戰(zhàn)

企業(yè)內(nèi)部存在大量數(shù)據(jù)孤島，導(dǎo)致數(shù)據(jù)不共享、不流通，無法實(shí)現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析與數(shù)據(jù)創(chuàng)新。

數(shù)據(jù)的應(yīng)用還停留在數(shù)據(jù)分析報(bào)表階段，缺乏基于數(shù)據(jù)反哺業(yè)務(wù)推動(dòng)業(yè)務(wù)創(chuàng)新的解決方案。

數(shù)據(jù)治理中心DataArts Studio是為了應(yīng)對上述挑戰(zhàn)、針對企業(yè)數(shù)字化運(yùn)營訴求提供的數(shù)據(jù)全生命周期管理、具有智能數(shù)據(jù)管理能力的一站式治理運(yùn)營平臺(tái)，包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全等功能，支持行業(yè)知識(shí)庫智能化建設(shè)，支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座，幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng)，消除數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加快數(shù)據(jù)變現(xiàn)，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。

產(chǎn)品架構(gòu)如圖1所示。

圖9: 產(chǎn)品架構(gòu)

如圖所示，DataArts Studio基于數(shù)據(jù)湖底座，提供數(shù)據(jù)集成、開發(fā)、治理、開放等能力。DataArts Studio支持對接所有華為云的數(shù)據(jù)湖與數(shù)據(jù)庫云服務(wù)作為數(shù)據(jù)湖底座，例如MRS Hive、數(shù)據(jù)倉庫服務(wù)DWS等，也支持對接企業(yè)傳統(tǒng)數(shù)據(jù)倉庫，例如Oracle、Greenplum等。

DataArts Studio包含如下功能組件：

管理中心提供DataArts Studio數(shù)據(jù)連接管理的能力，將DataArts Studio與數(shù)據(jù)湖底座進(jìn)行對接，用于數(shù)據(jù)開發(fā)與數(shù)據(jù)治理等活動(dòng)。

數(shù)據(jù)集成數(shù)據(jù)集成提供20+簡單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，全向?qū)脚渲煤凸芾恚С謫伪怼⒄麕臁⒃隽俊⒅芷谛詳?shù)據(jù)集成。

數(shù)據(jù)架構(gòu)作為數(shù)據(jù)治理的一個(gè)核心模塊，承擔(dān)數(shù)據(jù)治理過程中的數(shù)據(jù)加工并業(yè)務(wù)化的功能，提供智能數(shù)據(jù)規(guī)劃、自定義主題數(shù)據(jù)模型、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、可視化數(shù)據(jù)建模、標(biāo)注數(shù)據(jù)標(biāo)簽等功能，有利于改善數(shù)據(jù)質(zhì)量，有效支撐經(jīng)營決策。

數(shù)據(jù)開發(fā)大數(shù)據(jù)開發(fā)環(huán)境，降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。支持?jǐn)?shù)據(jù)建模、數(shù)據(jù)集成、腳本開發(fā)、工作流編排等操作，輕松完成整個(gè)數(shù)據(jù)的處理分析流程。

數(shù)據(jù)質(zhì)量數(shù)據(jù)全生命周期管控，數(shù)據(jù)處理全流程質(zhì)量監(jiān)控，異常事件實(shí)時(shí)通知。

數(shù)據(jù)目錄提供企業(yè)級的元數(shù)據(jù)管理，厘清信息資產(chǎn)。通過數(shù)據(jù)地圖，實(shí)現(xiàn)數(shù)據(jù)血緣和數(shù)據(jù)全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營監(jiān)控。

數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)定位于標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)平臺(tái)，提供一站式數(shù)據(jù)服務(wù)開發(fā)、測試部署能力，實(shí)現(xiàn)數(shù)據(jù)服務(wù)敏捷響應(yīng)，降低數(shù)據(jù)獲取難度，提升數(shù)據(jù)消費(fèi)體驗(yàn)和效率，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn)。

數(shù)據(jù)安全數(shù)據(jù)安全為數(shù)據(jù)治理中心提供數(shù)據(jù)生命周期內(nèi)統(tǒng)一的數(shù)據(jù)使用保護(hù)能力。通過敏感數(shù)據(jù)識(shí)別、分級分類、隱私保護(hù)、資源權(quán)限控制、數(shù)據(jù)加密傳輸、加密存儲(chǔ)、數(shù)據(jù)風(fēng)險(xiǎn)識(shí)別等措施，幫助用戶建立安全預(yù)警機(jī)制，增強(qiáng)整體安全防護(hù)能力，讓數(shù)據(jù)可用不可得和安全合規(guī)。

二. 產(chǎn)品功能

數(shù)據(jù)集成提供30+同構(gòu)/異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)集成的功能，幫助您實(shí)現(xiàn)數(shù)據(jù)自由流動(dòng)。支持自建和云上的文件系統(tǒng)，關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫，NoSQL，大數(shù)據(jù)云服務(wù)，對象存儲(chǔ)等數(shù)據(jù)源。

數(shù)據(jù)集成基于分布式計(jì)算框架，利用并行化處理技術(shù)，支持用戶穩(wěn)定高效地對海量數(shù)據(jù)進(jìn)行移動(dòng)，實(shí)現(xiàn)不停服數(shù)據(jù)遷移，快速構(gòu)建所需的數(shù)據(jù)架構(gòu)。

圖10: 數(shù)據(jù)集成

數(shù)據(jù)集成提供全向?qū)饺蝿?wù)管理界面，幫助用戶在幾分鐘內(nèi)完成數(shù)據(jù)遷移任務(wù)的創(chuàng)建，輕松應(yīng)對復(fù)雜遷移場景。數(shù)據(jù)集成支持的功能主要有：

表/文件/整庫遷移支持批量遷移表或者文件，還支持同構(gòu)/異構(gòu)數(shù)據(jù)庫之間整庫遷移，一個(gè)作業(yè)即可遷移幾百張表。

增量數(shù)據(jù)遷移支持文件增量遷移、關(guān)系型數(shù)據(jù)庫增量遷移、HBase增量遷移，以及使用Where條件配合時(shí)間變量函數(shù)實(shí)現(xiàn)增量數(shù)據(jù)遷移。

事務(wù)模式遷移支持當(dāng)遷移作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)。

字段轉(zhuǎn)換支持去隱私、字符串操作、日期操作等常用字段的數(shù)據(jù)轉(zhuǎn)換功能。

文件加密在遷移文件到文件系統(tǒng)時(shí)，數(shù)據(jù)集成支持對寫入云端的文件進(jìn)行加密。

MD5校驗(yàn)一致性支持使用MD5校驗(yàn)，檢查端到端文件的一致性，并輸出校驗(yàn)結(jié)果。

臟數(shù)據(jù)歸檔支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)據(jù)自動(dòng)歸檔到臟數(shù)據(jù)日志中，方便用戶分析異常數(shù)據(jù)。并支持設(shè)置臟數(shù)據(jù)比例閾值，來決定任務(wù)是否成功。

DataArts Studio數(shù)據(jù)架構(gòu)踐行數(shù)據(jù)治理方法論，將數(shù)據(jù)治理行為可視化，打通數(shù)據(jù)基礎(chǔ)層到匯總層、集市層的數(shù)據(jù)處理鏈路，落地?cái)?shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)資產(chǎn)，通過關(guān)系建模、維度建模實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，通過統(tǒng)一指標(biāo)平臺(tái)建設(shè)，實(shí)現(xiàn)規(guī)范化指標(biāo)體系，消除歧義、統(tǒng)一口徑、統(tǒng)一計(jì)算邏輯，對外提供主題式數(shù)據(jù)查詢與挖掘服務(wù)。

圖11: 數(shù)據(jù)架構(gòu)

DataArts Studio數(shù)據(jù)架構(gòu)主要包括以下三個(gè)部分：

主題設(shè)計(jì)構(gòu)建統(tǒng)一的數(shù)據(jù)分類體系，用于目錄化管理所有業(yè)務(wù)數(shù)據(jù)，便于數(shù)據(jù)的歸類，查找，評價(jià)，使用。通過分層架構(gòu)對數(shù)據(jù)分類和定義，可幫助用戶厘清數(shù)據(jù)資產(chǎn)，明確業(yè)務(wù)領(lǐng)域和業(yè)務(wù)對象的關(guān)聯(lián)關(guān)系。

數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，數(shù)據(jù)標(biāo)準(zhǔn)流程化、系統(tǒng)化。用戶可基于國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)，對每一行數(shù)據(jù)、每一個(gè)字段的具體取值進(jìn)行標(biāo)準(zhǔn)化，從而提升數(shù)據(jù)質(zhì)量和易用性。

數(shù)據(jù)建模構(gòu)建統(tǒng)一的數(shù)據(jù)模型體系，通過規(guī)范定義和數(shù)據(jù)建模，自頂向下構(gòu)建企業(yè)數(shù)據(jù)分層體系，沉淀企業(yè)數(shù)據(jù)公共層和主題庫，便于數(shù)據(jù)的流通、共享、創(chuàng)造、創(chuàng)新，提升數(shù)據(jù)使用效率，極大的減少數(shù)據(jù)冗余，混亂，隔離，不一致以及謬誤等。DataArts Studio數(shù)據(jù)架構(gòu)支持的數(shù)據(jù)建模方法有：

關(guān)系建模關(guān)系建模是用實(shí)體關(guān)系（Entity Relationship，ER）模型描述企業(yè)業(yè)務(wù)，它在范式理論上符合3NF，出發(fā)點(diǎn)是整合數(shù)據(jù)，將各個(gè)系統(tǒng)中的數(shù)據(jù)以整個(gè)企業(yè)角度按主題進(jìn)行相似性組合和合并，并進(jìn)行一致性處理，為數(shù)據(jù)分析決策服務(wù)，但是并不能直接用于分析決策。

維度建模維度建模是以維度建模理論為基礎(chǔ)，構(gòu)建總線矩陣、抽象出事實(shí)和維度，構(gòu)建維度模型和事實(shí)模型，同時(shí)對報(bào)表需求進(jìn)行抽象整理出相關(guān)指標(biāo)體系，構(gòu)建出匯總模型。

DataArts Studio數(shù)據(jù)開發(fā)是一個(gè)一站式敏捷大數(shù)據(jù)開發(fā)平臺(tái)，提供可視化的圖形開發(fā)界面、豐富的數(shù)據(jù)開發(fā)類型（腳本開發(fā)和作業(yè)開發(fā)）、全托管的作業(yè)調(diào)度和運(yùn)維監(jiān)控能力，內(nèi)置行業(yè)數(shù)據(jù)處理pipeline，一鍵式開發(fā)，全流程可視化，支持多人在線協(xié)同開發(fā)，支持管理多種大數(shù)據(jù)云服務(wù)，極大地降低了用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。

圖12: 數(shù)據(jù)開發(fā)模塊架構(gòu)

數(shù)據(jù)開發(fā)支持?jǐn)?shù)據(jù)管理、腳本開發(fā)、作業(yè)開發(fā)、資源管理、作業(yè)調(diào)度、運(yùn)維監(jiān)控等操作，幫助用戶輕松完成整個(gè)數(shù)據(jù)的處理分析流程。

數(shù)據(jù)管理

支持管理DWS、DLI、MRS Hive等多種數(shù)據(jù)倉庫。

支持可視化和DDL方式管理數(shù)據(jù)庫表。

腳本開發(fā)

提供在線腳本編輯器，支持多人協(xié)作進(jìn)行SQL、Shell、Python腳本在線代碼開發(fā)和調(diào)測。

支持使用變量。

作業(yè)開發(fā)

提供圖形化設(shè)計(jì)器，支持拖拽式工作流開發(fā)，快速構(gòu)建數(shù)據(jù)處理業(yè)務(wù)流水線。

預(yù)設(shè)數(shù)據(jù)集成、SQL、Spark、Shell、機(jī)器學(xué)習(xí)等多種任務(wù)類型，通過任務(wù)間依賴完成復(fù)雜數(shù)據(jù)分析處理。

支持導(dǎo)入和導(dǎo)出作業(yè)。

資源管理支持統(tǒng)一管理在腳本開發(fā)和作業(yè)開發(fā)使用到的file、jar、archive類型的資源。

作業(yè)調(diào)度

支持單次調(diào)度、周期調(diào)度和事件驅(qū)動(dòng)調(diào)度，周期調(diào)度支持分鐘、小時(shí)、天、周、月多種調(diào)度周期。

作業(yè)調(diào)度支持多種云服務(wù)的多種類型的任務(wù)混合編排，高性能的調(diào)度引擎已經(jīng)經(jīng)過幾百個(gè)應(yīng)用的檢驗(yàn)。

運(yùn)維監(jiān)控

支持對作業(yè)進(jìn)行運(yùn)行、暫停、恢復(fù)、終止等多種操作。

支持查看作業(yè)和其內(nèi)各任務(wù)節(jié)點(diǎn)的運(yùn)行詳情。

支持配置多種方式報(bào)警，作業(yè)和任務(wù)發(fā)生錯(cuò)誤時(shí)可及時(shí)通知相關(guān)人，保證業(yè)務(wù)正常運(yùn)行。

數(shù)據(jù)質(zhì)量模塊支持對業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗(yàn)，幫助用戶及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。

業(yè)務(wù)指標(biāo)監(jiān)控業(yè)務(wù)指標(biāo)監(jiān)控是對業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場景，實(shí)時(shí)、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求。

數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量監(jiān)控是對數(shù)據(jù)庫里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性。數(shù)據(jù)質(zhì)量可以從完整性、有效性、及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析，也支持?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，支持周期性的監(jiān)控。圖4數(shù)據(jù)質(zhì)量規(guī)則體系

DataArts Studio提供企業(yè)級的元數(shù)據(jù)管理，厘清信息資產(chǎn)。數(shù)據(jù)資產(chǎn)管理可視，支持鉆取、溯源等。通過數(shù)據(jù)地圖，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)血緣和數(shù)據(jù)全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營監(jiān)控。

元數(shù)據(jù)管理元數(shù)據(jù)管理模塊是數(shù)據(jù)湖治理的基石，支持創(chuàng)建自定義策略的采集任務(wù)，可采集數(shù)據(jù)源中的技術(shù)元數(shù)據(jù)。支持自定義業(yè)務(wù)元模型，批量導(dǎo)入業(yè)務(wù)元數(shù)據(jù)，關(guān)聯(lián)業(yè)務(wù)和技術(shù)元數(shù)據(jù)、全鏈路的血緣管理和應(yīng)用。圖5全鏈路數(shù)據(jù)血緣

數(shù)據(jù)地圖數(shù)據(jù)地圖圍繞數(shù)據(jù)搜索，服務(wù)于數(shù)據(jù)分析、數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)運(yùn)營等數(shù)據(jù)表的使用者和擁有者，提供方便快捷的數(shù)據(jù)搜索服務(wù)，擁有功能強(qiáng)大的血緣信息及影響分析。

在數(shù)據(jù)地圖中，可通過關(guān)鍵詞搜索數(shù)據(jù)資產(chǎn)，支持模糊搜索，快速檢索，定位數(shù)據(jù)。

使用數(shù)據(jù)地圖根據(jù)表名直接查看表詳情，快速查閱明細(xì)信息，掌握使用規(guī)則。獲得數(shù)據(jù)詳細(xì)信息后，可添加額外描述。

通過數(shù)據(jù)地圖的血緣分析可以查看每個(gè)數(shù)據(jù)表的來源、去向，并查看每個(gè)表及字段的加工邏輯。

對數(shù)據(jù)資產(chǎn)，可以從業(yè)務(wù)角度定義分類或標(biāo)簽。

DataArts Studio數(shù)據(jù)服務(wù)旨在為企業(yè)搭建統(tǒng)一的數(shù)據(jù)服務(wù)總線，幫助企業(yè)統(tǒng)一管理對內(nèi)對外的API服務(wù)，支撐業(yè)務(wù)主題/畫像/指標(biāo)的訪問、查詢和檢索，提升數(shù)據(jù)消費(fèi)體驗(yàn)和效率，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn)。數(shù)據(jù)服務(wù)為您提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力，同時(shí)支持您將現(xiàn)有的API快速注冊到數(shù)據(jù)服務(wù)平臺(tái)以統(tǒng)一管理和發(fā)布。

數(shù)據(jù)服務(wù)采用Serverless架構(gòu)，您只需關(guān)注API本身的查詢邏輯，無需關(guān)心運(yùn)行環(huán)境等基礎(chǔ)設(shè)施，數(shù)據(jù)服務(wù)會(huì)為您準(zhǔn)備好計(jì)算資源，并支持彈性擴(kuò)展，零運(yùn)維成本。

圖13: 數(shù)據(jù)服務(wù)架構(gòu)圖

網(wǎng)絡(luò)安全基于網(wǎng)絡(luò)隔離、安全組規(guī)則以及一系列安全加固項(xiàng)，實(shí)現(xiàn)租戶隔離和訪問權(quán)限控制，保護(hù)系統(tǒng)和用戶的隱私及數(shù)據(jù)安全。

用戶權(quán)限策略基于角色的訪問控制，用戶通過角色與權(quán)限進(jìn)行關(guān)聯(lián)，并支持細(xì)粒度權(quán)限策略，可滿足不同的授權(quán)需求。針對不同的用戶，DataArts Studio提供了管理者、開發(fā)者、運(yùn)維者、訪問者四種不同的角色，各個(gè)角色擁有不同的權(quán)限。

數(shù)據(jù)安全針對數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)等關(guān)鍵流程，DataArts Studio提供了審核流程。數(shù)據(jù)的分級分類管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可回溯。

三.產(chǎn)品優(yōu)勢

貫穿數(shù)據(jù)全流程的一站式治理運(yùn)營平臺(tái)，提供全域數(shù)據(jù)集成、標(biāo)準(zhǔn)數(shù)據(jù)架構(gòu)、連接并萃取數(shù)據(jù)價(jià)值、全流程數(shù)據(jù)質(zhì)量監(jiān)控、統(tǒng)一數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)開發(fā)服務(wù)等，幫助企業(yè)構(gòu)建完整的數(shù)據(jù)中臺(tái)解決方案。

數(shù)據(jù)全生命周期管控，提供數(shù)據(jù)架構(gòu)定義及可視化的模型設(shè)計(jì)，智能化的幫助用戶生成數(shù)據(jù)處理代碼，數(shù)據(jù)處理全流程質(zhì)量監(jiān)控，異常事件實(shí)時(shí)通知。

支持多人在線協(xié)作開發(fā)，腳本開發(fā)可支持SQL、Shell在線編輯、實(shí)時(shí)查詢；作業(yè)開發(fā)可支持CDM、SQL、MRS、Shell、Spark等多種數(shù)據(jù)處理節(jié)點(diǎn)，提供豐富的調(diào)度配置策略與海量的作業(yè)調(diào)度能力。

全面托管的調(diào)度，支持按時(shí)間、事件觸發(fā)的任務(wù)觸發(fā)機(jī)制，支持分鐘、小時(shí)、天、周和月等多種調(diào)度周期。

可視化的任務(wù)運(yùn)維中心，監(jiān)控所有任務(wù)的運(yùn)行，支持配置各類報(bào)警通知，便于責(zé)任人實(shí)時(shí)獲取任務(wù)的情況，保證業(yè)務(wù)正常運(yùn)行。

提供垂直行業(yè)可復(fù)用的領(lǐng)域知識(shí)庫，涵蓋行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)、行業(yè)領(lǐng)域模型、行業(yè)數(shù)據(jù)主題庫、行業(yè)算法庫和行業(yè)指標(biāo)庫等，支持智慧政務(wù)、智慧稅務(wù)、智慧園區(qū)等行業(yè)，幫助企業(yè)快速定制數(shù)據(jù)運(yùn)營端到端解決方案。

全局資產(chǎn)視圖、快速查看、智能管理、數(shù)據(jù)溯源和數(shù)據(jù)開放共享，從業(yè)務(wù)視角管理和查看數(shù)據(jù)，定義業(yè)務(wù)架構(gòu)、業(yè)務(wù)分類和業(yè)務(wù)術(shù)語，統(tǒng)一管理資產(chǎn)訪問權(quán)限。

數(shù)據(jù)治理運(yùn)營過程可視，拖拉拽配置，無需編碼；處理結(jié)果可視，更直觀，便于交互和探索；數(shù)據(jù)資產(chǎn)管理可視，支持鉆取、溯源等。

統(tǒng)一的安全認(rèn)證，租戶隔離，數(shù)據(jù)的分級分類管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可審計(jì)、可回溯。

基于角色的訪問控制，用戶通過角色與權(quán)限進(jìn)行關(guān)聯(lián)，并支持細(xì)粒度權(quán)限策略，可滿足不同的授權(quán)需求。

四. 應(yīng)用場景

從數(shù)據(jù)采集->數(shù)據(jù)架構(gòu)->質(zhì)量監(jiān)控->數(shù)據(jù)清洗->數(shù)據(jù)建模->數(shù)據(jù)聯(lián)接->數(shù)據(jù)整合->數(shù)據(jù)消費(fèi)->智能分析(BI)，一站式數(shù)據(jù)智能運(yùn)營平臺(tái)，幫助企業(yè)快速構(gòu)建數(shù)據(jù)運(yùn)營能力。

優(yōu)勢:

多種云服務(wù)作業(yè)編排

全鏈路數(shù)據(jù)治理管控

豐富數(shù)據(jù)引擎支持支持對接所有華為云的數(shù)據(jù)湖與數(shù)據(jù)庫云服務(wù)，也支持對接企業(yè)傳統(tǒng)數(shù)據(jù)倉庫，比如Oracle等。

簡單易用圖形化編排，即開即用，輕松上手。

圖14: 一站式數(shù)據(jù)運(yùn)營治理平臺(tái)

快速將線下數(shù)據(jù)遷移上云，將數(shù)據(jù)集成到云上大數(shù)據(jù)服務(wù)中，并在DataArts Studio的界面中就可以進(jìn)行快速的數(shù)據(jù)開發(fā)工作，讓企業(yè)數(shù)據(jù)體系的建設(shè)變得如此簡單。

優(yōu)勢

數(shù)據(jù)集成一鍵式操作通過在服務(wù)界面配置化操作，可實(shí)現(xiàn)線上線下數(shù)據(jù)快速集成到云數(shù)據(jù)倉庫。

支持多種數(shù)倉服務(wù)類型根據(jù)需求，可以靈活選擇數(shù)據(jù)服務(wù)類型，可以選擇DWS服務(wù)建數(shù)倉，也可以選擇MRS服務(wù)等數(shù)據(jù)平臺(tái)。

安全穩(wěn)定、降低成本一站式的服務(wù)能力和穩(wěn)定的數(shù)倉服務(wù)，讓云上數(shù)據(jù)萬無一失；免自建大數(shù)據(jù)集群、免運(yùn)維，極大降低企業(yè)建設(shè)數(shù)倉成本。

圖15: 云上數(shù)據(jù)平臺(tái)

通過應(yīng)用華為在企業(yè)業(yè)務(wù)領(lǐng)域積累的豐富的行業(yè)領(lǐng)域模型和算法，幫助企業(yè)構(gòu)建數(shù)據(jù)中臺(tái)，快速提升數(shù)據(jù)運(yùn)營能力。

優(yōu)勢

多行業(yè)支持覆蓋政務(wù)/稅務(wù)/城市/交通/園區(qū)等各行業(yè)。

標(biāo)準(zhǔn)規(guī)范支持支持分層結(jié)構(gòu)的行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)。

領(lǐng)域模型豐富支持包含人員/組織/事件/時(shí)空/車輛/資產(chǎn)/設(shè)備/資源等八大類數(shù)據(jù)以及相互之間關(guān)系的行業(yè)領(lǐng)域模型。

快速應(yīng)用行業(yè)庫支持快速應(yīng)用的行業(yè)主題庫、行業(yè)算法庫、行業(yè)指標(biāo)庫。

圖16: 數(shù)據(jù)中臺(tái)