- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2023-02-20來源:世世誓不離瀏覽數:2175次
一.數據治理框架

數據治理主要專注于如下模塊域:
數據集成數據集成用來完成數據入湖動作,不是簡單的數據搬家,而是按照一定的方法論進行數據備份。數據入湖的前提條件是滿足6項數據標準,包括:明確數據Owner、發布數據標準、定義數據密級、明確數據源、數據質量評估、元數據注冊。此標準由數據代表在入湖前完成梳理并在數據治理平臺上進行資產注冊。
數據標準數據標準管理著重建立統一的數據語言,L1到L5數據層級業務對象的定義是數據標準的載體,并對應發布包括L1到L5數據層級的數據標準。各業務對象對應物理實現的IT系統需發布相應的數據字典并進行數據源認證。而對于梳理出來,但沒有落IT系統的業務對象,需在后繼的開發中進行數字化落地。
數據開發數據開發是編排、調度和運維的中心,數據開發是一個提供分析、設計、實施、部署及維護一站式數據解決方案,完成數據加工、轉換和質量提升等。數據開發屏蔽了各種數據存儲的差異,一站式滿足從數據集成、數據清洗/轉換、數據質量監控等全流程的數據處理,是數據治理實施的主戰場。
數據質量數據質量管理的目標在于保證數據滿足使用的要求。數據標準是衡量數據質量最基本的基準。數據質量要求各業務部門對相應數據領域的數據質量全權負責,按業務需求設計數據質量標準,制定數據質量管控目標,并遵循企業數據治理要求進行數據質量度量,制定符合各自業務情況的數據質量政策及數據質量相關的改進計劃,持續進行數據質量管控。
數據資產數據資產包括業務資產、技術資產、指標資產等。數據資產管理是數據治理的重要支撐手段,核心是構建企業級的元數據管理中心、建立數據資產目錄、建立數據搜索引擎、實現數據血緣和數據全景可視。其中元數據包括業務元數據、技術元數據和操作元數據,要求將企業所有概念數據模型、邏輯數據模型以及物理數據模型系統化地管理起來,同時建設企業數據地圖及數據血緣關系,為數據調用、數據服務、數據運營及運維提供強有力的信息支撐。
數據服務數據服務通過在整個企業范圍統一數據服務設計和實現的規范并進行數據服務生命周期管理,集約管理數據服務并減少數據調用和集成的開發成本。
數據安全由于企業使用的數據資源,既有來自于內部業務系統,所有權屬于企業的數據,同時也有來自外部的數據,必須將數據安全納入數據治理的范疇,對所有企業數據要求依據數據安全等級定義進行數據安全定級,在數據產生、傳輸、存儲和使用的過程中進行必要的數據安全訪問控制,同時對數據相應的CRUD活動均需產生日志以完成安全審計。
主數據主數據管理是數據標準落地和提升數據質量的重要手段,是企業級數據治理的重要范疇,其目標在于保證在企業范圍內重要業務實體數據的一致(定義和實際物理數據的一致)。主數據管理首先進行企業主數據的識別,然后對已識別主數據按照主數據規范要求進行數據治理和IT改造,以支撐企業業務流和工具鏈的打通和串聯。
管理中心數據治理的開展離不開組織、流程和政策的建設,管理中心也管理著數據治理過程中公共核心的統一數據源、數據駕駛艙等,滿足不同角色的用戶擁有個性化的工作臺。
數據治理主要模塊域之間的關系如下圖所示:
圖1: 數據治理各模塊之間的關系

數據標準為數據開發和設計工作提供核心參考,同時也通過數據開發實現數據標準化落地。數據標準為數據應用提供“一致的語言”;數據標準為主數據管理提供主數據定義的基準,數據標準也是數據質量管理策略設計、數據質量規則制定的核心依據;數據標準所定義的密級分類和責任主體,為數據安全管理提供依據;數據標準也是數據資產管理重要輸入。
主數據管理通過數據開發實現核心數據的一致性地記錄、更新和維護,是數據質量提升的重要手段。主數據管理保障了數據應用和運營過程中核心數據的存在和一致性。
數據質量管理是數據應用和運營過程中數據準確性、一致性、完整性、及時性、唯一性、有效性的重要保障,是數據業務價值創造的重要前提。
數據資產管理模塊完成元數據的采集和注冊,數據資產管理為數據應用和數據消費提供了解數據的窗口。
數據服務管控實現在數據服務開發過程中服務標準、規范、要求和管理的落實,數據服務打通數據應用和數據消費的物理通道。
數據安全在數據開發過程中完成數據安全的IT實現,以達成數據應用過程中安全管理規范的要求。
以上工作的有效開展,離不開組織管理、明確的責任人、考核體系、流程制度、數據治理政策和數據治理平臺的支撐。
圖2: DataArts Studio各模塊之間的示意圖
DataArts Studio平臺提供了上述各個功能模塊,滿足數據接入、數據建模、標準化、質量監控、數據服務等全流程的數據管理動作。
二. 數據治理組織框架數據治理可以采用集中化(全時投入)和虛擬化(部分投入)混合的組織模式。結合具備專業技能的專職數據治理人員和熟悉業務和IT系統的已有人員,在運作上實現數據治理團隊的快速構建和能力導入,捆綁業務、IT開發和數據團隊并利用已有人員熟悉度快速切入重點工作。
在工作內容和責任上具體到三層的工作組織:

在戰略層面,由數據治理Sponsor和各部門負責人組成的數據治理領導組制定數據治理的戰略方向,以構建數據文化和氛圍為綱,整體負責數據治理工作的開展、政策的推廣和執行,并作為數據治理問題的最終決策組織解決爭議,監控和監督數據治理工作的績效,并確保數據治理工作預算支持。
數據治理委員會和各領域數據治理工作組是數據治理戰略在運作層面具體的實施團隊。其中:
數據治理委員會:由數據治理負責人、數據治理專家和數據架構專家團組成,面向企業進行數據治理工作的統籌并提供工作指導,在整個企業范圍定期溝通數據治理工作,形成數據質量精細化管控文化。根據數據治理領導組的愿景和長期目標,建立和管理數據治理流程、階段目標和計劃,設計和維護數據治理方法、總則、工具和平臺,協助各數據領域工作組實施數據治理工作,對整體數據治理工作進行度量和匯報,并對跨領域的數據治理問題和爭議進行解決和決策。
各領域數據治理工作組:在各領域數據范圍內進行數據治理的工作,依據數據治理委員會制定的數據治理方法和總則,制定本領域數據治理目標和工作計劃,負責領域數據資產的看護,維護更新相應數據標準和及相關元數據,設計本領域數據度量和規則,監控收集數據質量問題并持續改進提升,主動升級數據相關問題。最終完成領域內數據資產的看護,并支撐數據治理目標的達成。
領域數據治理工作組由數據Owner、數據代表、數據管家、數據專員和數據架構師組成。其中:
數據Owner (Data Owners):數據Owner是領域數據治理工作的責任人。
制定本領域數據治理的目標,工作計劃和執行優先級。
建立數據治理責任機制,將本領域的數據治理工作分解到工作組成員,并跟進及管理工作組工作。
設計數據質量規格,承接數據需求,對數據問題及爭議進行裁決。
建設和維護本領域信息架構。
建立和推動領域數據文化和氛圍。
數據代表 (Data Representatives):數據代表是領域數據治理工作的專家帶頭人。
深刻理解數據工作的目標、方法、規則、工具,并通過識別關鍵業務流程和IT系統,對本領域數據治理的路標和工作計劃進行細化并排序,最終管理執行。
作為本領域數據治理專家,管理并解決問題和爭議,必要時提交數據Owner進行裁決。
對業務環節數據的完整性、及時性、準確性、一致性、唯一性、有效性負責,確保行為即記錄,記錄即數據,并依據數據質量規格對本領域數據進行度量和報告。
落實本領域信息架構的建設和遵從,負責本領域數據資產的看護,維護相應數據標準和數據目錄并更新發布。
承接上下游數據需求,并主動根據領域內應用場景和業務需求識別數據需求,對需求的實現進行推動和管理。
依據相關規定定義本領域數據安全等級,并進行數據授權管理。
數據管家 (Data Stewards):數據管家是領域數據治理工作的協助者。
確保領域治理工作的流程和內容規范,符合數據治理要求。
協助數據代表進行問題跟蹤和解決。
梳理、維護并更新領域數據元數據(業務對象、數據標準、數據模型)。
推廣和維護數據治理工具和平臺在本領域的應用。
數據專員 (Data Specialists):數據專員是領域數據治理工作的專家團隊。基于本領域數據治理的工作計劃,利用數據專項技能,支撐數據代表完成數據Owner分配的各類數據治理工作。
數據架構師 (Data Architects):數據架構師是領域數據治理工作在IT層面的代表。
開發和維護本領域的數據系統或子系統,確保數據在系統中得以記錄,數據標準、數據質量規則、數據安全、主/參考數據管理、數據服務在系統中得以實施。
提供數據系統的數據相關信息(元數據、數據字典、數據血緣)。
協助執行IT相關的數據治理工作。
確保數據系統的技術方案符合本領域的信息架構,技術選擇能夠滿足數據發展中長期的需求。
三. 數據治理度量評論體系數據治理實施方法論按照數據治理成熟度評估->評估現狀、確定目標、分析差距->計劃制定、計劃執行->持續監測度量演進的關鍵實施方法形成數據治理實施閉環流程。
圖3?: 數據治理實施方法論

這也遵循了PDCA(Plan-Do-Check-Action)循環的科學程序,結合數據治理工作的特點設計了兩個層面的度量評估:
|
度量評估工具 |
度量評估對象 |
度量評估方法 |
度量評估頻次 |
|
數據治理成熟度評估 |
企業整體 |
調查問卷 |
年度 |
|
數據治理評分卡 |
各業務及IT部門 |
數據治理工作組與各業務及IT部門共同打分 |
季度 |
通過年度的整體數據治理成熟度評估,了解各維度數據治理現狀,并制定可操作性目標,分析差距,制定切實可行的計劃,在推進落實計劃的過程中,利用季度性實施的數據治理評分卡,針對性地監測度量各業務/IT部門的數據治理情況,持續推進各部門的數據治理水平提升,進而提高整體數據治理成熟度。
年度進行的整體數據治理成熟度評估,可以結合主觀及客觀調查度量,綜合反映企業當前數據治理成熟度水平,幫助制定切實可行的數據治理整體目標。季度性實施的數據治理評分卡是一個重要的工具手段,從一些關鍵核心維度進行季度性迭代評分,持續促進所有部門數據治理工作的落實提升。
數據治理成熟度評估使用調查問卷方式,包括11個治理模塊,60多個調查問卷事項,全方面多維度度量了數據治理工作的水平。
數據治理評分卡使用評分卡形式,由數據治理組織和各業務IT部門共同針對各部門自身數據治理情況進行打分。評分卡是季度性打分,作為一個工具手段持續推動促進各部門的數據治理工作,改進數據質量,提升數據治理水平。
圖4: 數據治理評分卡

數據治理成熟度評估分5個級別:
級別1是最低級別,數據治理處于初始級別,空白狀態,沒有相關流程及數據治理管控。
級別2是開始管理級別,仍處于匱乏狀態,沒有形成正式一致的數據治理方法。
級別3是明確定義級別,處于可改進狀態,已經形成了主動治理的流程和正式一致的數據治理方法。
級別4是量化管理級別,已經步入適宜匹配狀態,貫穿組織采用的正式一致的數據治理方法都是可量化管控的。
級別5是最高級別,專注于持續優化提升,已經步入卓越狀態。
圖5: 數據治理成熟度級別分層
數據治理評分卡對各維度度量是按5分制進行評分,每一個度量細項只有得分0或得分1,如果滿足度量細項要求得分1,否則得分0。
圖6: 數據治理評分卡數據執行維度度量評分計算范例
如上示例,針對流程7.10交付項目管理,數據執行維度有6個度量細項,則這一度量維度的總體得分就是SUM(度量細項得分)*5/6。所以這一度量維度的實際得分就是(1+1+1+0+0+1)*5/6=3.3。
四. DAYU方法論產品落地DAYU數據治理方法論已經在華為云云服務數據治理中心DataArts Studio上落地實現,包括流程落地和功能落地。
流程落地是指有一套詳細的流程規范(需求、設計、實施、驗證、發布等階段)指導用戶使用DataArts Studio開展數據治理工作;功能落地是指DataArts Studio平臺提供自動化、智能化的工具幫助用戶高效完成數據治理工作。
DAYU數據治理方法論還有完全版本,詳細描述了流程落地和功能落地內容。可通過《華為數據之道》圖書進行深入了解
圖7: 方法論流程落地
圖8: 方法論功能落地

企業在進行數據管理時,通常會遇到下列挑戰。
數據治理的挑戰
缺乏企業數據體系標準和數據規范定義的方法論,數據語言不統一。
缺乏面向普通業務人員的高效、準確的數據搜索工具,數據找不到。
缺乏技術元數據與業務元數據的關聯,數據讀不懂。
缺乏數據的質量管控和評估手段,數據不可信。
數據運營的挑戰
數據運營效率低,業務環境的快速變化帶來大量多樣化的數據分析報表需求,因為缺乏高效的數據運營工具平臺,數據開發周期長、效率低,不能滿足業務運營決策人員的訴求。
數據運營成本高,數據未服務化,導致數據拷貝多、數據口徑不一致,同時數據重復開發,造成資源浪費。
數據創新的挑戰
企業內部存在大量數據孤島,導致數據不共享、不流通,無法實現跨領域的數據分析與數據創新。
數據的應用還停留在數據分析報表階段,缺乏基于數據反哺業務推動業務創新的解決方案。
數據治理中心DataArts Studio是為了應對上述挑戰、針對企業數字化運營訴求提供的數據全生命周期管理、具有智能數據管理能力的一站式治理運營平臺,包含數據集成、數據開發、數據架構、數據質量監控、數據資產管理、數據服務、數據安全等功能,支持行業知識庫智能化建設,支持大數據存儲、大數據計算分析引擎等數據底座,幫助企業快速構建從數據接入到數據分析的端到端智能數據系統,消除數據孤島,統一數據標準,加快數據變現,實現數字化轉型。
產品架構如圖1所示。
圖9: 產品架構
如圖所示,DataArts Studio基于數據湖底座,提供數據集成、開發、治理、開放等能力。DataArts Studio支持對接所有華為云的數據湖與數據庫云服務作為數據湖底座,例如MRS Hive、數據倉庫服務DWS等,也支持對接企業傳統數據倉庫,例如Oracle、Greenplum等。
DataArts Studio包含如下功能組件:
管理中心提供DataArts Studio數據連接管理的能力,將DataArts Studio與數據湖底座進行對接,用于數據開發與數據治理等活動。
數據集成數據集成提供20+簡單易用的遷移能力和多種數據源到數據湖的集成能力,全向導式配置和管理,支持單表、整庫、增量、周期性數據集成。
數據架構作為數據治理的一個核心模塊,承擔數據治理過程中的數據加工并業務化的功能,提供智能數據規劃、自定義主題數據模型、統一數據標準、可視化數據建模、標注數據標簽等功能,有利于改善數據質量,有效支撐經營決策。
數據開發大數據開發環境,降低用戶使用大數據的門檻,幫助用戶快速構建大數據處理中心。支持數據建模、數據集成、腳本開發、工作流編排等操作,輕松完成整個數據的處理分析流程。
數據質量數據全生命周期管控,數據處理全流程質量監控,異常事件實時通知。
數據目錄提供企業級的元數據管理,厘清信息資產。通過數據地圖,實現數據血緣和數據全景可視,提供數據智能搜索和運營監控。
數據服務數據服務定位于標準化的數據服務平臺,提供一站式數據服務開發、測試部署能力,實現數據服務敏捷響應,降低數據獲取難度,提升數據消費體驗和效率,最終實現數據資產的變現。
數據安全數據安全為數據治理中心提供數據生命周期內統一的數據使用保護能力。通過敏感數據識別、分級分類、隱私保護、資源權限控制、數據加密傳輸、加密存儲、數據風險識別等措施,幫助用戶建立安全預警機制,增強整體安全防護能力,讓數據可用不可得和安全合規。
二. 產品功能數據集成提供30+同構/異構數據源之間數據集成的功能,幫助您實現數據自由流動。支持自建和云上的文件系統,關系數據庫,數據倉庫,NoSQL,大數據云服務,對象存儲等數據源。
數據集成基于分布式計算框架,利用并行化處理技術,支持用戶穩定高效地對海量數據進行移動,實現不停服數據遷移,快速構建所需的數據架構。
圖10: 數據集成
數據集成提供全向導式任務管理界面,幫助用戶在幾分鐘內完成數據遷移任務的創建,輕松應對復雜遷移場景。數據集成支持的功能主要有:
表/文件/整庫遷移支持批量遷移表或者文件,還支持同構/異構數據庫之間整庫遷移,一個作業即可遷移幾百張表。
增量數據遷移支持文件增量遷移、關系型數據庫增量遷移、HBase增量遷移,以及使用Where條件配合時間變量函數實現增量數據遷移。
事務模式遷移支持當遷移作業執行失敗時,將數據回滾到作業開始之前的狀態,自動清理目的表中的數據。
字段轉換支持去隱私、字符串操作、日期操作等常用字段的數據轉換功能。
文件加密在遷移文件到文件系統時,數據集成支持對寫入云端的文件進行加密。
MD5校驗一致性支持使用MD5校驗,檢查端到端文件的一致性,并輸出校驗結果。
臟數據歸檔支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉換或者不符合清洗規則的數據自動歸檔到臟數據日志中,方便用戶分析異常數據。并支持設置臟數據比例閾值,來決定任務是否成功。
DataArts Studio數據架構踐行數據治理方法論,將數據治理行為可視化,打通數據基礎層到匯總層、集市層的數據處理鏈路,落地數據標準和數據資產,通過關系建模、維度建模實現數據標準化,通過統一指標平臺建設,實現規范化指標體系,消除歧義、統一口徑、統一計算邏輯,對外提供主題式數據查詢與挖掘服務。
圖11: 數據架構
DataArts Studio數據架構主要包括以下三個部分:
主題設計構建統一的數據分類體系,用于目錄化管理所有業務數據,便于數據的歸類,查找,評價,使用。通過分層架構對數據分類和定義,可幫助用戶厘清數據資產,明確業務領域和業務對象的關聯關系。
數據標準構建統一的數據標準體系,數據標準流程化、系統化。用戶可基于國家標準或行業標準,對每一行數據、每一個字段的具體取值進行標準化,從而提升數據質量和易用性。
數據建模構建統一的數據模型體系,通過規范定義和數據建模,自頂向下構建企業數據分層體系,沉淀企業數據公共層和主題庫,便于數據的流通、共享、創造、創新,提升數據使用效率,極大的減少數據冗余,混亂,隔離,不一致以及謬誤等。DataArts Studio數據架構支持的數據建模方法有:
關系建模關系建模是用實體關系(Entity Relationship,ER)模型描述企業業務,它在范式理論上符合3NF,出發點是整合數據,將各個系統中的數據以整個企業角度按主題進行相似性組合和合并,并進行一致性處理,為數據分析決策服務,但是并不能直接用于分析決策。
維度建模維度建模是以維度建模理論為基礎,構建總線矩陣、抽象出事實和維度,構建維度模型和事實模型,同時對報表需求進行抽象整理出相關指標體系,構建出匯總模型。
DataArts Studio數據開發是一個一站式敏捷大數據開發平臺,提供可視化的圖形開發界面、豐富的數據開發類型(腳本開發和作業開發)、全托管的作業調度和運維監控能力,內置行業數據處理pipeline,一鍵式開發,全流程可視化,支持多人在線協同開發,支持管理多種大數據云服務,極大地降低了用戶使用大數據的門檻,幫助用戶快速構建大數據處理中心。
圖12: 數據開發模塊架構
數據開發支持數據管理、腳本開發、作業開發、資源管理、作業調度、運維監控等操作,幫助用戶輕松完成整個數據的處理分析流程。
數據管理
支持管理DWS、DLI、MRS Hive等多種數據倉庫。
支持可視化和DDL方式管理數據庫表。
腳本開發
提供在線腳本編輯器,支持多人協作進行SQL、Shell、Python腳本在線代碼開發和調測。
支持使用變量。
作業開發
提供圖形化設計器,支持拖拽式工作流開發,快速構建數據處理業務流水線。
預設數據集成、SQL、Spark、Shell、機器學習等多種任務類型,通過任務間依賴完成復雜數據分析處理。
支持導入和導出作業。
資源管理支持統一管理在腳本開發和作業開發使用到的file、jar、archive類型的資源。
作業調度
支持單次調度、周期調度和事件驅動調度,周期調度支持分鐘、小時、天、周、月多種調度周期。
作業調度支持多種云服務的多種類型的任務混合編排,高性能的調度引擎已經經過幾百個應用的檢驗。
運維監控
支持對作業進行運行、暫停、恢復、終止等多種操作。
支持查看作業和其內各任務節點的運行詳情。
支持配置多種方式報警,作業和任務發生錯誤時可及時通知相關人,保證業務正常運行。
數據質量模塊支持對業務指標和數據質量進行監控,數據質量可檢驗,幫助用戶及時發現數據質量問題。
業務指標監控業務指標監控是對業務指標數據進行質量管理的有效工具,可以靈活的創建業務指標、業務規則和業務場景,實時、周期性進行調度,滿足業務的數據質量監控需求。
數據質量監控數據質量監控是對數據庫里的數據質量進行質量管理的工具,您可以配置數據質量檢查規則,在線監控數據準確性。數據質量可以從完整性、有效性、及時性、一致性、準確性、唯一性六個維度進行單列、跨列、跨行和跨表的分析,也支持數據的標準化,能夠根據數據標準自動生成標準化的質量規則,支持周期性的監控。圖4數據質量規則體系
DataArts Studio提供企業級的元數據管理,厘清信息資產。數據資產管理可視,支持鉆取、溯源等。通過數據地圖,實現數據資產的數據血緣和數據全景可視,提供數據智能搜索和運營監控。
元數據管理元數據管理模塊是數據湖治理的基石,支持創建自定義策略的采集任務,可采集數據源中的技術元數據。支持自定義業務元模型,批量導入業務元數據,關聯業務和技術元數據、全鏈路的血緣管理和應用。圖5全鏈路數據血緣
數據地圖數據地圖圍繞數據搜索,服務于數據分析、數據開發、數據挖掘、數據運營等數據表的使用者和擁有者,提供方便快捷的數據搜索服務,擁有功能強大的血緣信息及影響分析。
在數據地圖中,可通過關鍵詞搜索數據資產,支持模糊搜索,快速檢索,定位數據。
使用數據地圖根據表名直接查看表詳情,快速查閱明細信息,掌握使用規則。獲得數據詳細信息后,可添加額外描述。
通過數據地圖的血緣分析可以查看每個數據表的來源、去向,并查看每個表及字段的加工邏輯。
對數據資產,可以從業務角度定義分類或標簽。
DataArts Studio數據服務旨在為企業搭建統一的數據服務總線,幫助企業統一管理對內對外的API服務,支撐業務主題/畫像/指標的訪問、查詢和檢索,提升數據消費體驗和效率,最終實現數據資產的變現。數據服務為您提供快速將數據表生成數據API的能力,同時支持您將現有的API快速注冊到數據服務平臺以統一管理和發布。
數據服務采用Serverless架構,您只需關注API本身的查詢邏輯,無需關心運行環境等基礎設施,數據服務會為您準備好計算資源,并支持彈性擴展,零運維成本。
圖13: 數據服務架構圖
網絡安全基于網絡隔離、安全組規則以及一系列安全加固項,實現租戶隔離和訪問權限控制,保護系統和用戶的隱私及數據安全。
用戶權限策略基于角色的訪問控制,用戶通過角色與權限進行關聯,并支持細粒度權限策略,可滿足不同的授權需求。針對不同的用戶,DataArts Studio提供了管理者、開發者、運維者、訪問者四種不同的角色,各個角色擁有不同的權限。
數據安全針對數據架構、數據服務等關鍵流程,DataArts Studio提供了審核流程。數據的分級分類管理,數據的全生命周期管理,保證數據的隱私合規、可回溯。
三.產品優勢貫穿數據全流程的一站式治理運營平臺,提供全域數據集成、標準數據架構、連接并萃取數據價值、全流程數據質量監控、統一數據資產管理、數據開發服務等,幫助企業構建完整的數據中臺解決方案。
數據全生命周期管控,提供數據架構定義及可視化的模型設計,智能化的幫助用戶生成數據處理代碼,數據處理全流程質量監控,異常事件實時通知。
支持多人在線協作開發,腳本開發可支持SQL、Shell在線編輯、實時查詢;作業開發可支持CDM、SQL、MRS、Shell、Spark等多種數據處理節點,提供豐富的調度配置策略與海量的作業調度能力。
全面托管的調度,支持按時間、事件觸發的任務觸發機制,支持分鐘、小時、天、周和月等多種調度周期。
可視化的任務運維中心,監控所有任務的運行,支持配置各類報警通知,便于責任人實時獲取任務的情況,保證業務正常運行。
提供垂直行業可復用的領域知識庫,涵蓋行業數據標準、行業領域模型、行業數據主題庫、行業算法庫和行業指標庫等,支持智慧政務、智慧稅務、智慧園區等行業,幫助企業快速定制數據運營端到端解決方案。
全局資產視圖、快速查看、智能管理、數據溯源和數據開放共享,從業務視角管理和查看數據,定義業務架構、業務分類和業務術語,統一管理資產訪問權限。
數據治理運營過程可視,拖拉拽配置,無需編碼;處理結果可視,更直觀,便于交互和探索;數據資產管理可視,支持鉆取、溯源等。
統一的安全認證,租戶隔離,數據的分級分類管理,數據的全生命周期管理,保證數據的隱私合規、可審計、可回溯。
基于角色的訪問控制,用戶通過角色與權限進行關聯,并支持細粒度權限策略,可滿足不同的授權需求。
四. 應用場景從數據采集->數據架構->質量監控->數據清洗->數據建模->數據聯接->數據整合->數據消費->智能分析(BI),一站式數據智能運營平臺,幫助企業快速構建數據運營能力。
優勢:
多種云服務作業編排
全鏈路數據治理管控
豐富數據引擎支持支持對接所有華為云的數據湖與數據庫云服務,也支持對接企業傳統數據倉庫,比如Oracle等。
簡單易用圖形化編排,即開即用,輕松上手。
圖14: 一站式數據運營治理平臺
快速將線下數據遷移上云,將數據集成到云上大數據服務中,并在DataArts Studio的界面中就可以進行快速的數據開發工作,讓企業數據體系的建設變得如此簡單。
優勢
數據集成一鍵式操作通過在服務界面配置化操作,可實現線上線下數據快速集成到云數據倉庫。
支持多種數倉服務類型根據需求,可以靈活選擇數據服務類型,可以選擇DWS服務建數倉,也可以選擇MRS服務等數據平臺。
安全穩定、降低成本一站式的服務能力和穩定的數倉服務,讓云上數據萬無一失;免自建大數據集群、免運維,極大降低企業建設數倉成本。
圖15: 云上數據平臺
通過應用華為在企業業務領域積累的豐富的行業領域模型和算法,幫助企業構建數據中臺,快速提升數據運營能力。
優勢
多行業支持覆蓋政務/稅務/城市/交通/園區等各行業。
標準規范支持支持分層結構的行業數據標準。
領域模型豐富支持包含人員/組織/事件/時空/車輛/資產/設備/資源等八大類數據以及相互之間關系的行業領域模型。
快速應用行業庫支持快速應用的行業主題庫、行業算法庫、行業指標庫。
圖16: 數據中臺