口頭愛人

2022-11-11

項(xiàng)目中使用億信華辰自主研發(fā)的分布式大數(shù)據(jù)庫產(chǎn)品PetaBase ，代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫作為主要的數(shù)據(jù)處理引擎。

挑戰(zhàn)一：海量數(shù)據(jù)的存儲(chǔ)和處理引擎

PetaBase數(shù)據(jù)存儲(chǔ)基于Hadoop提供的HDFS分布式文件存儲(chǔ)方式，支持關(guān)系型數(shù)據(jù)庫和非結(jié)構(gòu)化的數(shù)據(jù)導(dǎo)入，解決了用戶海量數(shù)據(jù)存儲(chǔ)的問題。數(shù)據(jù)處理使用impala內(nèi)存計(jì)算引擎，相對于Hadoop生態(tài)中其他的計(jì)算引擎，它有著計(jì)算快，支持大多數(shù)SQL中的DDL和DML語句等優(yōu)勢。在本次HW數(shù)字化運(yùn)營項(xiàng)目中共處理60多T的數(shù)據(jù)，其中單表最大數(shù)據(jù)量達(dá)到80億條，3級ETL跑批只需4到6個(gè)小時(shí)即可完成。

挑戰(zhàn)二：企業(yè)級的數(shù)據(jù)倉庫和數(shù)據(jù)集市的建設(shè)

IT數(shù)字化運(yùn)營系統(tǒng)共分為四層，分別是底層數(shù)據(jù)源，存儲(chǔ)層，服務(wù)層和應(yīng)用層。底層數(shù)據(jù)源包含多個(gè)業(yè)務(wù)系統(tǒng)的底層數(shù)據(jù)，來源于關(guān)系型數(shù)據(jù)庫，Nosql數(shù)據(jù)庫，文本數(shù)據(jù)等多種數(shù)據(jù)源。存儲(chǔ)層通過PetaBase大數(shù)據(jù)平臺進(jìn)行搭建，在PetaBase中對底層多源數(shù)據(jù)進(jìn)行匯總存儲(chǔ)并分層處理，形成多層次數(shù)據(jù)模型，完成面向應(yīng)用的數(shù)據(jù)倉庫與數(shù)據(jù)集市的建設(shè)。PetaBase大數(shù)據(jù)平臺為其他平臺提供數(shù)據(jù)接口，為上層應(yīng)用提供數(shù)據(jù)基礎(chǔ)。

挑戰(zhàn)三：數(shù)據(jù)處理的可拓展性

由于PetaBase的數(shù)據(jù)存儲(chǔ)在HDFS中，Hadoop生態(tài)中有多種多樣的數(shù)據(jù)處理引擎，并能支持用戶自定義函數(shù)的擴(kuò)展（數(shù)據(jù)挖掘函數(shù)等）。項(xiàng)目中有用到多種數(shù)據(jù)挖掘的方法，比如通過箱線圖的算法來排除異常性能數(shù)據(jù)，然后取正常性能數(shù)據(jù)升序排序后的90%位置的數(shù)據(jù)作為性能值的一個(gè)度量，并通過用戶自定義的函數(shù)來實(shí)現(xiàn)。