2020年年初是一段讓大家足以銘記的日子，它來得悄無聲息，待人們發(fā)現(xiàn)后已席卷全國，全國人民舉國抗疫，而在抗疫過程中大數(shù)據(jù)技術(shù)可謂功不可沒，不光可以幫我們追蹤到接觸過病例的人群，還可以依據(jù)大數(shù)據(jù)的優(yōu)勢，對疫情的發(fā)展趨勢進(jìn)行預(yù)判。在精準(zhǔn)、全面、快速的大數(shù)據(jù)的支持下，新冠病毒無處遁行，從而在很短的時間內(nèi)就控制住了疫情，大數(shù)據(jù)技術(shù)的優(yōu)勢也淋漓盡致的體現(xiàn)了出來。

今天為大家介紹一款產(chǎn)品，說它是大數(shù)據(jù)的貼身管家一點都不為過，它的出現(xiàn)讓大家不再為大數(shù)據(jù)難題犯愁，可支持海量數(shù)據(jù)的高效儲存和統(tǒng)一管理，為企業(yè)決策提供實時的數(shù)據(jù)支撐。

大數(shù)據(jù)的貼身管家——PetaBase
說了這么多，億信華辰的自主研發(fā)的大數(shù)據(jù)平臺Petebase就閃亮登場了，它是一個以Ambari為架構(gòu)，集成了 Hadoop生態(tài)圈中的主要組件進(jìn)行相關(guān)功能的優(yōu)化，在獲取、存儲、管理、分析數(shù)據(jù)方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件，可以實現(xiàn)海量的非結(jié)構(gòu)化/半結(jié)構(gòu)化/結(jié)構(gòu)化數(shù)據(jù)管理，同時進(jìn)行離線批處理計算和流式計算處理。滿足高吞吐、大數(shù)據(jù)量和低時延實時處理等多方面的數(shù)據(jù)計算要求，具有靈活性、集成性、安全性、擴展性、高可用性、兼容性等特性，可以為企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)建設(shè)、數(shù)據(jù)分析保駕護(hù)航。

另外，Petebase還提供了一致，安全的可視化管理工具，通過一個完整的RESTful API把監(jiān)控信息暴露出來，可以直觀、輕松有效地查看信息并控制集群集。集群中繼承里Hadoop家族中的絕大多數(shù)組件和功能，其中包括：hdfs(hadoop體系中數(shù)據(jù)存儲管理的基礎(chǔ))、yarn(統(tǒng)一資源管理)、Zookeeper(分布式、高可用的分布式協(xié)調(diào)服務(wù))、hive(基于hadoop的數(shù)據(jù)倉庫)、MapReduce(分布式計算模型)、Flink（流處理）、kudu（列式存儲系統(tǒng)）、impala（即席查詢的SQL引擎）等。

Petebase多樣的應(yīng)用場景
適用于離線批處理分析的需求，可以實現(xiàn)關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)向大數(shù)據(jù)平臺的遷移，在大數(shù)據(jù)平臺實現(xiàn)對海量的多系統(tǒng)的數(shù)據(jù)管理，通過模型對數(shù)據(jù)加以整合分析，生成符合業(yè)務(wù)場景需求的數(shù)據(jù)，可用于金融、租賃、市政的數(shù)據(jù)建設(shè)。
可以基于sqoop做數(shù)據(jù)遷移實現(xiàn)關(guān)系型數(shù)據(jù)庫到大數(shù)據(jù)平臺的數(shù)據(jù)遷移，使數(shù)據(jù)落地到hdfs存儲系統(tǒng)上。
可以使用hive、impala兩種支持sql語言的方式對數(shù)據(jù)進(jìn)行管理與查看。
使用ozzie做調(diào)度工具，可以實現(xiàn)對遷移任務(wù)，sql語句的調(diào)度。
適用于實時數(shù)據(jù)采集分析的場景，可以實現(xiàn)對實時數(shù)據(jù)的采集，通過流處理或微批處理，將數(shù)據(jù)一邊加工一邊入庫，進(jìn)行工業(yè)傳感器、實時上傳文件等需求的處理。
使用flume+kafka的方式，對數(shù)據(jù)進(jìn)行采集，F(xiàn)lume 是一個分布式、可靠、高可用的海量日志采集、聚合和傳輸系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。Kafka 是一個分布式消息隊列，用于緩存數(shù)據(jù)。
Flink對kafka的數(shù)據(jù)進(jìn)行處理，實現(xiàn)Exactly once的語義保證，以流水作業(yè)的形式將采集的數(shù)據(jù)按行讀取，將數(shù)據(jù)通過清洗和轉(zhuǎn)化，實時落地到大數(shù)據(jù)平臺中的hive或impala中。
億信華辰旗下的Petebase已成功運用于世界500+強企業(yè)及政府各大部門中，取得了不錯的實踐和效果，幫助政企有效解決大數(shù)據(jù)的疑難雜癥，完成數(shù)字化轉(zhuǎn)型。

更多精彩內(nèi)容歡迎關(guān)注公眾號：億信華辰

億信華辰是中國專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商，一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲、治理、分析到智能應(yīng)用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動、數(shù)據(jù)智能，已積累了8000多家用戶的服務(wù)和客戶成功經(jīng)驗，為客戶提供數(shù)據(jù)分析平臺、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產(chǎn)品咨詢、實施和技術(shù)支持服務(wù)。