隨著科技技術(shù)的不斷演進(jìn)，數(shù)字化已成為各行業(yè)內(nèi)一個(gè)非常重要且極具吸引力的市場(chǎng)，其目標(biāo)是將IT技術(shù)與產(chǎn)品、系統(tǒng)、解決方案和服務(wù)進(jìn)行融合，貫穿于從研發(fā)設(shè)計(jì)到生產(chǎn)到技術(shù)維護(hù)的整個(gè)產(chǎn)業(yè)鏈。

乘著數(shù)字化這股智慧東風(fēng)一逐漸吹進(jìn)了萬(wàn)千行業(yè)，礦山就是其中的一個(gè)典型領(lǐng)域。從礦山自動(dòng)化到數(shù)字礦山，再到如今的智慧礦山，數(shù)字經(jīng)濟(jì)時(shí)代，有關(guān)未來(lái)礦山建設(shè)與實(shí)現(xiàn)方式不斷被刷新。當(dāng)下，智慧礦山利用底層傳感器實(shí)現(xiàn)數(shù)據(jù)采集，物聯(lián)網(wǎng)（IoT）釋放數(shù)據(jù)威力，從生產(chǎn)運(yùn)營(yíng)、成本管控、采購(gòu)銷(xiāo)售等系統(tǒng)，整合所有數(shù)據(jù)通過(guò)精準(zhǔn)分析，為煤炭企業(yè)決策層提供精準(zhǔn)、實(shí)時(shí)的數(shù)據(jù)支撐，實(shí)現(xiàn)降低成本、提高決策效率的目標(biāo)。

億信華辰PetaBase實(shí)時(shí)大數(shù)據(jù)平臺(tái)，基于Hadoop架構(gòu)，集成了生態(tài)圈中的主流熱門(mén)組件并不斷的進(jìn)行相關(guān)功能的優(yōu)化。可對(duì)礦山生產(chǎn)大數(shù)據(jù)、銷(xiāo)售大數(shù)據(jù)、物流大數(shù)據(jù)、設(shè)備運(yùn)行大數(shù)據(jù)、安全大數(shù)據(jù)、環(huán)保大數(shù)據(jù)等的進(jìn)行智慧采集與存儲(chǔ)，助其最終落地大數(shù)據(jù)分析應(yīng)用。

智能采集應(yīng)對(duì)煤礦多數(shù)據(jù)之難
PetaBase可進(jìn)行多源數(shù)據(jù)采集，支持OPC、MQTT等多種傳輸協(xié)議，可實(shí)現(xiàn)物聯(lián)網(wǎng)、電子交易等結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一接入。

OPC數(shù)據(jù)或時(shí)序數(shù)據(jù)庫(kù)
該類(lèi)數(shù)據(jù)通常為煤礦的設(shè)備數(shù)據(jù)等，記錄了各個(gè)測(cè)點(diǎn)當(dāng)前的實(shí)時(shí)值，通過(guò)java接口的方式讀取數(shù)據(jù)，存儲(chǔ)到PeteBase的kudu當(dāng)中作為底層存儲(chǔ)，數(shù)據(jù)管理通過(guò)impala搜索引擎進(jìn)行。

TXT文件數(shù)據(jù)
該類(lèi)數(shù)據(jù)通常為安全監(jiān)測(cè)、人員定位、水文、微震、束管數(shù)據(jù)、應(yīng)力數(shù)據(jù)等，該類(lèi)數(shù)據(jù)反映了生產(chǎn)和人員信息的數(shù)據(jù)，會(huì)幾秒鐘或幾分鐘生成一個(gè)個(gè)TXT文件的形式，可以使用Flume收集數(shù)據(jù)，Kafka消息隊(duì)列緩存數(shù)據(jù)為不同主題，將不同主題的數(shù)據(jù)通過(guò)Streamsets數(shù)據(jù)集成、數(shù)據(jù)加工工具，存儲(chǔ)到PeteBase的kudu當(dāng)中作為底層存儲(chǔ)，數(shù)據(jù)管理通過(guò)impala搜索引擎進(jìn)行。

關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)
該類(lèi)數(shù)據(jù)為一些業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)，為財(cái)務(wù)、銷(xiāo)售、采購(gòu)等數(shù)據(jù)，通常保存在業(yè)務(wù)系統(tǒng)自身的數(shù)據(jù)庫(kù)當(dāng)中，為了統(tǒng)一分析將數(shù)據(jù)也一并抽取到PeteBase的kudu當(dāng)中。

一體化存儲(chǔ)應(yīng)對(duì)量級(jí)之大
礦業(yè)對(duì)于數(shù)據(jù)的處理要求，集中在設(shè)備數(shù)據(jù)、安全監(jiān)測(cè)、人員定位、水文、應(yīng)力、振動(dòng)等方面。首先，礦山監(jiān)控的數(shù)據(jù)都是大量帶有時(shí)間戳的數(shù)值，本身結(jié)構(gòu)簡(jiǎn)單，也沒(méi)有太多關(guān)聯(lián)性的查詢(xún)需求；其次，按設(shè)備、按時(shí)間段回溯和統(tǒng)計(jì)分析是最主要的應(yīng)用場(chǎng)景。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法對(duì)此類(lèi)數(shù)據(jù)進(jìn)行管理，PetaBase旨在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析兩個(gè)層面實(shí)現(xiàn)對(duì)礦山數(shù)據(jù)的統(tǒng)一管控。

PeteBase最少需要3臺(tái)服務(wù)器來(lái)進(jìn)行集群部署，將多臺(tái)服務(wù)器的資源整合為一個(gè)稱(chēng)之為HDFS的分布式文件系統(tǒng)內(nèi)，該系統(tǒng)集成了所管理節(jié)點(diǎn)的所有硬盤(pán)資源，但有數(shù)據(jù)寫(xiě)入時(shí)根據(jù)一系列負(fù)載均衡算法，自動(dòng)將數(shù)據(jù)按規(guī)定拆分分別存儲(chǔ)在各個(gè)服務(wù)器上，利用了低廉的服務(wù)器來(lái)進(jìn)行海量數(shù)據(jù)的存儲(chǔ)，可以橫向?qū)τ脖P(pán)擴(kuò)容（增加服務(wù)器個(gè)數(shù)），而非之前的縱向擴(kuò)容（增加單個(gè)服務(wù)器的存儲(chǔ)空間），當(dāng)存儲(chǔ)量不足時(shí)可以通過(guò)新增服務(wù)器來(lái)滿(mǎn)足數(shù)據(jù)存儲(chǔ)的需求。

PeteBase的計(jì)算也是采用了多臺(tái)服務(wù)器的內(nèi)存一起參與了計(jì)算，大量數(shù)據(jù)的計(jì)算速度就會(huì)明顯的高于傳統(tǒng)數(shù)據(jù)庫(kù)，單臺(tái)服務(wù)器的計(jì)算速度，其核心的設(shè)計(jì)思想為分而治之，單個(gè)人做不完的活來(lái)進(jìn)行團(tuán)隊(duì)合作完成。將大批量數(shù)據(jù)，分布的放在各個(gè)服務(wù)器當(dāng)中，各個(gè)服務(wù)器上計(jì)算自己所存的數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)行匯總，完成對(duì)海量數(shù)據(jù)的運(yùn)算分析。

對(duì)于礦山生產(chǎn)系統(tǒng)而言，安全是第一位的，生產(chǎn)狀況是第二位的，礦端各系統(tǒng)存儲(chǔ)的歷史數(shù)據(jù)的分析，在此就顯都尤為重要，數(shù)據(jù)的價(jià)值是無(wú)價(jià)的，利用這些數(shù)據(jù)的趨勢(shì)走向就可以預(yù)判出設(shè)備情況進(jìn)行提前預(yù)警，觀察人員作業(yè)情況方便了解井下實(shí)時(shí)動(dòng)態(tài)等，古有秀才不出門(mén)全知天下事，現(xiàn)有了PeteBase對(duì)數(shù)據(jù)的管理，可以做到人在集團(tuán)中，隨時(shí)一手掌握礦山的方方面面。

PetaBase在獲取、存儲(chǔ)、管理、分析方數(shù)據(jù)面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件，可以實(shí)現(xiàn)海量的非結(jié)構(gòu)化/半結(jié)構(gòu)化/結(jié)構(gòu)化數(shù)據(jù)管理，同時(shí)進(jìn)行離線(xiàn)批處理計(jì)算和流式計(jì)算處理。滿(mǎn)足高吞吐、大數(shù)據(jù)量和低時(shí)延實(shí)時(shí)處理等多方面的數(shù)據(jù)計(jì)算要求，具有靈活性、集成性、安全性、擴(kuò)展性、高可用性、兼容性等特性，可為礦山企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)建設(shè)、數(shù)據(jù)分析保駕護(hù)航。