近年來(lái)，隨著全球經(jīng)濟(jì)下行趨勢(shì)不減，企業(yè)面臨的壓力越來(lái)越大，外部競(jìng)爭(zhēng)也日趨激烈。同時(shí)，信息化和經(jīng)濟(jì)一體化的發(fā)展，對(duì)物流服務(wù)企業(yè)的速度和質(zhì)量也提出了更高的要求。降低企業(yè)生產(chǎn)經(jīng)營(yíng)成本和提升服務(wù)效率成為了企業(yè)不得不考慮的問(wèn)題。由于堆場(chǎng)和泊位資源是有限的，因此，如何挖掘現(xiàn)有資源，提高資源利用率，成為提升物流運(yùn)營(yíng)效率的一個(gè)重要途徑。

現(xiàn)有系統(tǒng)無(wú)法滿足增長(zhǎng)的需求

在全球化的今天，集裝箱運(yùn)輸業(yè)約占世界海運(yùn)貿(mào)易總值的一半以上，集裝箱運(yùn)輸已成為海運(yùn)供應(yīng)鏈非常重要的一環(huán)。堆場(chǎng)是集裝箱碼頭的基礎(chǔ)資源，堆場(chǎng)集箱堆位的分配管理直接影響碼頭的運(yùn)作效率。國(guó)內(nèi)一家知名度較高的上市公司（以下簡(jiǎn)稱z 客戶），擁有幾十個(gè)面積多達(dá)上百萬(wàn)平方米的碼頭和集裝箱場(chǎng)站資源，每年為全球客戶提供價(jià)值數(shù)十億的倉(cāng)儲(chǔ)碼頭服務(wù)。

在接觸PetaBase-i 之前，z 客戶一直使用集裝箱信息管理系統(tǒng)來(lái)監(jiān)控吉箱場(chǎng)位情況并進(jìn)行相關(guān)統(tǒng)計(jì)分析。信息管理系統(tǒng)使用的是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù),但隨著數(shù)據(jù)增長(zhǎng)到一定的量級(jí)時(shí)，對(duì)集裝箱碼頭堆場(chǎng)堆放情況的分析越來(lái)越困難，現(xiàn)有的系統(tǒng)和數(shù)據(jù)庫(kù)策略限制了z客戶優(yōu)化碼頭資源調(diào)度的能力。

為了提高實(shí)時(shí)分析性能，z客戶決定引入一套實(shí)時(shí)大數(shù)據(jù)平臺(tái)，一個(gè)能提供實(shí)時(shí)查詢、靈活擴(kuò)展的解決方案。這個(gè)方案需要能適應(yīng)企業(yè)的數(shù)據(jù)增長(zhǎng)速度，并能夠在不中斷服務(wù)的情況下提供彈性伸縮能力。

PetaBase-i提供強(qiáng)大的企業(yè)級(jí)支持

經(jīng)過(guò)綜合能力評(píng)估后，z客戶選擇了PetaBase-i。PetaBase-i 通過(guò)快速處理和分析實(shí)時(shí)流數(shù)據(jù)，使管理層能夠獲得及時(shí)、準(zhǔn)確的吉箱場(chǎng)位分布情況。億信華辰團(tuán)隊(duì)在全面分析了用戶的需求后，設(shè)計(jì)了一套基于CDC機(jī)制的實(shí)時(shí)數(shù)據(jù)采集方案。

CDC：變更數(shù)據(jù)捕獲（Change Data Capture），傳統(tǒng)rdbms中的插入、更新和刪除操作都會(huì)寫(xiě)日志，這也是CDC捕獲數(shù)據(jù)的來(lái)源，CDC通過(guò)捕獲這些新發(fā)生的日志記錄將變更數(shù)據(jù)識(shí)別并提取。與傳統(tǒng)的基于時(shí)間戳、觸發(fā)器、快照等增量抽取相比，基于日志的CDC屬于非侵入式采集。這種采集不需要訪問(wèn)源庫(kù)數(shù)據(jù)表，只需要監(jiān)聽(tīng)數(shù)據(jù)庫(kù)的聯(lián)機(jī)日志，所以基本不會(huì)給源系統(tǒng)帶來(lái)性能的影響，是目前業(yè)界推崇的異構(gòu)數(shù)據(jù)同步方式。

為了確保實(shí)時(shí)采集的可靠性和穩(wěn)定性，z客戶使用了 OGG 來(lái)復(fù)制并解析日志中的業(yè)務(wù)操作，并以json數(shù)據(jù)格式下沉至PetaBase-i 的消息中間件中，PetaBase-i 的消息中間件使用的是目前最受歡迎的Apache Kafka，它支持企業(yè)消息總線架構(gòu)，在大規(guī)模的消息傳遞應(yīng)用中表現(xiàn)非常穩(wěn)定。Kafka中緩存的消息會(huì)立即被PB StreamProcessor消費(fèi)，PB StreamProcessor是一個(gè)使用Spark Streaming編程模型實(shí)現(xiàn)的流處理工具，由億信華辰自主研發(fā)，它允許開(kāi)發(fā)者通過(guò)SQL實(shí)現(xiàn)流數(shù)據(jù)處理邏輯。

在這個(gè)方案中，PB StreamProcessor主要的任務(wù)是對(duì)集裝箱信息、堆場(chǎng)信息、進(jìn)出口艙單信息進(jìn)行關(guān)聯(lián)計(jì)算，輸出吉箱可堆放位數(shù)、可辦單入場(chǎng)量分碼頭和二線堆場(chǎng)、區(qū)位、入場(chǎng)量等統(tǒng)計(jì)結(jié)果，用三維、二維實(shí)景圖形在大屏、移動(dòng)端實(shí)時(shí)展示可堆放場(chǎng)位空間位置等實(shí)時(shí)信息。整個(gè)處理和展示是持續(xù)進(jìn)行的，客戶可以根據(jù)持續(xù)的數(shù)據(jù)分析動(dòng)態(tài)監(jiān)控吉箱的堆放情況。

總結(jié)：PetaBase-i 滿足了z 客戶尋求的實(shí)時(shí)性要求，由于數(shù)據(jù)的計(jì)算和分析變得更快，控制中心可以不再依靠人工經(jīng)驗(yàn)的方式來(lái)提供碼頭作業(yè)方案。PetaBase-i 向用戶實(shí)時(shí)展示了各項(xiàng)指標(biāo)，極大地的提高了集裝箱通關(guān)和裝卸的效率，并幫助中心優(yōu)化了集裝箱在堆場(chǎng)的擺放。億信華辰為z 客戶提供了強(qiáng)大的企業(yè)級(jí)支持，通過(guò)部署PetaBase-i 作為數(shù)據(jù)中心的實(shí)時(shí)計(jì)算平臺(tái)，z客戶現(xiàn)在可以將節(jié)省下來(lái)的時(shí)間更多地投入到運(yùn)營(yíng)和服務(wù)上。