數(shù)據(jù)交換服務(wù)組件,在遵循一定的交換策略條件下進(jìn)行數(shù)據(jù)交換及消息傳遞,支持?jǐn)?shù)據(jù)資源在不同單位、不同區(qū)域的快速交換和共享,提供配置工具生成交換節(jié)點(diǎn),此外在數(shù)據(jù)傳輸過程中應(yīng)保證數(shù)據(jù)完整性、安全性、可靠性和傳輸性能。

基于統(tǒng)一的數(shù)據(jù)服務(wù)配置出不同的數(shù)據(jù)交換方式
數(shù)據(jù)交換服務(wù)組件:支持全量、批量、實(shí)時(shí)的數(shù)據(jù)交換;支持大數(shù)據(jù)量的數(shù)據(jù)交換;支持復(fù)雜網(wǎng)絡(luò)環(huán)境下的可靠數(shù)據(jù)交換;支持跨網(wǎng)段、跨單位的數(shù)據(jù)交換;支持基于通道、文件的加密傳輸;支持多種數(shù)據(jù)接口和傳輸協(xié)議;提供數(shù)據(jù)交換日志;支持?jǐn)帱c(diǎn)續(xù)傳功能。
(1)異構(gòu)、異地的數(shù)據(jù)交換
提供基于流加工技術(shù)的數(shù)據(jù)交換和共享,在一個(gè)服務(wù)內(nèi)實(shí)現(xiàn)數(shù)據(jù)庫、文件、JSON、XML、傳輸隊(duì)列、適配器等之間的相互交換。具有以下交換功能:
支持?jǐn)?shù)據(jù)庫:Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等;國(guó)產(chǎn)數(shù)據(jù)庫:達(dá)夢(mèng)、人大金倉(cāng)、神州數(shù)據(jù)庫等。
支持SQL語句作為數(shù)據(jù)源。
No SQL的交換:支持與MongoDB的交換,支持與Hive的交換,支持與HBASE的交換,支持與Elastic Search的交換。
支持文件:文本文件(分隔符、定長(zhǎng)等)、Excel文件、DBF文件、MDB文件等。分隔符文件要支持組合分隔符。能可視化配置文件與異構(gòu)系統(tǒng)的交換。
支持XML, XML可以是文件,也可以是來源消息隊(duì)列、API、 Web URL等。能可視化配置XML與異構(gòu)系統(tǒng)的交換。
支持JSON, JSON可以是文件,也可以是來源消息隊(duì)列、API、 Web URL等。能可視化配置JSON與異構(gòu)系統(tǒng)的交換。
提供內(nèi)存對(duì)象映射滿足API、傳輸隊(duì)列數(shù)據(jù)抽取。可視化定義內(nèi)存表與異構(gòu)系統(tǒng)的交換;可視化配置
數(shù)據(jù)采集結(jié)果可輸出到通道中,實(shí)現(xiàn)數(shù)據(jù)傳輸服務(wù)的綁定。
跨網(wǎng)段的數(shù)據(jù)交換能力。跨網(wǎng)段是指數(shù)據(jù)源和數(shù)據(jù)目標(biāo)位于不同的網(wǎng)段,每個(gè)網(wǎng)段不能訪問跨網(wǎng)段的數(shù)據(jù)庫。能配置跨網(wǎng)段的數(shù)據(jù)交換服務(wù);能實(shí)現(xiàn)跨網(wǎng)段的實(shí)時(shí)聯(lián)動(dòng)的數(shù)據(jù)交換;支持CLob字段、blob字段等。
(2)數(shù)據(jù)交換過程中的數(shù)據(jù)加工
數(shù)據(jù)交換過程中的數(shù)據(jù)加工,實(shí)現(xiàn)如下加工能力:
多種數(shù)據(jù)轉(zhuǎn)換方法:包括字符串轉(zhuǎn)換、字段賦值、時(shí)間類轉(zhuǎn)換、數(shù)據(jù)比對(duì)與翻譯、數(shù)學(xué)運(yùn)算、身份證格式轉(zhuǎn)換等。
交換過程中的
數(shù)據(jù)質(zhì)量檢查,根據(jù)數(shù)據(jù)邏輯判斷規(guī)則,將干凈的數(shù)據(jù)裝載到目標(biāo)中,將判斷有問題的數(shù)據(jù)路由到數(shù)據(jù)庫表或者數(shù)據(jù)文件中。
多種邏輯處理,包括:格式匹配檢查(如日期格式、數(shù)據(jù)格式、身份證格式、自定義格式等)、字符串邏輯檢查(包含、以結(jié)束、以開始、在列表中、等于等)、內(nèi)容為空檢查、重復(fù)記錄檢查、范圍內(nèi)檢查(如在列表內(nèi)、字典或代碼表內(nèi)、包含、等于)、表表外鍵關(guān)聯(lián)檢查、邏輯檢查(=、>、>=、<、<=、為空、非空、<And<、<=And<、<And<=、<=And<=、為真、為假等)、復(fù)合邏輯檢查(以上邏輯的and、or組合)、自定義邏輯檢查等。并能可視化配置。
多種路由策略,路由條件可以是邏輯判斷,也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、規(guī)則表達(dá)、是空、非空、在列表中、包含、開始為、結(jié)束為、為真、為假等方法。數(shù)據(jù)路由也可以是條件的組合,可以是and 也可以是Or。
(3)保證交換的可靠性、性能、實(shí)時(shí)性
支持?jǐn)帱c(diǎn)續(xù)傳。在數(shù)據(jù)交換任務(wù)運(yùn)行過程中由于各種不確定原因造成網(wǎng)絡(luò)中斷,網(wǎng)絡(luò)恢復(fù)后重新運(yùn)行服務(wù)后保證數(shù)據(jù)一致。
支持實(shí)時(shí)交換。實(shí)現(xiàn)通過字符串報(bào)文、XML、JSON等格式實(shí)時(shí)交換數(shù)據(jù)。
支持通過分析日志捕捉變化數(shù)據(jù)的實(shí)時(shí)交換。支持?jǐn)?shù)據(jù)庫CDC技術(shù),能捕捉指定表的變化數(shù)據(jù),增量抽取變化數(shù)據(jù),經(jīng)過轉(zhuǎn)換等處理后按照條件路由到多個(gè)數(shù)據(jù)目標(biāo)中。
支持?jǐn)?shù)據(jù)分組分塊平行加工。在一個(gè)數(shù)據(jù)交換服務(wù)中實(shí)現(xiàn)數(shù)據(jù)分塊及數(shù)據(jù)并行加工處理,保證加工性能。
(4)提供批量文件交換
提供文件傳輸服務(wù)功能。保證文件的可靠傳輸,主要實(shí)現(xiàn)如下功能:
支持對(duì)文件、文件夾、文件夾下指定文件等的傳輸。
提供變化文件傳輸功能,實(shí)現(xiàn)對(duì)文件夾含子文件夾的文件增量傳輸。
提供文件篩選功能,實(shí)現(xiàn)滿足條件的文件傳輸。
提供多節(jié)點(diǎn)間文件接力傳輸功能,實(shí)現(xiàn)多節(jié)點(diǎn)間文件傳輸?shù)穆?lián)動(dòng)。
實(shí)現(xiàn)文件傳輸過程加密、壓縮、斷點(diǎn)續(xù)傳等功能。
支持一對(duì)一、一對(duì)多,支持同步、異步傳輸方式。
提供和外部FTP、SFTP的傳輸服務(wù),方便給外部的FTP/SFTP文件服務(wù)器交換文件。
提供FTP文件傳輸服務(wù),包括文件的上傳和下載,支持文件和文件夾傳輸,支持變化文件傳輸、刪除已傳輸文件等處理 。
提供SFTP文件傳輸服務(wù),包括文件的上傳和下載,支持文件和文件夾傳輸。
提供文件清理功能,方便整理文件存儲(chǔ)空間主要實(shí)現(xiàn)如下功能:能壓縮備份給定天數(shù)之前的文件,能刪除給定天數(shù)之前的的文件。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)