在實(shí)施數(shù)據(jù)集成的過程當(dāng)中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別，有時(shí)甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題，嚴(yán)重阻礙了數(shù)據(jù)在各部門和各軟件系統(tǒng)中的流動(dòng)與共享。
數(shù)據(jù)集成可以分為兩種，實(shí)時(shí)性的和非實(shí)時(shí)的。目前大多數(shù)據(jù)集成產(chǎn)品是非實(shí)時(shí)的，對(duì)于需要整合的數(shù)據(jù)，先由一個(gè)系統(tǒng)定時(shí)導(dǎo)出并生成xml格式的數(shù)據(jù)，然后由另一個(gè)系統(tǒng)定時(shí)來處理。非實(shí)時(shí)的系統(tǒng)的優(yōu)點(diǎn)是比較容易實(shí)現(xiàn)，缺點(diǎn)是不能實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)的實(shí)時(shí)集成。實(shí)時(shí)數(shù)據(jù)集成系統(tǒng)可以采用數(shù)據(jù)庫層的直接集成或者通過面向服務(wù)架構(gòu)（SOA）來實(shí)現(xiàn)，由于數(shù)據(jù)庫廠商一般難以接受開放數(shù)據(jù)庫接口給其他廠商，所以未來發(fā)展的趨勢(shì)主要還是利用SOA來實(shí)現(xiàn)數(shù)據(jù)集成。
什么是SOA
SOA，即面向服務(wù)的架構(gòu)，它是一個(gè)組件模型，將應(yīng)用程序的不同功能單元進(jìn)行拆分，并通過這些服務(wù)之間以中立的方式定義的接口和協(xié)議聯(lián)系起來。它獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語言。這使得構(gòu)建在各種各樣的系統(tǒng)中的服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互。
實(shí)時(shí)數(shù)據(jù)集成方法
實(shí)時(shí)數(shù)據(jù)集成一般分為兩個(gè)處理過程：一是對(duì)數(shù)據(jù)按照SOA架構(gòu)的需要進(jìn)行整合加工形成可用的信息，二是將信息以符合SOA規(guī)范的方式發(fā)布出去。具體的實(shí)時(shí)數(shù)據(jù)集成可以分為以下三種：
首先看第一種，我們知道，在業(yè)務(wù)系統(tǒng)中間層上存在一個(gè)虛擬數(shù)據(jù)層，用戶可以通過JDBC，F(xiàn)ILE適配器、應(yīng)用適配器等方式向數(shù)據(jù)庫發(fā)出請(qǐng)求，數(shù)據(jù)庫會(huì)將數(shù)據(jù)映射到虛擬數(shù)據(jù)層，相當(dāng)于將數(shù)據(jù)臨時(shí)存儲(chǔ)到虛擬數(shù)據(jù)層，然后按照一定標(biāo)準(zhǔn)對(duì)數(shù)據(jù)加工整合，用戶就可以通過可視化方式獲取這些處理好的數(shù)據(jù)。處理好的數(shù)據(jù)可以通過web service，JDBC,數(shù)據(jù)對(duì)象等多種方式發(fā)布出去。當(dāng)用戶通過中間件訪問虛擬數(shù)據(jù)層的數(shù)據(jù)時(shí)，虛擬數(shù)據(jù)層會(huì)根據(jù)系統(tǒng)定義的邏輯首先將需要加工的細(xì)節(jié)數(shù)據(jù)從各個(gè)數(shù)據(jù)源抽取到虛擬數(shù)據(jù)層，然后中間件根據(jù)設(shè)計(jì)時(shí)的數(shù)據(jù)加工邏輯對(duì)其進(jìn)行加工，最后中間件將加工好的數(shù)據(jù)以調(diào)用接口要求的格式返回。
采用虛擬數(shù)據(jù)服務(wù)層的優(yōu)勢(shì)為：
-
對(duì)數(shù)據(jù)的處理會(huì)比較靈活，應(yīng)用和底層的數(shù)據(jù)實(shí)現(xiàn)松耦合。
-
支持并發(fā)方式訪問數(shù)據(jù)。
-
數(shù)據(jù)可以采用多種方式對(duì)外提供接口。
-
確保數(shù)據(jù)的時(shí)效性。
但是，這樣做的問題一是數(shù)據(jù)傳輸速率不夠快，二是當(dāng)數(shù)據(jù)量非常大時(shí)，效率會(huì)變低。
第二種是在數(shù)據(jù)庫底層就對(duì)數(shù)據(jù)進(jìn)行加工處理，然后將處理好的數(shù)據(jù)以標(biāo)準(zhǔn)的接口發(fā)布到中間件層，用戶通過中間件層訪問數(shù)據(jù)。此方法流程如下，首先根據(jù)用戶的業(yè)務(wù)需求，在數(shù)據(jù)庫底層設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)化流程，然后將數(shù)據(jù)轉(zhuǎn)化的流程與數(shù)據(jù)通過web服務(wù)，注冊(cè)到中間件層，當(dāng)前端用戶需要數(shù)據(jù)服務(wù)時(shí)，直接調(diào)用web服務(wù)，數(shù)據(jù)庫就會(huì)先對(duì)數(shù)據(jù)進(jìn)行整合加工，存儲(chǔ)在臨時(shí)表中，用戶從臨時(shí)表中取出加工后的數(shù)據(jù)，與第一種模式的區(qū)別在于，它將數(shù)據(jù)的加工處理放在了數(shù)據(jù)源層，其優(yōu)勢(shì)在于：
-
對(duì)大數(shù)據(jù)量效率會(huì)非常高。
-
可以充分利用數(shù)據(jù)庫的處理能力。
-
可以進(jìn)行增量數(shù)據(jù)的處理。
-
數(shù)據(jù)轉(zhuǎn)化和數(shù)據(jù)獲取松耦合，可以實(shí)現(xiàn)異步處理。
該模式的問題在于：
-
過于依賴數(shù)據(jù)庫的處理能力，因此必須針對(duì)所有數(shù)據(jù)源，搭建一個(gè)數(shù)據(jù)庫關(guān)系系統(tǒng)。
-
需要調(diào)用兩次WEB服務(wù)中，一次為轉(zhuǎn)化，一次為數(shù)據(jù)讀取，數(shù)據(jù)量非常小的情況下，效率不夠高。
第三種是將分散在數(shù)據(jù)層的數(shù)據(jù)先整合到ODS或者數(shù)據(jù)倉庫中進(jìn)行整合加工，然后再將加工整理后的數(shù)據(jù)以標(biāo)準(zhǔn)接口發(fā)布到中間件層。為了保證為企業(yè)提供一個(gè)全局的數(shù)據(jù)視圖，我們可以通過建立一個(gè)全局的操作型數(shù)據(jù)庫ODS，當(dāng)數(shù)據(jù)源內(nèi)的數(shù)據(jù)發(fā)生變化時(shí)，CDC會(huì)捕捉到變化的數(shù)據(jù)并通過ETL工具或者其它手段同步到ODS數(shù)據(jù)庫。在該模式中，ODS里的數(shù)據(jù)可以封裝成WEB服務(wù)發(fā)布在中間件層，中間件層負(fù)責(zé)數(shù)據(jù)的接入訪問。當(dāng)前端業(yè)務(wù)流程需要集成的數(shù)據(jù)時(shí)，可以直接訪問ODS內(nèi)的數(shù)據(jù)，如果數(shù)據(jù)集成比較復(fù)雜，可以根據(jù)用戶的業(yè)務(wù)需要，通過ETL工具或者其它工具對(duì)統(tǒng)一模型層的數(shù)據(jù)進(jìn)行加工放到匯總數(shù)據(jù)層，然后再從匯總數(shù)據(jù)層訪問數(shù)據(jù)。
睿治數(shù)據(jù)集成管理是億信華辰自研的數(shù)據(jù)集成系統(tǒng)，可實(shí)現(xiàn)跨部門數(shù)據(jù)的傳輸、加載、清洗、轉(zhuǎn)換和整合，支持自定義調(diào)度和圖形化監(jiān)控，實(shí)現(xiàn)統(tǒng)一調(diào)度、統(tǒng)一監(jiān)控，滿足運(yùn)維可視化需求，提高運(yùn)維管理工作效率。功能架構(gòu)如圖所示。
