在實施數(shù)據(jù)集成的過程當中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內容、數(shù)據(jù)格式和數(shù)據(jù)質量千差萬別，有時甚至會遇到數(shù)據(jù)格式不能轉換或數(shù)據(jù)轉換格式后丟失信息等棘手問題，嚴重阻礙了數(shù)據(jù)在各部門和各軟件系統(tǒng)中的流動與共享。
數(shù)據(jù)集成可以分為兩種，實時性的和非實時的。目前大多數(shù)據(jù)集成產品是非實時的，對于需要整合的數(shù)據(jù)，先由一個系統(tǒng)定時導出并生成xml格式的數(shù)據(jù)，然后由另一個系統(tǒng)定時來處理。非實時的系統(tǒng)的優(yōu)點是比較容易實現(xiàn)，缺點是不能實現(xiàn)各系統(tǒng)數(shù)據(jù)的實時集成。實時數(shù)據(jù)集成系統(tǒng)可以采用數(shù)據(jù)庫層的直接集成或者通過面向服務架構（SOA）來實現(xiàn)，由于數(shù)據(jù)庫廠商一般難以接受開放數(shù)據(jù)庫接口給其他廠商，所以未來發(fā)展的趨勢主要還是利用SOA來實現(xiàn)數(shù)據(jù)集成。
什么是SOA
SOA，即面向服務的架構，它是一個組件模型，將應用程序的不同功能單元進行拆分，并通過這些服務之間以中立的方式定義的接口和協(xié)議聯(lián)系起來。它獨立于實現(xiàn)服務的硬件平臺、操作系統(tǒng)和編程語言。這使得構建在各種各樣的系統(tǒng)中的服務可以以一種統(tǒng)一和通用的方式進行交互。
實時數(shù)據(jù)集成方法
實時數(shù)據(jù)集成一般分為兩個處理過程：一是對數(shù)據(jù)按照SOA架構的需要進行整合加工形成可用的信息，二是將信息以符合SOA規(guī)范的方式發(fā)布出去。具體的實時數(shù)據(jù)集成可以分為以下三種：
首先看第一種，我們知道，在業(yè)務系統(tǒng)中間層上存在一個虛擬數(shù)據(jù)層，用戶可以通過JDBC，F(xiàn)ILE適配器、應用適配器等方式向數(shù)據(jù)庫發(fā)出請求，數(shù)據(jù)庫會將數(shù)據(jù)映射到虛擬數(shù)據(jù)層，相當于將數(shù)據(jù)臨時存儲到虛擬數(shù)據(jù)層，然后按照一定標準對數(shù)據(jù)加工整合，用戶就可以通過可視化方式獲取這些處理好的數(shù)據(jù)。處理好的數(shù)據(jù)可以通過web service，JDBC,數(shù)據(jù)對象等多種方式發(fā)布出去。當用戶通過中間件訪問虛擬數(shù)據(jù)層的數(shù)據(jù)時，虛擬數(shù)據(jù)層會根據(jù)系統(tǒng)定義的邏輯首先將需要加工的細節(jié)數(shù)據(jù)從各個數(shù)據(jù)源抽取到虛擬數(shù)據(jù)層，然后中間件根據(jù)設計時的數(shù)據(jù)加工邏輯對其進行加工，最后中間件將加工好的數(shù)據(jù)以調用接口要求的格式返回。
采用虛擬數(shù)據(jù)服務層的優(yōu)勢為：
1.對數(shù)據(jù)的處理會比較靈活，應用和底層的數(shù)據(jù)實現(xiàn)松耦合。
2.支持并發(fā)方式訪問數(shù)據(jù)。
3.數(shù)據(jù)可以采用多種方式對外提供接口。4.確保數(shù)據(jù)的時效性。
但是，這樣做的問題一是數(shù)據(jù)傳輸速率不夠快，二是當數(shù)據(jù)量非常大時，效率會變低。
第二種是在數(shù)據(jù)庫底層就對數(shù)據(jù)進行加工處理，然后將處理好的數(shù)據(jù)以標準的接口發(fā)布到中間件層，用戶通過中間件層訪問數(shù)據(jù)。此方法流程如下，首先根據(jù)用戶的業(yè)務需求，在數(shù)據(jù)庫底層設計數(shù)據(jù)轉化流程，然后將數(shù)據(jù)轉化的流程與數(shù)據(jù)通過web服務，注冊到中間件層，當前端用戶需要數(shù)據(jù)服務時，直接調用web服務，數(shù)據(jù)庫就會先對數(shù)據(jù)進行整合加工，存儲在臨時表中，用戶從臨時表中取出加工后的數(shù)據(jù)，與第一種模式的區(qū)別在于，它將數(shù)據(jù)的加工處理放在了數(shù)據(jù)源層，其優(yōu)勢在于：
1. 對大數(shù)據(jù)量效率會非常高。
2.可以充分利用數(shù)據(jù)庫的處理能力。
3.可以進行增量數(shù)據(jù)的處理。
4.數(shù)據(jù)轉化和數(shù)據(jù)獲取松耦合，可以實現(xiàn)異步處理。
該模式的問題在于：
1.過于依賴數(shù)據(jù)庫的處理能力，因此必須針對所有數(shù)據(jù)源，搭建一個數(shù)據(jù)庫關系系統(tǒng)。
2.需要調用兩次WEB服務中，一次為轉化，一次為數(shù)據(jù)讀取，數(shù)據(jù)量非常小的情況下，效率不夠高。
第三種是將分散在數(shù)據(jù)層的數(shù)據(jù)先整合到ODS或者數(shù)據(jù)倉庫中進行整合加工，然后再將加工整理后的數(shù)據(jù)以標準接口發(fā)布到中間件層。為了保證為企業(yè)提供一個全局的數(shù)據(jù)視圖，我們可以通過建立一個全局的操作型數(shù)據(jù)庫ODS，當數(shù)據(jù)源內的數(shù)據(jù)發(fā)生變化時，CDC會捕捉到變化的數(shù)據(jù)并通過ETL工具或者其它手段同步到ODS數(shù)據(jù)庫。在該模式中，ODS里的數(shù)據(jù)可以封裝成WEB服務發(fā)布在中間件層，中間件層負責數(shù)據(jù)的接入訪問。當前端業(yè)務流程需要集成的數(shù)據(jù)時，可以直接訪問ODS內的數(shù)據(jù)，如果數(shù)據(jù)集成比較復雜，可以根據(jù)用戶的業(yè)務需要，通過ETL工具或者其它工具對統(tǒng)一模型層的數(shù)據(jù)進行加工放到匯總數(shù)據(jù)層，然后再從匯總數(shù)據(jù)層訪問數(shù)據(jù)。
睿治數(shù)據(jù)集成管理是億信華辰自研的數(shù)據(jù)集成系統(tǒng)，可實現(xiàn)跨部門數(shù)據(jù)的傳輸、加載、清洗、轉換和整合，支持自定義調度和圖形化監(jiān)控，實現(xiàn)統(tǒng)一調度、統(tǒng)一監(jiān)控，滿足運維可視化需求，提高運維管理工作效率。功能架構如圖所示。
