由于每個企業(yè)具有不同類型，數(shù)量和格式的數(shù)據(jù)，并隨著時間的推移而產生不同的業(yè)務需求，因此目前有許多不同的方法和工具用于集成數(shù)據(jù)。根據(jù)業(yè)務和技術，本文總結了幾種主要類型的工具：
1、運用代碼數(shù)據(jù)集成
2、ETL工具
3、API 工具
4、大數(shù)據(jù)企業(yè)平臺
1、運用代碼數(shù)據(jù)集成
只要掌握基本編程技能，業(yè)務人員就可以運用簡單的腳本來獲取集成數(shù)據(jù)。這個過程可以直接在數(shù)據(jù)庫內完成，也可以部署到應用程序。代碼是移動數(shù)據(jù)的快捷方式，它們可以按照預定義的時間表運行，也可以作為由事件觸發(fā)的服務運行，或者在滿足定義的條件時作出響應。他們可以從多個來源獲取數(shù)據(jù)，在將數(shù)據(jù)傳送到目標數(shù)據(jù)源之前加入，過濾，清理驗證和轉換數(shù)據(jù)。但要求開發(fā)人員預測數(shù)據(jù)集成和相應程序可能出現(xiàn)的問題。另外，開發(fā)自定義腳本在使用許多實驗數(shù)據(jù)源時可能不具有成本效益。最后，數(shù)據(jù)集成腳本通常難以完成知識轉移知識，并且需要專業(yè)開發(fā)人員進行維護。
2、ETL工具
ETL是英文Extract-Transform-Load 的縮寫，用來描述將數(shù)據(jù)從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端的過程。ETL負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。數(shù)據(jù)抽取，從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。實際應用中，數(shù)據(jù)源較多采用的是關系數(shù)據(jù)庫。數(shù)據(jù)轉換，這一步包含了數(shù)據(jù)的清洗和轉換。從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取出的數(shù)據(jù)進行數(shù)據(jù)轉換和加工。數(shù)據(jù)的轉換和加工可以在ETL引擎中進行，也可以在數(shù)據(jù)抽取過程中利用關系數(shù)據(jù)庫的特性同時進行。數(shù)據(jù)加載，將轉換和加工后的數(shù)據(jù)裝載到目的庫中通常是ETL過程的最后步驟。轉換作業(yè)生成的數(shù)據(jù)有可能直接插入目標數(shù)據(jù)庫，一般來說，這種情況常見于使用數(shù)據(jù)庫存儲過程進行轉換作業(yè)的方案。此時，ETL作業(yè)位于目標數(shù)據(jù)庫上，加載作業(yè)只需要使用INSERT或者LOAD的方式導入目標表即可。
3、API工具
如果開發(fā)需要連接到多個數(shù)據(jù)源和API的Web或移動應用程序，則有API和應用程序開發(fā)工具可以簡化這些集成。這些工具不是將數(shù)據(jù)集成到中央存儲庫中，而是提供各種選項，以便在使用多個API和數(shù)據(jù)源時支持更快的應用程序開發(fā)。應用程序集成有多種不同的平臺類型和工具提供，旨在簡化API和數(shù)據(jù)訪問，并充當數(shù)據(jù)總線以集中交互。可以實現(xiàn)使用低代碼和移動開發(fā)平臺進行數(shù)據(jù)集成，并提供開發(fā)和開發(fā)環(huán)境，以快速構建和運行應用程序。
4、大數(shù)據(jù)企業(yè)平臺
以億信華辰睿治數(shù)據(jù)集成管理平臺為例，基于開源Hadoop框架開發(fā)，融合MPP、SQL on Hadoop、流處理等大數(shù)據(jù)技術，支持海量數(shù)據(jù)的高效儲存和集成。可實現(xiàn)跨部門數(shù)據(jù)的傳輸、加載、清洗、轉換和整合，支持自定義調度和圖形化監(jiān)控，實現(xiàn)統(tǒng)一調度、統(tǒng)一監(jiān)控，滿足運維可視化需求，提高運維管理工作效率。該平臺還可以融合數(shù)據(jù)集成、數(shù)據(jù)交換、實時計算存儲、元數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質量管理、主數(shù)據(jù)管理、數(shù)據(jù)資產管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理十大產品模塊，打通數(shù)據(jù)治理各個環(huán)節(jié)，十大產品模塊可獨立或任意組合使用，快速滿足政府、企業(yè)各類不同的數(shù)據(jù)治理場景。
睿治智能數(shù)據(jù)治理平臺由億信華辰自主研發(fā)，是一款融合數(shù)據(jù)治理十大產品模塊，覆蓋數(shù)據(jù)全生命周期管理的應用平臺，也是目前國內功能齊全的數(shù)據(jù)治理工具，助力數(shù)據(jù)標準落地，提升數(shù)據(jù)質量，實現(xiàn)數(shù)據(jù)資產融合
