企業實現數據共享,可以使更多的人更充分地使用已有數據資源,減少資料收集、數據采集等重復勞動和相應費用。但是,在實施數據共享的過程當中,由于不同用戶提供的數據可能來自不同的途徑,其數據內容、數據格式和數據質量千差萬別,有時甚至會遇到數據格式不能轉換或數據轉換格式后丟失信息等棘手問題,嚴重阻礙了數據在各部門和各軟件系統中的流動與共享。數據是組織機構由經驗型決策轉向數據型決策的驅動力。我們不僅要滿足當前的各個需求場景,還要把數據作為資源長久持續地保留下來,這也離不開數據集成。因此,如何對數據進行有效的集成管理已成為增強企業商業競爭力的必然選擇。
由于現代企業的飛速發展和企業逐漸從一個孤立節點發展成為不斷與網絡交換信息和進行商務事務的實體,企業數據交換也從企業內部走向了企業之間;同時,數據的不確定性和頻繁變動,以及這些集成系統在實現技術和物理數據上的緊耦合關系,導致一旦應用發生變化或物理數據變動,整個體系將不得不隨之修改。因此,我們進行數據集成將面臨著如何適應現代社會發展的復雜需求、有效擴展應用領域、分離實現技術和應用需求、充分描述各種數據源格式以及發布和進行數據交換等問題。
數據集成業務場景
-
企業數據集成,當并購企業的時候,需要整合所有企業數據,比如,把它們所有的客戶數據進行集成,以更好地服務于我們的客戶群體。
-
異構系統數據流的集成,針對某個業務流程,需要集成多個數據源和應用,而數據流可能會來自異構數據源。
-
部署新應用,一項新的企業應用需要來自現有應用程序中的所有數據,部署新應用時可能需要的數據集成。
數據集成需要解決的問題
針對上面應用場景,數據集成仍有許多問題亟待解決。數據集成的本質是實現不同數據源之間的數據交換,主要解決數據的分布性和異構性的問題,其前提是被集成應用必須公開數據結構,即必須公開表結構,表間關系,編碼的含義等。一個商業數據集成產品通常需要具備以下功能:
-
具備元數據管理機制,需要支持多元異構數據導入
-
能穩定高效的即時增加、更新數據
-
具備數據可視化能力
-
能對數據質量實時監控以及校驗,對臟數據進行收集、處理
-
完善的運維體系,開放性,方便第三方擴張數據源
-
系統水平擴展能力
具備完善的運維體系、在復雜網絡下數據集成的能力,比如支持系統擴展、數據共享以及第三方數據源等
目前業內公司的集成產品有很多,睿治數據集成管理是億信華辰自研的數據集成系統,可實現跨部門數據的傳輸、加載、清洗、轉換和整合,支持自定義調度和圖形化監控,實現統一調度、統一監控,滿足運維可視化需求,提高運維管理工作效率。
豐富的數據適配
睿治數據集成管理系統具備強大的數據適配能力,支持多種數據源和數據格式。對于常用的關系型數據庫系統,還提供了本地連接(如Oracle OCI)
數據協議傳輸
支持通過多種數據傳輸協議在源段和目標端傳輸已經轉換處理過的數據。支持的協議包括JMS(MQ 消息隊列)、 Web Service、 HTTP(S)、 FTP 等
高性能數據處理
睿治數據集成管理系統可以充分利用硬件服務器的資源,高效處理大數據量的集成交換場景。多線程并發方式的業務啟動執行方式,可以極大的提高數據處理的能力,以輕松應對大數據量的集成業務。
高可用性
睿治數據集成管理系統支持集群部署,可以啟動多個運行服務端節點,因此數據可以在多個務端節點上行處理,并且其中一個運行服務節點宕機也不影響整個任務的執行。
靈活擴展
睿治數據集成管理系統是一個靈活、開放、擴展性強的數據集成產品,基于插件化的產品架構使得用戶可以非常方便的擴展數據集成功能。