- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-07-14來源:笑話而已瀏覽數:395次
數據服務交換和服務工具作為一體化數據治理和共享平臺一個組件,提供面向服務的插座式架構,基于統一的規則和元數據、統一架構、統一工具能可視化配置出數據采集、數據交換、數據加工、數據共享等不同的數據服務方案,能滿足客戶不同項目的數據交換和數據管理需要,提供端對端的數據交換和整合服務,保證了交換過程中的可靠傳輸,避免了丟包、系統堵塞等問題。
數據服務交換和服務工具作為一體化數據治理和共享平臺一個重要組成部分,包含了數據采集服務、數據交換服務、數據加工服務、數據共享服務等模塊。數據交換和服務工具采用面向微服務的插座式的架構,實現數據交換、數據整合、數據復制、數據的傳輸、數據共享等功能。支持跨組織、跨網段的、不同區域的、上下級單位海量數據交換和服務、適應基于前置機的、物理隔絕的數據交換和服務等多種應用場景,保證數據完整性、安全性、可靠性和傳輸性能,確保提升數據質量與及可用性,為數據需求部門提供準確可用的數據。本文詳細介紹數據服務交換和服務工具發展階段,相關功能及典型的應用場景。
一數據服務交換和服務工具經歷三個階段本文檔---數據服務交換和服務工具處于第三個階段,是統一的數據服務平臺。也屬于一體化數據治理和共享平臺的重要組成部分。

數據服務交換和服務工具發展階段
第一個階段是比較原始的,缺少工具階段。通過寫腳本、針對項目的開發實現,工具化程度差,項目實施和運維成本高。
第二個階段多樣化的工具階段,提供了能解決特定功能的工具產品。如消息中間件、ETL、文件傳輸等。但對于復雜環境下的大型項目有很大的不足,需要多個工具集成,缺少統一的架構、有孤島,集成實施成本高,交換過程中面臨丟包、系統堵塞等問題,安全穩定性差。
第三個階段是統一的數據交換和服務平臺,提供面向服務的插座式架構,基于統一的規則和元數據、統一架構、統一工具能可視化配置出數據采集、數據交換、數據加工、數據共享等不同的數據服務方案,能滿足客戶不同項目的數據交換和數據管理需要。提供端對端的數據交換和整合服務,保證了交換過程中的可靠傳輸,避免了丟包、系統堵塞等問題。
二挑戰與解決思路2.1傳統的數據交換工具面臨挑戰(1)傳統的數據交換解決方案是基于多個模塊/產品集成實現跨網段數據交換,當一個環節出現問題時易造成數據不一致。
(2)當采用異步交換方式時,異步的交換機制造成IO等系統資源占用、文件鎖死、堵塞掛起等現象。
(3)當采用同步的交換方式時,同步交換機制在交換數據量比較大,需要傳輸或者裝載時間比較長時,易造成通訊掛起、堵塞等現象。

傳統數據交換工具示意圖
2.2跨網段情況下的大數據量的數據交換與服務思路(1)基于統一的數據交換服務實現了端對端的數據交換。
(2)通過事務處理機制保證跨網段交換的數據一致性。
(3)狀態傳感器技術解決了分布式傳輸過程的狀態感知,避免了需要長時間處理情況下的通訊掛起現象,保證了傳輸的暢通。

一體化數據交換和治理示意圖
基于統一的數據交換服務實現了端對端的數據交換。通過事務處理機制保證交換的數據一致性。狀態傳感器技術解決了分布式傳輸過程的狀態感知,避免了需要長時間處理情況下的通訊掛起現象,保證了傳輸的暢通,跨網段情況下的大數據量的交換能力強。配置、部署、運維簡單。
三數據交換與服務工具總覽
數據服務交換和服務工具包含數據采集服務、數據交換服務、數據加工服務、數據共享服務等模塊,并提供統一的工具實現可視化配置、任務的管理、安全管理、運維監控等。
?
數據交換與服務工具
數據服務工具采用面向服務的架構,提供數據服務實現數據交換、數據整合、數據復制、數據的傳輸、數據共享等功能。主要包括運行支撐、加工組件、服務組件、數據服務總線等組成。
基于統一工具、統一的架構、統一的運行支撐、統一元數據管理實現數據采集、交換、加工、共享等功能,可以根據項目特點選擇不同的模塊組合,形成不同的數據服務和治理解決方案。

基于微服務架構的“插座式”架構
四數據交換與服務工具詳細功能設計4.1數據采集服務組件數據采集服務主要負責異構、異地的多源數據到貼源緩存區的采集,實現內外部系統的結構化數據、半結構化數據、非結構化數據等不同類型、不同時效的數據的復制與整合。
(1)異構數據的采集與加工
基于流加工技術提供統一、規范的數據接入方法,從內外部數據源向平臺導入結構化數據(如關系型數據庫數據、應用系統數據、生產實時數據)、半結構化數據(如日志、郵件等)、非結構化數據(如文本、圖片、視頻、音頻、網絡數據流等)等不同類型的數據、不同時效的數據,并提供這些數據的整合方式。主要特點:
提供分組平行加工能力,提高數據采集的性能。
支持復雜網絡環境下可靠數據采集,提供跨網段、跨單位的聯動式數據采集。
提供事務處理機制,保證采集數據的一致性。
通過統一的采集處理接口,方便不同的采集源集成,滿足特殊數據采集的需要。
通過可視化工具實現異構、異地數據采集的可視化配置;實現采集過程中的數據加工規則的可視化配置;實現數據采集過程中的可視化管理和監控。
(2)數據復制
支持結構化數據和非結構化數據的復制,將異構、異地的數據庫數據、文件數據復制到緩存庫中。

數據復制與驗證服務
1)數據庫數據復制
通過日志分析,能捕捉變化的結構、變化數據,并將變化的結構、變化的數據通過數據流復制技術復制到緩存庫。支持異地、同城、同中心的數據復制。
支持關系數據庫復制。通過數據流復制技術,實現同構或者異構數據庫之間的復制,包括了:Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、AS 400、Informix、My SQL、Access、PostgreSQL、Intersystems Cache、Gupta SQL Base、dBase、Firebird SQL、MaxDB ( DB)、Hypersonic、Generic database、R/3 System、CA Ingres、Borland Interbase、人大金倉(KingbaseES)、達夢(DM)、Oscar、Netezza等不同版本數據庫。
支持關系數據庫到NoSQL庫復制。提供數據流復制技術實現關系型數據庫的數據、結構復制到NoSQL庫中,如mongodb、hbase、hive、Elastic Search等。
2)數據文件復制
文件傳輸復制功能,將文件、文件夾下的文件復制到緩存庫中。
支持變化文件同步,能監控給定文件夾,將文件夾下的變化文件復制到緩存庫中。
異構系統間的復制,支持Windows、Linux、Aix、HP-Unix、Solaris等不同操作系統,支持異地數據文件的復制。
可以將數據文件復制到分布式的文件系統中,如hadoop平臺中。
數據復制過程中的加密、壓縮處理。
對文件全生命周期管理,可以設定規則對文檔歸檔或者清理。
(3)比對驗證
提供比對驗證驗證功能,將緩存庫的數據和源端的數據做比對,發現不一致的結構、不一致的數據、不一致的文件,并形成比對報告。
通過比對驗證功能方便用戶了解緩存區的數據和源端數據的差異,進而保證源端數據和目標端數據的完整、一致。
(4)可視化工具
提供圖形化工具集中配置、管理和監控;可以通過Web方式監控
4.2數據交換服務組件數據交換服務組件,在遵循一定的交換策略條件下進行數據交換及消息傳遞,支持數據資源在不同單位、不同區域的快速交換和共享,提供配置工具生成交換節點,此外在數據傳輸過程中應保證數據完整性、安全性、可靠性和傳輸性能。

基于統一的數據服務配置出不同的數據交換方式
數據交換服務組件:支持全量、批量、實時的數據交換;支持大數據量的數據交換;支持復雜網絡環境下的可靠數據交換;支持跨網段、跨單位的數據交換;支持基于通道、文件的加密傳輸;支持多種數據接口和傳輸協議;提供數據交換日志;支持斷點續傳功能。
(1)異構、異地的數據交換
提供基于流加工技術的數據交換和共享,在一個服務內實現數據庫、文件、JSON、XML、傳輸隊列、適配器等之間的相互交換。具有以下交換功能:
支持數據庫:Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等;國產數據庫:達夢、人大金倉、神州數據庫等。
支持SQL語句作為數據源。
No SQL的交換:支持與MongoDB的交換,支持與Hive的交換,支持與HBASE的交換,支持與Elastic Search的交換。
支持文件:文本文件(分隔符、定長等)、Excel文件、DBF文件、MDB文件等。分隔符文件要支持組合分隔符。能可視化配置文件與異構系統的交換。
支持XML, XML可以是文件,也可以是來源消息隊列、API、 Web URL等。能可視化配置XML與異構系統的交換。
支持JSON, JSON可以是文件,也可以是來源消息隊列、API、 Web URL等。能可視化配置JSON與異構系統的交換。
提供內存對象映射滿足API、傳輸隊列數據抽取。可視化定義內存表與異構系統的交換;可視化配置數據采集結果可輸出到通道中,實現數據傳輸服務的綁定。
跨網段的數據交換能力。跨網段是指數據源和數據目標位于不同的網段,每個網段不能訪問跨網段的數據庫。能配置跨網段的數據交換服務;能實現跨網段的實時聯動的數據交換;支持CLob字段、blob字段等。
(2)數據交換過程中的數據加工
數據交換過程中的數據加工,實現如下加工能力:
多種數據轉換方法:包括字符串轉換、字段賦值、時間類轉換、數據比對與翻譯、數學運算、身份證格式轉換等。
交換過程中的數據質量檢查,根據數據邏輯判斷規則,將干凈的數據裝載到目標中,將判斷有問題的數據路由到數據庫表或者數據文件中。
多種邏輯處理,包括:格式匹配檢查(如日期格式、數據格式、身份證格式、自定義格式等)、字符串邏輯檢查(包含、以結束、以開始、在列表中、等于等)、內容為空檢查、重復記錄檢查、范圍內檢查(如在列表內、字典或代碼表內、包含、等于)、表表外鍵關聯檢查、邏輯檢查(=、>、>=、<、<=、為空、非空、<And<、<=And<、<And<=、<=And<=、為真、為假等)、復合邏輯檢查(以上邏輯的and、or組合)、自定義邏輯檢查等。并能可視化配置。
多種路由策略,路由條件可以是邏輯判斷,也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、規則表達、是空、非空、在列表中、包含、開始為、結束為、為真、為假等方法。數據路由也可以是條件的組合,可以是and 也可以是Or。
(3)保證交換的可靠性、性能、實時性
支持斷點續傳。在數據交換任務運行過程中由于各種不確定原因造成網絡中斷,網絡恢復后重新運行服務后保證數據一致。
支持實時交換。實現通過字符串報文、XML、JSON等格式實時交換數據。
支持通過分析日志捕捉變化數據的實時交換。支持數據庫CDC技術,能捕捉指定表的變化數據,增量抽取變化數據,經過轉換等處理后按照條件路由到多個數據目標中。
支持數據分組分塊平行加工。在一個數據交換服務中實現數據分塊及數據并行加工處理,保證加工性能。
(4)提供批量文件交換
提供文件傳輸服務功能。保證文件的可靠傳輸,主要實現如下功能:
支持對文件、文件夾、文件夾下指定文件等的傳輸。
提供變化文件傳輸功能,實現對文件夾含子文件夾的文件增量傳輸。
提供文件篩選功能,實現滿足條件的文件傳輸。
提供多節點間文件接力傳輸功能,實現多節點間文件傳輸的聯動。
實現文件傳輸過程加密、壓縮、斷點續傳等功能。
支持一對一、一對多,支持同步、異步傳輸方式。
提供和外部FTP、SFTP的傳輸服務,方便給外部的FTP/SFTP文件服務器交換文件。
提供FTP文件傳輸服務,包括文件的上傳和下載,支持文件和文件夾傳輸,支持變化文件傳輸、刪除已傳輸文件等處理 。
提供SFTP文件傳輸服務,包括文件的上傳和下載,支持文件和文件夾傳輸。
提供文件清理功能,方便整理文件存儲空間主要實現如下功能:能壓縮備份給定天數之前的文件,能刪除給定天數之前的的文件。
4.3數據加工服務組件數據加工處理實現數據的轉換、邏輯判斷、數據質量的檢查、異常處理、數據路由、數據的規范化等處理,用于將貼源緩沖區的數據根據需要加工到數據存儲與處理層的結構化區、非結構化區,并能給數據主題區、分析服務區、數據實驗室提供規范合理的數據。支持全量、增量、實時的數據處理,基于數據流處理技術,處理在數據流引擎中進行,減輕對數據源和目標的影響;提供統一加工服務實現數據庫、數據倉庫、NoSQL、搜索引擎、文件、XML、We b Service、傳輸隊列、適配器、內存表、JSON 等之間的相互交換,通過工具可視化配置通過拖拉等操作,可視化配置異構數據之間的轉換、加工、映射規則。

流加工技術示意圖
數據加工基于流加工技術實現。流加工技術是指在一個數據服務流內實現數據檢查、數據清洗、數據比對、數據轉換、數據邏輯判斷、數據路由、數據異常處理等計算并將計算的結果輸出到數據服務的目標中;流加工技術通過優化算法,將數據服務的加工計算在數據管理引擎內一次完成,減輕數據源和目標IO操作和計算壓力,大大降低了對數據源和數據目標的影響。
流加工技術實現數據庫、No SQL(hive、hbase、mogodb)、搜素引擎(Elastic Search)、文件、XML、Web Service、傳輸隊列、適配器、內存表、JSON等之間的相互交換。

基于流加工技術的數據交換及整合服務
數據加工服務包括數據抽取、流加工、數據路由等部分。其中:抽取條件支持全量抽取、增量數據、SQL語句、動態規則、以及通過API或者接口表等調用方法傳來的變量。
流加工處理可以是數據加工處理、數據邏輯檢查、數據安全處理、調用服務或者方法等。數據加工處理包括字符串加工、字段賦、時間類轉換、比對翻譯、數學計算、數組操作、系統信息、變量操作、專用轉換、GIS轉換等;數據邏輯檢查包括:格式檢查、范圍檢查、缺失記錄檢查、相似重復記錄檢查、數字檢查、專用檢查、邏輯表達式檢查、復合規則檢查等;數據安全處理包括:安全過濾、模糊加密等;調用服務或者方法包括:調用流程/服務、根據邏輯判斷調用處理方法;數據路由包括:干凈數據路由、異常數據路由、業務規則路由等。
提供可視化界面實現如下功能:
支持數據庫、NoSQL(hive、hbase、mogodb等)、搜素引擎(ElasticSearch等)、文件、XML、Web Service、傳輸隊列、適配器、內存表、JSON等之間的相互交換。
基于流加工技術的轉換加工處理
基于流加工技術的邏輯判斷和數據質量檢查
保證數據事務完整性
分組并行加工能力
全量、批量、實時的數據交換
大數據量的數據交換
復雜網絡環境下可靠數據交換
跨網段、跨單位的聯動式數據交換
基于通道、文件的加密傳輸
4.4數據共享組件服務提供方做服務資源的編目,注冊到數據資源目錄中心;中心做服務資源的審核、維護,并將共享的服務發布出去;服務使用方查詢到服務后,向中心申請使用該服務;中心審核審批通過后給申請用戶授權該服務的使用;服務使用方通過安全可管理的服務總線調用該服務,實現提供方和使用方的數據交換和共享。

數據共享示意圖
(1)提供安全可管理的服務總線,方便安全可控的使用服務
將配置好的服務分級授權給不同的部門、用戶,用戶包括管理角色、開發角色、查詢角色、使用角色等。業務系統是具有使用角色的用戶。
安全可管理的數據服務總線作為數據服務使用入口,當用戶訪問數據服務時,服務總線將做用戶的身份鑒定,通過后檢查其訪問權限,都通過后,才能使用該數據服務。
通過訪問數據服務屏蔽數據源,實現共享數據的安全授權,可以到表、字段、記錄級的安全控制。
(2)如下是通過服務總線使用服務時的內部 SOAP XML
包括了調用的用戶信息(包括用戶名和密碼)、服務信息(提供者標識、服務類型、服務標識、服務業務句柄)。
如果有報文、XML等輸入數據時,包括了服務輸入信息(類型:XML、String、RowsSet等)。
如果是查詢服務時,還包括了查詢條件(變量名、查詢條件)、返回值類型( XML、String、RowsSet等)。

安全可管理的服務總線
通過安全可管理的數據服務總線,可以采用多種方式服務調度使用服務或者流程,包括:
菜單交互
定時
接口文件文件
接口表
消息隊列
服務代理
流程
前處理(發送方、接收方、服務)
后處理(發送方、接收方、服務)
shell
API
Web
其他事件
4.5調度管理組件調度管理組件,主要包括可視化配置及監控、調度規則的管理及運行監控、調度策略、流程調度、基于總線調度件、集成調用能夠服務等組成。

調度管理組件
(1)調度規則的管理及運行監控
調度規則的管理及運行監控實現了對平臺調度功能的集中管理,包括配置管理、運行監控、規則管理。配置管理實現了對任務配置、任務調度策略、人工干預任務的響應等。規則管理實現了對調度規則的管理,可以以XML對外開放。
可視化配置和監控是調度管理的可視化操作界面,通過和調度管理交互實現對調度任務的配置、調度策略的定義、調度運行監控等。
(2)調度策略
調度策略模塊實現了調度策略的管理,包括基于菜單的交互調度、定時調度、文件觸發調度、文件分類調用、接口文件/接口表調用、分布式調用等。
菜單生成器可以定義任務調度菜單,通過菜單可以交互調度,包括發起和終止任務等。
可以在任務運行菜單上可視化定義定時調用任務,定義定時調度策略。
通過可視化界面定義文件觸發調度,方便滿足某些給定的文件條件后觸發調用任務。
通過可視化界面定義文件分類調用,監控給定文件夾,根據給定的條件對文件夾下的文件分類調用不同的服務,同時將文件名等信息傳遞給被調用的服務使用。
通過可視化界面定義接口文件/接口表調度,根據接口文件或者接口表的內容調用服務,同時將接口文件或者接口表中的數據以變量方式傳遞給被調用的服務。
多種分布式調度策略,包括服務代理調度、文件傳輸前后處理調用、通訊隊列綁定調用等。
通過可視化界面定義服務代理調度,可以調用部署在另一個交換節點下的服務,觸發該服務運行。
通過可視化界面定義文件傳輸前后處理調用,可以定義發送方文件發送前處理調用、文件發送完成后處理調用,定義文件傳輸接收方接收前處理調用、文件接收完成后處理調用,方便文件傳輸和處理的聯動。
通過可視化界面定義通訊隊列綁定,滿足通訊環境下某個消息隊列接收消息或者數據后觸發調用相應的服務。
(3)流程調度
流程調度組件主要是為了滿足復雜調度策略,通過可視化界面將要調度的服務(可以位于不同的交換節點上)組成流程,運行時按照給定的規則執行,支持并行處理、順序執行、條件處理、意外處理等。流程本身也可以作為另一個流程的處理節點,方便實現流程的嵌套。
并行處理是指多個處理任務可以放到一個并行組中,組中的所有任務處理完成后再調用流程的下一個節點執行,并行處理既可以讓組中的所有的任務并行運行,也可以根據硬件、網絡等情況指定處理并發數。
當流程運行出意外時,可選擇補償運行、斷點續運行、間隔檢查運行等處理方式。
(4)基于總線的調度
數據服務總線也可以作為調度總線使用,調用方可以通過URL、API等方式通過總線調用服務,如下是通過服務總線使用服務時的相應的輸入。
包括了調用的用戶信息(包括用戶名和密碼)、服務信息(提供者標識、服務類型、服務標識、服務業務句柄)。
如果有報文、XML等輸入數據時,包括了服務輸入信息(類型:XML、String、RowsSet等)。
如果是查詢服務時,還包括了查詢條件(變量名、查詢條件)、返回值類型( XML、String、RowsSet等)。
(5)集成調用服務
集成調用服務組件包括了被調用的數據交換和數據整合服務、數據傳輸服務,還包括了集成調用服務:shell腳本調用、SQL調用、調用URL等。
操作系統的Shell腳本調用服務,實現通過可視化配置服務調用Shell腳本的功能,對于數據庫的操作系統級的shell命令調用,提供安全策略保護用戶名和密碼等敏感信息。
SQL調度功能,通過可視化配置服務實現對SQL語句、存儲過程、SQL函數的調用功能。
URL調度服務, 調用可視化配置的外部URL。
(6)后臺支撐組件
后臺管控組件提供可視化工具方便數據服務的管理,支持數據服務集中管控,主要包括配置管理、任務管理、安全管理、監控管理。
配置管理提供統一的配置管理工具:在同一個工具內,可視化實現數據節點的管理、交換服務建模、數據加工建模、共享服務建模、數據質量的管理、服務目錄管理、資源目錄管理、運行及監控管理等。通過相應服務的可視化操作界面生成相應類型的服務模型,可以根據業務需要創建文件傳輸、ETL、數據交換和處理、數據質量、安全共享、流程等各類服務,并可以根據需要分類、編碼形成服務目錄,便于重用、編輯、安全授權等需要,提供服務創建、編輯、刪除、部署、查看等功能。支持按單位、部門、業務分類管理,支持服務模型的一致性檢查,支持團隊分工協同開發等。
任務管理:包括任務菜單樹管理、調度管理、任務監控等功能。提供菜單生成器生成任務菜單樹,方便人工交互調度管理,包括運行、終止任務等;調度管理提供任務調度功能,可以可視化配置定時、文件觸發、服務代理調用、分布式調度、文件分類調度等策略。任務中心實現數據服務工廠和資源目錄的一體化,可以通過資源目錄查找到共享數據服務,經過申請、審批等流程后,通過服務控制中心得到授權的數據服務,進而通過數據服務平臺進行數據的交換和共享。
安全管理主要包括部門管理、用戶管理、安全管理、角色管理、分級授權、安全審計、交換節點的安全認證等。提供統一的安全管理,實現對交換和共享數據的分級授權和訪問控制、交換和共享服務的分級授權和訪問控制、交換和共享資源目錄的分級授權和訪問控制,交換和共享服務的安全審計和身份鑒定等。
監控管理對數據服務全流程監控管理,主要包括交換節點的監控、數據服務運行流程監控、運行統計等。
5應用場景5.1標題內容組織內部數據交換組織內部數據交換,同一單位內各信息系統數據將由各單位內部交換區內的交換節點進行交換共享,交換節點提供數據加解密管理,交換過程支持數據加密(支持SM2、SM4等國密算法加密)。
5.2上下級單位數據交換平臺支持上下級單位數據交換,各部門跨層級數據交換先由內部交換節點將數據加密(支持SM2、SM4等國密算法加密)并交換至本單位前置機上的前置交換節點,交換完成后平臺將對上下級單位進行單位認證、用戶身份鑒定及訪問權限驗證,驗證通過后本單位前置機的前置交換節點再將數據交換至上下級單位的前置機上的前置交換節點,再由上下級單位的前置機上的前置交換節點將數據交換至上下級單位的內部交換區,實現跨層級的數據交換共享。
5.3標題內容基于前置機的數據交換平臺提供基于前置機的數據交換,基于前置機的數據交換先由內部交換節點將單位內各信息系統數據加密(支持SM2、SM4等國密算法加密)并交換至前置機,交換完成后平臺將對目標方單位進行單位認證、用戶身份鑒定及訪問權限驗證,若驗證通過,由前置機將數據對外共享,滿足跨部門、跨網絡的數據交換的需要。
5.4物理隔離的數據交換“物理隔離”情況下的可靠交換,具體說明如下:
(1)存儲各種異構系統的數據源(如各種數據庫等)的各種字段類型(如數據庫表的字符型、日期型、數字型、Blob、Clob、流類型等)數據的通用數據文件作為被隔離的兩段網絡的共享數據存儲介質,文件本身支持SM2、SM4等國密算法加密。
(2)數據提供單位調用通過拖拉等可視化配置將異構數據源映射到通用文件的服務,該服務將指定的數據源如數據庫表、文件等映射到共享文件夾的以表名開頭的動態文件名的文件上,以保證每次調用生成不同的文件。
(3)傳輸服務將生成后的加密數據文件交換至前置機的共享存儲介質(如光盤、硬盤等)中,支持設備訪問權限管理,可通過可視化工具對各信息系統用戶設置指定目錄的訪問權限。數據需求單位進行身份鑒定及訪問權限驗證,通過驗證后數據需求單位可通過傳輸服務將共享存儲介質(如光盤、硬盤等)中數據文件交換至內部交換區。
(4)按照約定數據需求方調用經可視化配置的文件分類服務,該服務監控共享存儲介質(如光盤、硬盤等)下指定的文件目錄,根據文件夾下文件名稱的特點分別調用經可視化配置的文件到異構系統的映射加工處理服務,將文件內容裝載到異構目標方,實現了物理隔離情況下的異構系統的數據傳遞。
(5)物理隔離情況下的數據交換采用基于共享文件的方式。共享文件能存儲各種異構系統的數據源(如各種數據庫等)的各種字段類型(如數據庫表的字符型、日期型、數字型、Blob、Clob、流類型等)數據的通用數據文件作為被隔離的兩段網絡的共享數據存儲介質。
1)數據提供單位
可視化配置異構源到數據文件、文件傳輸
運行時完成異構源到數據文件
文件名稱動態編碼等處理、文件傳遞
2)數據需求單位
可視化配置數據文件到異構數據目標
根據文件名稱編碼調用不同數據文件到異構目標處理
傳輸和加工過程可視化監控和管理。
總結數據服務交換和服務工具作為一體化數據治理和共享平臺一個組件,提供面向服務的插座式架構,基于統一的規則和元數據、統一架構、統一工具能可視化配置出數據采集、數據交換、數據加工、數據共享等不同的數據服務方案,能滿足客戶不同項目的數據交換和數據管理需要,提供端對端的數據交換和整合服務,保證了交換過程中的可靠傳輸,避免了丟包、系統堵塞等問題。支持跨組織、跨網段的、上下級單位數據交換、基于前置機的數據交換、物理隔絕的數據交換等多種應用場景。
上一篇:企業變革歷程總覽...