近些年來，各行各業信息化建設不斷深入，不同部門、不同組織的信息系統越建越多，隨之而來的是一座座拔地而起的“數據孤島”，數據冗余、數據利用率低等問題阻礙著數據價值的發揮。與此同時，隨著數據要素的地位的確立，數據跨領域、跨行業、跨組織交互共享的需求越來越成為眾多政企剛需。

但要打破這一堵堵數據的墻并非易事。數據復雜標準不一、需求場景多樣、安全性難保障等諸多問題，影響著數據的開放共享進程。

01、數據交換三大難點

1、數據復雜標準不一

不同業務組織的系統往往千差萬別，分布在各個業務系統中的數據也多種多樣。再加上不同的業務系統間通常存在著標準不一、質量參差不齊等問題，不同部門、不同組織對數據的定義不一樣、命名不一樣，導致數據數據有效交互和共享存在問題。

2、需求場景多樣

大數據時代的信息化建設要求數據交換要能適應復雜的不同環境，既要支持跨組織、跨網段的、跨區域、跨境的數據交換，也要實現多層級、集團化的海量數據交換和服務，同時能夠適應基于前置機、物理隔離的數據交換和服務等多種應用場景。當前一些數據交換技術運用在異構環境中時有不少共性問題，主要包括適配度低、靈活度低、實施難度大等。

3、安全性難保障

安全是發揮數據作為生產要素價值的前提條件。自國家《網絡安全法》《數據安全法》《個人信息保護法》實施以來，網絡安全與數據合規已經成為企業的基礎合規工作，保證數據交換的傳輸安全是長期且重要的任務，要從平臺層面整體解決，而不是簡單的采用某一加密技術或其他單一的技術手段來完成。

02、億信華辰數據交換平臺助力數據暢通安全流轉

針對這些政企數據交換的痛難點，億信華辰經過深入研究，結合多年業務實踐，運用成熟的數據交換技術，打造統一、安全、高效的全局數據交換管理平臺——EsDataExchange，容納多種多樣數據格式，提供豐富數據處理與交換任務設計與可視化的數據交換監控，為用戶構建安全可靠易用的數據交換通道。

1、產品架構
①數據源層：支持主流的數據庫源、平面文本文件、Execl 文件和其它格式數據。
異構數據源適配層：基于數據庫和服務器內存方式，完成異構數據源的適配、整合和交叉訪問。
②落地區：包括源數據區、處理數據區、及文件存儲區。
③資源庫：分為運行區和設計區，運行區是數據運行環境，提供傳輸、調度控制服務，作業實時運行監控和系統服務質量監控，設計區是數據交換作業流程設計環境，內置碼制轉換、調式校驗等控件。
④服務區：開放數據訪問服務，提供 webservices、api 等多種接口服務，直接面向運維和瀏覽用戶進行查詢。

2、核心功能
（1）參數配置
億信華辰EsDataExchange數據交換平臺可配置采集參數、分發參數、監控參數、全局參數。
①采集參數：針對不同采集需求設置采集參數，可指定獲取機制，設置不同采集模式。
②分發參數：對分發任務各環節進行預置參數控制，并考慮離線和重發等情況。
③監控參數：對數據交換調度執行情況的進行監控。
④全局參數：總體控制平臺執行和控制情況，保障平臺穩定運行。

（2）數據處理
傳輸交換管理平臺提供了可視化的數據交換作業定義功能，支持作業的試運行和斷點調試等，豐富的組件支持，能完成邊調試作業邊預覽數據。另外，產品還內預置多種數據轉換方式，可支持常用的聚合、集合、連接、過濾、排序、路由、表達式組件等, 滿足多種數據靈活處理場景需要。

對于接入的數據，可根據業務需要進行數據清洗，支持記錄級清洗和字段級清洗，內置 50 多種數據清洗規則，支持在一個組件中完成多次清洗轉換設置。

（3）數據調度
①數據傳輸：產品采用的數據傳輸技術可直接在應用程序客戶端進行壓縮并發送，能完全兼容現有開放式接入平臺的文件傳輸模式，具有替代其文件批量傳輸功能，操作簡單，傳送時間短，以便于未來開放式接入平臺更專注于交易級數據的交換。
②數據壓縮：區別于傳統的數據壓縮方法，產品采用智能壓縮策略，可自動識別被壓縮的數據類型，包括結構化數據、非結構化數據或其他類型數據，并根據數據類型自動采用不同的壓縮算法，比傳統 zip 壓縮所采用的 deflate 壓縮算法更為有效，確保 100%的數據得到高效的壓縮。
③斷點續傳：傳輸交換管理平臺數據傳輸模塊提供斷點續傳功能，當數據傳輸過程中因斷電或其他網絡原因造成傳輸中斷時，無需重新從頭開始，支持從斷點部分繼續往下傳輸，節約文件傳輸時間。
④數據加密：數據傳輸過程中需按照數據的密級進行加密處理，保障數據安全。產品內置多種加密方法，且支持用戶進行設置管理。可按照物理表元數據進行加密設置，支持對每個字段指定加密條件，滿足加密設置的靈活需要。

⑤一致性驗證：提供數據校驗功能，根據預置的驗證機制，對數據進行解密和文件簽名驗證， 并根據摘要信息中的文件名、文件類型、文件大小、文件修改時間等元數據信息，與實際數據文件進行一致性驗證，以檢查接收數據的完整性。
⑥異常報警：在數據交換運行過程中出現異常時進行報警處理，可發送 email 也可進行短信通知。
⑦調度配置：調度配置支持對交換任務各種屬性進行參數限定。主要配置作業的計劃執行時間。調度參數支持 crontab 表達式，能指定到月份、日期、小時、分鐘的粒度，也支持按照星期的方式來進行計劃任務的執行，同時還可通過 crontab 表達式自定義工作日歷。
⑧調度監控：產品提供可視化監控界面，產品提供基于交換作業的語法樹列表，列表的順序需與定義的過程流的執行順序保持一致，列表支持根據名稱進行交換過程的檢索，列表的手工刷新和自動刷新。

（4）運營監控
①系統監控：提供系統概況統計，展示系統使用人數、登錄次數、資源訪問情況等。對系統資源占用情況，也提供監控頁面，直觀展示出 CPU 占用率、內存占用率、活動連接數，及耗時監控。

②作業監控：產品提供了數據交換過程的作業監控功能完成對交換運行環境的管控。作業監控提供交換過程流執行情況的總覽圖，支持圖形運行狀態的手工刷新和自動刷新，圖形的放大、縮小、自動布局操作。圖形中對于不同運行狀態的圖例需要用不同顏色的圖例進行區分。
③監控配置：對于系統自身資源占用，可設置系統占用監控的記錄時間間隔，用于自動收集監控數據。

（5）用戶及權限管理
傳輸交換管理平臺內置了登錄用戶和權限管理模塊。權限設置模板提供了對機構及用戶的添加、刪除、管理等功能，提供了對用戶權限的設置功能，保證了企業級數據的安全性。

權限設置采用可視化的操作界面，只需要在要分配的權限前打勾。不需要編寫任何 SQL 語句，即使非 IT 人士，也能輕松地對用戶進行權限設置。

3、平臺優勢
（1）高適配性
數據交換平臺EsDataExchange提供豐富的數據源接口，除支持主流的數據庫和大數據外，還支持文本文件、 FTP服務、API接口、Web Service服務等多種形態的數據源。支持從多個異構數據源取數，能直接完成跨數據庫的數據關聯取數。

（2）多場景適用
平臺支持多種數據項目類型如數據遷移、數據同步、數據集中、數據共享、數據倉庫等。多種交換策略，定時推送、一次性交換、主動抽取、訂閱等，滿足實時、離線數據交換需求。靈活的體系架構，既可支持集中部署，也可支持分布部署，數據既可選擇落地存儲傳輸，也可以選擇不落地方式傳輸交換。交換源端與目標端靈活配置，源端與目標端多種方式可任意組合。
此外，平臺還可以無縫集成更多功能產品，如元數據管理、數據質量、數據資產等，靈活匹配項目實際需求場景。

（3）強安全性
平臺擁有的數據加密傳輸、斷點續傳、各種脫敏算法、數據權限與功能權限雙重控制，讓數據傳輸更安全可控。全面的運行監控和系統監控，完整的日志追蹤，保障系統穩定，讓交換過程可監管，全方位保障數據交換過程中的安全。

03、典型應用

目前，億信的數據交換管理平臺已成功應用于稅務、衛生、法院、政務、交通、金融等多個行業，幫助眾多客戶解決數據交換、共享、集成難題。

1、佛山某大區政務服務數據管理平臺

基于人口庫、衛計、工商、流管數據，建立區大數據統籌局一庫三部門的統一技術和業務標準；開發區域數據交換平臺，完成三大部門數據的采集、傳輸，以及一庫三部門的交換共享，提供銜接順暢的數據申請、交換服務，并對交換日志數據進行監控分析。為各部門數據應用如自助填表系統、教育無紙化提供了高質量的數據支撐。

?佛山某大區政務服務數據管理平臺架構圖

2、國家衛生部部級數據應用平臺

該項目是由國家衛生部統一籌劃部級數據應用平臺，該平臺以億信數據交換管理平臺為基礎，共享和整合公共衛生服務、衛生資源、醫療服務、人口信息、分級診療、藥政統計、疾病救助等業務數據，滿足了全國各省市衛生統計的個性化數據采集，確保統計數據管理和應用的可持續性。

國家衛生部部級數據應用平臺架構圖

3、農發行數據交換平臺

針對綜合業務系統、信貸、國際結算等源業務系統的數據通過億信數據交換平臺進行統一抽取，通過數據轉義、碼值轉換等實現數據標準化，并將處理后的數據以文件或庫表等形式下發給消費系統。

農發行數據交換平臺架構圖

04、小結

數據是在流通、應用中創造價值的，做好數據交換與共享是數據價值進一步得到激活與發揮的必要條件。億信華辰的數據交換管理平臺EsDataExchange，兼具通用性、易用性、高性能與安全性，讓數據交換管理統一、安全、高效，真正讓數據服務于用戶。