日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

手把手系列:常用數據交換方案之RESTful接口處理

時間:2021-01-12來源:知乎瀏覽數:702

隨著技術的發展與互聯網的普及,除了傳統的庫表、文件方式之外,API接口也成為一種常用的交換方式。于是乎,越來越多的項目存在這樣的接口數據處理需求,而接口形式千差萬別常常需要定制開發,項目進度難以保證。有了億信華辰EsDataExchange數據交換管理平臺你就不怕了,它有一套完整的HTTP組件來處理,既支持自定義輸入參數形式,如:XML、JSON等格式,也支持將返回值按格式解析后落地到目標庫。

下面我們以口行外部數據管理平臺為例,進行簡單介紹。
一.整體流程
案例整個數據處理流程為:
1、從小微ftp服務器上獲取請求接口所需要的參數文件(下載文件保存至本地)
2、參數文件為json格式,需要對其進行解析才能獲取到接口需要的入參
3、使用解析完的輸入參數請求接口,將接口返回數據進行解析
4、將解析結果數據入庫,同時生成對應的文件上傳至小微ftp服務器。

二.功能設計
整個處理流程分為以下幾個步驟:

1、利用ftp下載組件從小微的ftp服務器上下載參數文件,ftp服務器相關信息可在數據源中進行配置,支持ftp和sftp兩種協議。

配置了ftp服務器信息之后,可以使用ftp下載組件下載ftp服務器上的文件,只需要選擇指定的ftp服務器,設置好源文件(夾)的路徑(ftp服務器)和目標文件夾(本地)即可

2、利用json解析組件解析分析下載的參數文件,并將數據入庫(連接表輸出)
本組件重要的設置為父級屬性名,這個設置的是否正確會直接關系到后續結果的正確性,可根據示例進行調試理解。字段列表根據json中的屬性名來提取即可

3、有些接口可能需要對數據進行加密處理,需要用加解密組件來完成,本處理流程需要進行加密處理。組件設置較為簡單,選擇需要加密的字段,設置算法類型和秘鑰,輸出字段列表可以拾取前置組件的字段,將其數據完整帶到后面

4、利用HTTP接口組件進行接口請求,接口相關信息可以在數據源中進行配置

HTTP接口組件支持header設置,參數設置,參數設置支持使用常量,宏和字段三種方式,同時支持無參數名的參數請求方式(此方式限定輸入參數只有一個無參數名的參數),輸出字段列表同時可以拾取前置組件字段將其數據帶到到后面

5、接口返回的參數也是進行加密的,需要進行解密處理,解密同加密處理,使用加解密組件,方式選擇解密即可,輸出字段設置同加密操作

6、對接口返回的接口進行解析入庫處理,解析使用json解析組件,入庫使用表輸出,處理操作同解析參數文件(區別在于解析參數文件的json來源是文件,此處 json來源為字段)。

7、將接口返回接口生成指定格式文件,利用groovy腳本組件來處理,根據生成文件格式需要編寫腳本代碼,生成本地文件

8、將生成的文件上傳至小微ftp服務器,使用ftp上傳組件,組件設置同ftp下載組件,選擇指定ftp服務器,設置ftp服務器路徑和本地文件路徑

最后的整體處理流程如下:


從上述操作可以看出,對于API接口的數據接入以及加解密處理,EsDataExchange數據交換管理平臺有完整且強大的解決方案。接口處理相關組件從最初的的單個HTTP接口組件逐步擴展到現在,功能越來越全面。在之后的開發過程中,還將擴展各種API接口處理組件,功能會更加強大!

除了接口組件,EsDataExchange數據交換管理平臺還提供了各種各種的交換處理組件,多達60+種,容納多種多樣數據格式,提供豐富數據處理與交換任務設計,提供可視化數據交換監控,是一款統一、安全、高效的全局數據共享交換平臺,歡迎前去官網體驗試用。
(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢