隨著數據體量的增長,大數據處理、大
數據應用分析的門檻逐漸提高,社會普遍開始重視數據安全和隱私。目前,數據交換共享平臺已成為政府和企業在系統開發建設中的常規需求,制定相關數據規范和信息交換標準正在提上日程,如何結合區塊鏈的技術與管理方式,確保系統之間的互聯互通、數據共享,為
大數據分析提供數據依據,已成為一個全新的命題。
企業對數據服務的需求日趨迫切,如何有效的管理數據、高效的提供數據服務是目前企業對所面臨的關鍵挑戰。數據交換能夠有效集成各業務系統中的結構化數據、半結構化數據、非結構化數據,結合區塊鏈技術與管理方式,能夠更有效地對數據進行權屬界定與溯源,提升
數據質量,對于企業來說,也是數據對外服務可信的起點。
1、數據交換的背景
大部分企業通過多年的信息化建設和運營,已經建立了完善的業務應用系統,有效的支撐了核心業務的創新和發展,但隨著應用系統的增多,數據量和數據應用環境增大,在對這些數據進行使用的過程中,數據有效交互和共享問題逐漸凸顯,主要表現在
數據標準不統一、數據質量參差不齊、核心業務數據無法溯源、數據的準確性和及時性較低等方面。企業急需通過建立底層
數據集成交換平臺來聯系橫貫整個企業的異構系統、應用、數據源等,完成在企業內部的ERP、CRM、SCM、數據庫、
數據倉庫,以及其它重要的內部系統之間無縫的共享和交換數據。

2、數據交換過程
數據交換依托于元數據,數據交換的本質是基于元數據的交換。元數據是關于數據、操縱數據的數據和數據庫系統的結構和意義的描述信息,重要目標就是提供數據資源的全面指南。元數據不僅定義了數據交換中的數據模式、來源以及抽取轉換規則等,而且整個數據交換系統的運行都應該是基于元數據的,是元數據把數據交換系統中各個松散的組件聯系起來,組成了一個有機的整體。
通過自動化工具對半結構化和結構化數據自動采集形成技術元數據,在經過業務部門的信息資源梳理,將技術元數據與業務元數據關聯,編制部門數據資源目錄,摸清信息資源有什么、在哪里,提高信息資源共享程度,建立信息資源共享機制和管理制度。
?
形成數據資源目錄的過程需要技術部門與業務部門進行配合完成,企業數據是否有對外應用價值也取決于數據的可信程度,在企業內部進行數據梳理的開端進行數據源、部門職責權屬、操作記錄等關鍵信息的上鏈存儲,對內能夠有效實現數溯源與關聯分析,對外能夠更取信用戶,實現
數據價值的變現。
3、數據交換方式
數據交換的方式一般是根據數據的類型來進行區分,如結構化或半結構化的數據可通過ETL的數據交換方式進行,非結構化的數據像壓縮文件、電影、圖片等采用文件傳輸的方式進行交換,而對于一些實時性較高的交換一般采用restfull、webservice等接口形式進行。通過對(半)結構化數據和非結構化數據交換方式的技術分析,區塊鏈完全可以嵌入數據交換這一過程,將數據可信程度進一步提高。
1、(半)結構化數據交換
結構化和半結構化數據交換主要有:時間戳同步(庫表中時間戳對比獲取源數據庫的增量數據)、CDC增量同步(數據庫日志信息分析來捕獲復制對象的變化序列)、觸發器同步(數據庫中設置觸發器觸發獲取變化數據)、全文比對同步(不同時間點對比數據表獲取差異)、全量同步(一次性直接抽取)。這些同步方式除了全量同步,其他幾種都需要業務表有主鍵,同時也都能夠支持斷點續傳。
?
更進一步,這些同步方式也大都可以嵌入區塊鏈的
數據存儲方式,時間戳是區塊鏈加密算法中的一部分,日志信息可以進行摘要存儲,觸發器的原理與智能合約一致,因此,從技術細節與原理上來講,數據交換與區塊鏈有共通之處,所需改變的是區塊鏈的多節點的存儲與管理架構。
2、非結構化數據交換
以前的非結構化的數據交換,常常使用網盤或者FTP傳輸文件時,尤其是大文件,容易出現中斷,嚴重影響工作效率和業務。當前更多采用數字簽名、時間戳、報文加密的方式對傳輸的消息進行完整性驗證、對消息發送者進行身份驗證,防止消息在傳輸過程中被以插入、刪除、調換或修改等方式篡改。
這些數據傳輸方式與區塊鏈分對稱加密所能達到的效果基本一致,技術細節也基本統一。
?
3、實時數據交換
打破信息壁壘和信息孤島,實現統一高效、互聯互通、安全可靠的數據資源體系,實時數據交換是推動信息跨部門跨層級共享共用數據中心的重要環節。實時數據交換適用于對于數據時效要求快速、高頻度、少量數據傳輸的場景。實時數據交換通過將數據中心庫中的數據快速的發布出來提供給外部系統共享調用,同時能夠監控外部調用數據的情況提升數據的價值。

4、展 望
隨著數據交換在企業中越來越受到重視,企業將不僅僅局限于只對數據進行簡單的交換與集成,而是通過數據交換打造出了自己的數據中臺和數據共享平臺,創建了在各個業務系統之間的數據高速公路使原先的數據孤島,變成數據倉庫、
數據集市有效的對數據進行管理和應用,通過對數據的加工、分析和共享提升了數據的價值。
?
但是數據在對外提供應用時,總是會受到客戶的數據可信性的質疑,將區塊鏈的技術路線與管理思想與數據交換進行結合,從更底層上為數據打上不可篡改、可追溯的標簽,能夠為企業數據資產變現提供更多支撐,將數據可信程度向著數據源端更邁進一步。而隨著區塊鏈技術的不斷發展與應用的成熟,區塊鏈將更加深入地嵌入到原有的數據管理技術體系中,支撐企業數據管理的資產價值變現。
(部分內容來源網絡,如有侵權請聯系刪除)