信息爆炸時代，海量信息給人們帶來許多負面影響，最主要的就是有效信息難以提煉，過多無用的信息必然會對有效信息產生干擾和有用知識的丟失。因此，人們迫切希望能對海量數據進行深入分析，發現并提取隱藏在其中的信息，以更好地利用這些數據。

為了發現數據中存在的關系和規則，根據現有的數據預測未來的發展趨勢以及挖掘數據背后隱藏知識，數據挖掘技術應運而生。

數據挖掘的定義

數據挖掘是一個通過統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別等諸多方法來實現從大量的數據中通過算法搜索隱藏于其中信息的過程。獲取的信息和知識可以廣泛用于各種應用，包括商務管理、生產控制、市場分析、工程設計和科學探索等。

數據挖掘的步驟

一、確定挖掘對象
數據挖掘的對象可以是任何類型的數據源?？梢允顷P系數據庫，此類包含結構化數據的數據源；也可以是數據倉庫、文本、多媒體數據、空間數據、時序數據、Web數據，此類包含半結構化數據甚至異構性數據的數據源。因此，首先要根據業務需求確定挖掘對象。
二、數據準備
首先，搜索所有與業務對象有關的內部和外部數據信息,并從中選擇出適用于數據挖掘應用的數據；然后，研究數據的質量,為進一步的分析作準備.并確定將要進行的挖掘操作的類型；再將數據轉換成一個分析模型.這個分析模型是針對挖掘算法建立的.建立一個真正適合挖掘算法的分析模型是數據挖掘成功的關鍵.
三、數據挖掘
選擇合適的挖掘算法對所得到的經過轉換的數據進行挖掘。
四、可視化分析
根據數據挖掘方法，使用可視化技術解釋并評估結果。
五、建立知識圖譜
將分析所得到的知識集成到業務信息系統的組織結構中去.

在數據挖掘經常需要數據集成合并來自多個數據存儲的數據，存放在一個一致的數據存儲中，這些數據源可能包括多個數據庫。數據集成有助于減少結果數據集的冗余和不一致，提高后續挖掘過程的準確性和速度。

數據集成的定義

數據集成就是將若干個分散的數據源中的數據，邏輯地或物理地集成到一個統一的數據集合中。數據集成的核心任務是要將互相關聯的分布式異構數據源集成到一起，使用戶能夠以透明的方式訪問這些數據源。集成是指維護數據源整體上的數據一致性、提高信息共享利用的效率；透明的方式是指用戶無需關心如何實現對異構數據源數據的訪問，只關心以何種方式訪問何種數據。實現數據集成的系統稱作數據集成系統(見下圖)，它為用戶提供統一的數據源訪問接口，執行用戶對數據源的訪問請求。

數據集成系統模型

數據集成方法

中間件集成方法是目前比較流行的數據集成方法，中間件數據集成系統主要包括中間件和封裝器，其中每個數據源對應一個封裝器，中間件通過封裝器和各個數據源交互。用戶在全局數據模式的基礎上向中間件發出查詢請求。中間件處理用戶請求，將其轉換成各個數據源能夠處理的子查詢請求，并對此過程進行優化，以提高查詢處理的并發性，減少響應時間。封裝器對特定數據源進行了封裝，將其數據模型轉換為系統所采用的通用模型，并提供一致的訪問機制。中間件將各個子查詢請求發送給封裝器，由封裝器來和其封裝的數據源交互，執行子查詢請求，并將結果返回給中間件。

    佛山某區政務服務數據管理局為了解決存在的痛點，主要建設以下內容：

1. 優化數據架構，替換交換平臺；
2. 建設數據治理平臺，提升數據質量
3. 助力無紙化改革，優化無紙化入學方案
4. 數據可視化管理

運用億信華辰數據集成管理系統取得了顯著成效：

1. 由政務服務數據管理局大數據中心對接教育局報名數據和各部門數據，減少教育局對接工作；
2. 建設數據治理平臺，將所對接的問題數據進行治理，提升數據質量；
3. 優化數據比對算法，將教育局報名數據和各部門數據進行智能匹配，提升數據比對率；
4. 政務服務數據管理局將比對結果反饋到教育局，完成核實與錄取過程，將對接和比對的工作量完全交給系統，徹底解放人工工作量。