跨行業數據挖掘標準流程（CRISP-DM）把完整的數據挖掘過程定義為六個標準階段，分別是業務理解、數據理解、數據準備、創建模型、模型評估和模型應用。

其中，數據準備是數據挖掘流程中的一個重要環節。具體工作主要包括清理、規約、轉換、抽樣等一系列的預處理工作，提高數據的質量，使得數據挖掘算法可以更高效的執行以及獲得更加有效的結果。

為什么要預處理數據

有些小伙伴可能會問，我的數據有現成的，為什么還要預處理數據，不能直接拿來進行數據挖掘嗎？回答是，當然能。但是，現實往往是殘酷的！

1. 現實世界的數據是骯臟的（不完整，含噪聲，不一致）。

2. 沒有高質量的數據，就沒有高質量的挖掘結果。

3. 原始數據中存在很多問題，

• 不一致 ： 數據內部出現不一致情況

• 不正確：輸入的數據不符合字段的有效值

• 不準確：數據可能是正確的，但是不準確

• 重復數據：重復輸入的數據

• 不完整 ：感興趣的屬性值沒有

• 含噪聲：數據中存在著錯誤、或異常（偏離期望值）的數據

• 高維度：存在信息冗余的多個屬性。

• 違反業務規則： 例如起始日期大于截止日期等情況

有哪些數據預處理方法

常用的數據預處理方法可以歸納為四個方面。

數據清理

• 缺失值處理：數據中的缺失值會影響挖掘的正常進行，造成挖掘結果不正確。對較大比例的缺失值可以進行忽略處理，少量的缺失值可以采用最大、最小、均值、中位數、自定義表達式等方式進行填充。

• 數據集成與過濾：用于去除冗余數據、進行重復值檢測、編碼一致性、數據一致性等。

數據規約

• 維規約：減少所考慮的隨機變量或屬性的個數（主成分分析PCA）。

  例如，一個汽車數據的樣本，里面既有“千米/每小時”的速度特征，也有“英里/小時”的速度特征，顯然有一個多余，需要消除冗余的特征。

• 數量規約和壓縮：用替代的、較小的數據表示形式替換原數據。

  例如，不同年份的數據特征基本一樣，可以只保留一個年份的數據進行挖掘。

數據變換

• 屬性構造：從給定屬性構造新的屬性，或者將屬性類別進行變換，輔助數據挖掘過程。

  例如根據月收入和獎金等屬性可以構造出年收入，便于用來預測年收入。

• 歸一化：將不同度量方式的數據放在同一個度量體系中進行比較。

  比如通過min-max標準化方法來求某個字段A的新值，然后進行比較分析。歸一化是為了后面數據挖掘算法的方便，保正程序運行時收斂加快，提高挖掘的精度。

• 標準化：數據的標準化是將數據按比例縮放，使之落入一個小的特定區間。可以通過z-score方法對原始數據的均值（mean）和標準差（standard deviation）進行數據的標準化，同時不改變原始數據的分布。在某些比較和評價的指標處理中經常會用到，去除數據的單位限制，將其轉化為無量綱的純數值，便于不同單位或量級的指標能夠進行比較和加權。

• 離散化：也叫分箱，將數值屬性的原始值用區間標簽或概念標簽進行替換。

  如年收入數據，可以通過2-3W、3-5W等區間符號標識，也可以用高收入、中等收入、低收入進行離散化。

數據抽樣

通過數據抽樣來減少用于挖掘的數據量或者從一個大型數據集中提取大小固定的樣本。

• 隨機抽樣：按一定比例或者固定行數從總體中隨機的抽取樣本。

• 分層抽樣：將總體數據分成若干組或者分層，然后從分層中按比例或者固定個數抽取樣本。如果數據按層分布的特征比較明顯，可以采用分層抽樣，減少隨機抽樣造成的信息丟失。

如何進行數據預處理

進行數據預處理的一般流程為：

我們在網上找到了泰坦尼克乘客數據集（該數據集被評為五大最適合數據分析練手項目之一），想對該數據集進行乘客是否存活的分類挖掘（下期為大家介紹）。

小編將為大家介紹如何利用億信華辰WonderDM的可視化數據探索和預處理功能，提高泰坦尼克乘客數據集的質量，便于后續的挖掘。

上圖是泰坦尼克乘客數據集導入后的所有字段，可以看到數據集有12個字段（特征），除了Survived（表示是否獲救）外，其他是乘客的信息，為方便識別，我們利用WonderDM為每個字段加了中文標題。

數據探索

WonderDM數據探索提供圖表與圖形幫助理解數據集統計信息。

泰坦尼克乘客數據集一共有891條記錄，其中Age，Cabin和Embarked三個字段有缺失值，為了準確的挖掘，該數據集有下面幾個問題需要處理：

缺失值字段的處理

• Cabin字段缺失值占比太高，后續不納入數據挖掘過程。

• Age字段缺失值較少，且數據呈正態分布，考慮用平均值填充缺失值。

字段離散化

• 要按年齡段分析獲救人員情況，需要要將Age字段按年齡段分組為少年兒童、中青年、老年人。

值替換

• 要進行分析的Survived字段用1和0分別表示是否獲救，不夠直觀，需要替換為更為直觀的 Yes和No。

數據處理

WonderDM提供了一些簡便易懂的可視化數據預處理方式，能夠完成不同的數據預處理工作。

先用WonderDM創建一個自定義數據集，在這個新數據集上進入”數據預處理”，通過“添加操作”菜單，添加需要的數據預處理操作。

一、設置數據源，選擇創建的titanic數據集對應的表。

二、添加“值替換”，將Age字段空值替換為平均值。

三、 添加“離散化”，對Age字段離散化，分為三個年齡段，離散化后的字段名為AGE_GRP。

四、 離散化后的AGE_GRP字段值不直觀，則添加“值替換”進一步替換為“少年兒童”，“中青年”，“老年”。

五、將Survived字段值替換為Yes和No。由于原字段是邏輯型，需增加一個字符型字段存放Yes和No，在界面上添加一個“添加字段”，輸入相應的轉換表達式。

最后，一份完整的數據預處理過程列表見下圖，WonderDM還提供拖拽操作，調整各項操作的執行順序，用戶可點擊主界面上的“運行”按鈕開始數據預處理工作。

最終處理好的數據集如下圖所示，Age字段空值采用了平均值填充，離散化后的字段AGE_GRP采用了明確的年齡分組信息，IS_SURVIVED分別用Yes和No表示是否獲救。

至此，我們完成了一個數據處理工作，使用億信華辰WonderDM可視化的數據預處理操作過程也非常方便易懂。