隨著企業的發展，各業務線、產品線、部門都會承建各種信息化系統方便開展自己的業務。

    但隨著信息化建設的不斷深入，由于業務系統之間各自為政、相互獨立造成的數據孤島”現象尤為普遍，業務不集成、流程不互通、數據不共享。這給企業進行數據的分析利用、報表開發、分析挖掘等帶來了巨大困難。

    在此情況下，為了實現企業全局數據的系統化運作管理（信息孤島、數據統計、數據分析、數據挖掘） ，為DSS（決策支持系統）、BI（商務智能）、經營分析系統等深度開發應用奠定基礎，挖掘數據價值 ，企業會開始著手建立數據倉庫，數據中臺。將相互分離的業務系統的數據源整合在一起，建立一個統一的數據采集、處理、存儲、分發、共享中心。

什么是ETL？

    ETL是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據。 ETL是BI項目重要的一個環節。 通常情況下，在BI項目中ETL會花掉整個項目至少1/3的時間,ETL設計的好壞直接關接到BI項目的成敗。
    ETL的設計分三部分：數據抽取、數據的清洗轉換、數據的加載。
一、 數據的抽取（Extract）
    1、確定數據源，需要確定從哪些源系統進行數據抽取
    2、定義數據接口，對每個源文件及系統的每個字段進行詳細說明
    3、確定數據抽取的方法：主動抽取/源系統推送;增量抽取/全量抽取;每日抽取/每月抽取
二、數據的清洗轉換（Cleaning、Transform）
    數據清洗的任務是過濾那些不完整的、錯誤的、重復的數據，將過濾的結果交給業務主管部門，確認是否過濾掉還是由業務單位修正之后再進行抽取。
    數據轉換的任務主要進行不一致的數據轉換、數據粒度的轉換，以及一些商務規則的計算。
三、數據加載

    將數據緩沖區的數據直接加載到數據庫對應表中，如果是全量方式則采用LOAD方式，如果是增量則根據業務規則MERGE進數據庫

ETL的調度

調度維護
    1) 調度系統參數維護，對調度系統的公共參數：期數、進程數、數據日期、本期開始日期和本期結束日期進行設置和修改。
    2) 下傳文件信息維護，維護所有區域的下傳文件名稱、文件狀態、文件數據日期和對應區域的歸屬關系。
    3) 作業步定義與維護，定義作業對應的實際ETL處理過程，生成作業編號，定義作業類型和作業的驅動關系，作業的運行所需要的條件。
    4) 調度異常處理，對調度過程中出現的異常情況進行處理，提供錯誤查找、出錯重跑功能。
日志管理
    1) 調度過程日志，管理記錄調度中的主要過程和異常信息，如調度開始、調度完成、數據庫操作異常和讀寫文件異常的日志。
    2) Job執行日志，管理記錄Job執行信息的日志，提供該日志的查詢、刪除和執行狀態重置功能。
    3) Job詳細事件日志，管理記錄Job執行中的詳細事件（清洗記錄條數、數據庫具體操作情況）的日志，提供對日志的查詢、刪除操作。
作業調度
    正常情況下的作業調度，對整個ETL過程進行調度，提供分段提交處理和自動提交處理功能。

    ETL是實現BI的基礎，因為保證了數據的質量與正確性。如果質量出現問題，最后的報表做出來也是錯的。
    市面上很多商業智能BI工具并不自帶ETL，而是搭配開源ETL。這樣可能會節省一部分費用，但是一旦出現問題就比較麻煩，用戶需要將問題反饋到開源社區等待處理，在等待處理的過程中可能會浪費大量的時間，反而得不償失。億信ABI就是一款自帶ETL的商業智能BI工具。其數據整合功能充分結合了大量項目人員的實施習慣，在整個數據建模的過程中，可以快速創建ETL過程和構建數據模型，操作簡單，敏捷易用，提高效率，降低實施難度。