霸道妹子

2022-08-26

數據治理從本質上看就是對一個機構（企業或政府部門）的數據從收集融合到分析管理和利用進行評估、指導和監督（EDM）的過程， 通過提供不斷創新的數據服務， 為企業創造價值。
DGI（Data Governance Institute，數據治理研究所）認為，企業不僅需要管理數據的系統，更需要一個完整的規則系統以及規章流程。數據治理基本上涵蓋了企業所有與數據有關的內容，因此在整個企業范圍內，包括工作流程、涉及人員和使用的技術等等，都需要經過仔細考量，以保證數據的可用性、一致性、完整性、合規性、和安全性，確保在整個數據生命周期中，都具有較高的數據質量。
總體來說，數據治理的目標就是提高數據質量，將數據價值最大化。具體而言，數據治理的任務包括以下幾點：
● 構筑適配靈活、標準化、模塊化的多源異構數據資源接入體系；
● 建設規范化、流程化、智能化的數據處理體系；
● 打造數據精細化治理體系、組織的數據資源融合分類體系；
● 構建統一調度、精準服務、安全可用的信息共享服務體系。

從技術實施角度看，數據治理包含“理”“采”“存”“管”“用”這五個步驟，即業務和數據資源梳理、數據采集清洗、數據庫設計和存儲、數據管理、數據使用。

數據資源梳理：數據治理的第一個步驟是從業務的視角厘清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以數據庫、網頁、文件和 API 接口形式存在的數據項資源，本步驟的輸出物為分門別類的數據資源清單。

數據采集清洗：通過可視化的 ETL 工具將數據從來源端經過抽取 (extract)、轉換 (transform)、加載 (load) 至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設：一般情況下，可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基于業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那么基礎庫和主題庫的建設就是在對業務理解的基礎上，基于易存儲、易管理、易使用的原則抽像數據存儲結構，說白了，就是基于一定的原則設計數據庫表結構，然后再根據數據資源清單設計數據采集清洗流程，將整潔干凈的數據存儲到數據庫或數據倉庫中。