口頭愛人

2022-11-11

數據湖是一類存儲數據原始格式的系統。它通常是企業中全量數據的單一存儲。全量數據包括原始系統所產生的原始數據拷貝以及為了各類任務而產生的轉換數據，各類任務包括報表、可視化、高級分析和機器學習。數據湖中包括來自于關系型數據庫中的結構化數據、半結構化數據、非結構化數據和二進制數據等。相比數據倉庫，數據湖具有以下特征：

（1）保真性：數據湖中必須要保存一份原始數據，無論是數據格式、數據模式、數據內容都不應該被修改。

（2）靈活性：在假設沒辦法預估業務變化的前提下，直接保持數據的原始狀態，一旦需要時，再根據需求對數據進行加工處理。

（3）可管理：數據湖中的數據會不斷地積累、演化。因此，對于數據管理能力要求也很高。它至少應該包含的數據管理能力包括：數據源、數據連接、數據格式、數據模式，數據權限等。

（4）可追溯：數據湖是一個企業中全量數據的存儲場所，需要對數據的全生命周期進行管理，包括數據的定義、接入、存儲、處理、分析、應用的全過程。它需要能做到對其間的任意一條數據的接入、存儲、處理、消費過程是可追溯的，能夠清楚地重現數據完整的產生過程和流動過程。