口頭愛人

2022-11-11

數據倉庫和數據湖，是大數據架構的兩種設計取向。兩者在設計的根本分歧點是對包括存儲系統訪問、權限管理、建模要求等方面的把控。

數據湖優先的設計，通過開放底層文件存儲，給數據入湖帶來了最大的靈活性。進入數據湖的數據可以是結構化的，也可以是半結構化的，甚至可以是完全非結構化的原始日志。另外，開放存儲給上層的引擎也帶來了更多的靈活度，各種引擎可以根據自己針對的場景隨意讀寫數據湖中存儲的數據，而只需要遵循相當寬松的兼容性約定（這樣的松散約定當然會有隱患，后文會提到）。但同時，文件系統直接訪問使得很多更高階的功能很難實現，例如，細粒度（小于文件粒度）的權限管理、統一化的文件管理和讀寫接口升級也十分困難（需要完成每一個訪問文件的引擎升級，才算升級完畢）。

而數據倉庫優先的設計，更加關注的是數據使用效率、大規模下的數據管理、安全 / 合規這樣的企業級成長性需求。數據經過統一但開放的服務接口進入數據倉庫，數據通常預先定義 schema，用戶通過數據服務接口或者計算引擎訪問分布式存儲系統中的文件。數據倉庫優先的設計通過抽象數據訪問接口 / 權限管理 / 數據本身，來換取更高的性能（無論是存儲還是計算）、閉環的安全體系、數據治理的能力等，這些能力對于企業長遠的大數據使用都至關重要，我們稱之為成長性。