口頭愛人

2022-11-11

近幾年，數據湖和數據倉庫的應用場景和分界還是很清晰的。數據倉庫擅長的BI、數據洞察離業務更近、價值更大，而數據湖里的數據，更多的是為了遠景。但是隨著數據處理技術的發展以及AI的廣泛應用，原來為畫餅準備的數據湖里的數據得以重見天日，其價值被重新定義。這就是湖倉一體化。

如今對數據價值的深度挖掘成了行業客戶普遍關注的熱點，所以很多人就想能不能把數據倉庫和數據湖的價值進行疊加，讓數據流動起來，減少重復建設。比如，讓“數倉”在進行數據分析的時候，可以直接訪問數據湖里的數據。再比如，讓數據湖在架構設計上，就“原生”支持數倉能力。

正是這些想法和需求，推動了數倉和數據湖的打通和融合，也就是當下炙手可熱的概念：Lake House，現在也叫智慧湖倉。智慧湖倉架構最重要的一點，是實現“湖里”和“倉里”的數據/元數據能夠無縫打通，并且“自由”流動。湖里的“新鮮”數據可以流到倉里，甚至可以直接被數倉使用，而倉里的“不新鮮”數據，也可以流到湖里，低成本長久保存，供未來的數據挖掘使用。

在湖倉一體化架構下，以下場景得以實現：

可以將數據湖中最近幾個月的“熱數據”抽取到數倉中；
可以輕松將大量冷門歷史數據從數倉轉移至成本更低廉的數據湖內，同時這些移到湖里的數據，仍然可以被數倉查詢使用；
處理數倉內的熱數據與數據湖中的歷史數據，生成豐富的數據集，全程無需執行任何數據移動操作；
生成的新數據集可以插入到數倉中的表內，或者直接插入由數據湖托管的外部表中。
在實際業務場景中，數據的移動不只是存在于數據湖和數據倉庫之間，可以簡單歸納為三種，一種是由外向內的數據入湖，第二種是由內向外的數據出湖，第三種是圍繞數據湖數據在數據服務組件之間流動。數據越多，管理和治理起來就越困難，就會形成所謂的“數據重力”現象。湖倉一體化不僅需要把數倉和數據湖集成起來，還要克服數據重力，讓數據在服務之間按需流動。

湖倉一體化也好，智能湖倉也好，并非單一產品，它描述的是一種架構。這套架構，以數據湖為中心，把數據湖作為中央存儲庫，再圍繞數據湖建立專用“數據服務環”，環上的服務包括了數倉、機器學習、大數據處理、日志分析，甚至RDS和NOSQL服務等等。