口頭愛人

2022-11-11

湖倉一體指的是結(jié)合了數(shù)據(jù)倉庫和數(shù)據(jù)湖的元素而形成的數(shù)據(jù)解決方案。它實(shí)現(xiàn)了數(shù)據(jù)倉庫的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)湖的可管理特性。通常既可以用來做機(jī)器學(xué)習(xí)，也可以用來做BI分析。湖倉一體的特點(diǎn)包括：

（1）統(tǒng)一的數(shù)據(jù)管理：湖倉一體提供完善的數(shù)據(jù)管理能力。數(shù)據(jù)湖中會(huì)存在兩類數(shù)據(jù)：原始數(shù)據(jù)和處理后的數(shù)據(jù)。數(shù)據(jù)湖中的數(shù)據(jù)會(huì)不斷地積累、演化，因此包含以下數(shù)據(jù)管理能力：數(shù)據(jù)源、數(shù)據(jù)連接、數(shù)據(jù)格式、數(shù)據(jù)schema（庫/表/列/行）。同時(shí)，數(shù)據(jù)湖是單個(gè)企業(yè)中統(tǒng)一的數(shù)據(jù)存放場(chǎng)所，因此，還具有一定的權(quán)限管理能力。

（2）多模態(tài)的存儲(chǔ)引擎：湖倉一體本身內(nèi)置多模態(tài)的存儲(chǔ)引擎，以滿足不同的應(yīng)用對(duì)于數(shù)據(jù)訪問需求（綜合考慮響應(yīng)時(shí)間/并發(fā)/訪問頻次/成本等因素）。但是，在實(shí)際的使用過程中，為了達(dá)到可接受的性價(jià)比，湖倉一體解決方案提供可插拔式存儲(chǔ)框架，支持的類型有HDFS/S3等, 并且在必要時(shí)還可以與外置存儲(chǔ)引擎協(xié)同工作，滿足多樣化的應(yīng)用需求。

（3）豐富的計(jì)算引擎：提供從批處理、流式計(jì)算、交互式分析到機(jī)器學(xué)習(xí)等各類計(jì)算引擎。一般情況下，數(shù)據(jù)的加載、轉(zhuǎn)換、處理會(huì)使用批處理計(jì)算引擎；需要實(shí)時(shí)計(jì)算的部分，會(huì)使用流式計(jì)算引擎；對(duì)于一些探索式的分析場(chǎng)景，可能又需要引入交互式分析引擎。隨著大數(shù)據(jù)技術(shù)與人工智能技術(shù)的結(jié)合越來越緊密，各類機(jī)器學(xué)習(xí)/深度學(xué)習(xí)算法也被不斷引入，可以支持從HDFS/S3上讀取樣本數(shù)據(jù)進(jìn)行訓(xùn)練。因此，湖倉一體解決方案提供計(jì)算引擎的可擴(kuò)展/可插拔。

（4）數(shù)據(jù)全生命周期管理：湖倉一體提供一個(gè)企業(yè)中全量數(shù)據(jù)的存儲(chǔ)場(chǎng)所，需要對(duì)數(shù)據(jù)的全生命周期進(jìn)行管理，包括數(shù)據(jù)的定義、接入、存儲(chǔ)、處理、分析、應(yīng)用的全過程。一個(gè)強(qiáng)大的數(shù)據(jù)湖實(shí)現(xiàn)，需要能做到對(duì)其間的任意一條數(shù)據(jù)的接入、存儲(chǔ)、處理、消費(fèi)過程是可追溯的，能夠清楚的重現(xiàn)數(shù)據(jù)完整的產(chǎn)生過程和流動(dòng)過程。