根據(jù)Starburst聯(lián)合創(chuàng)始人賈斯汀·伯格曼的經(jīng)驗(yàn)，想要讓企業(yè)數(shù)據(jù)架構(gòu)經(jīng)得起時(shí)間的考驗(yàn)，關(guān)鍵之一就是擁抱存算分離。

著名開(kāi)源數(shù)據(jù)庫(kù)TiDB創(chuàng)始人黃東旭在《近十年數(shù)據(jù)庫(kù)流行趨勢(shì)縱覽！存儲(chǔ)計(jì)算分離、ACID 全面回歸......》一文中，也將存算分離放在近年數(shù)據(jù)庫(kù)流行趨勢(shì)的第一位。

Facebook根據(jù)自己的業(yè)務(wù)需求，研發(fā)了一套存算分離的架構(gòu)來(lái)支撐上億用戶產(chǎn)生的大數(shù)據(jù)。各大企業(yè)尤其是互聯(lián)網(wǎng)行業(yè)也都開(kāi)始采取存算分離作為數(shù)據(jù)庫(kù)的解決方案，理論和實(shí)踐都在向我們闡述存算分離的正確性，因此我們想研究?jī)蓚€(gè)問(wèn)題：

為什么存算分離會(huì)成為歷史的必然選擇？

為什么向存算分離的下一代演進(jìn)是大勢(shì)所趨？

想要了解企業(yè)數(shù)據(jù)架構(gòu)向存算分離演進(jìn)的必然性，首先要了解企業(yè)每一次數(shù)據(jù)架構(gòu)變遷的背景和理由。

回顧歷史，我們會(huì)發(fā)現(xiàn)，數(shù)據(jù)架構(gòu)變遷往往是因?yàn)楫?dāng)時(shí)技術(shù)暴露種種缺點(diǎn)，與企業(yè)新的發(fā)展需求不匹配。

這些變遷，最早可以追溯到上世紀(jì)90年代——

20世紀(jì)90年代，一些企業(yè)開(kāi)始部署開(kāi)源數(shù)據(jù)庫(kù)以支持 Web 應(yīng)用程序，因?yàn)槊赓M(fèi)，所以在當(dāng)時(shí)大受歡迎；

進(jìn)入21世紀(jì)初期，開(kāi)始面臨“數(shù)據(jù)多，很難在一臺(tái)物理機(jī)器上分析數(shù)據(jù)”的難題，企業(yè)開(kāi)始采用大規(guī)模并行處理?(MPP)?驅(qū)動(dòng)的新型數(shù)據(jù)庫(kù)系統(tǒng)。

發(fā)展到2010?年前后，因?yàn)樾屡d業(yè)務(wù)的不斷產(chǎn)生，而MPP數(shù)據(jù)庫(kù)缺乏現(xiàn)代分析和數(shù)據(jù)科學(xué)所需的靈活性，企業(yè)再次轉(zhuǎn)向另一種新技術(shù)：Hadoop，即采用節(jié)點(diǎn)本地存儲(chǔ)的設(shè)計(jì)，由此形成計(jì)算和存儲(chǔ)耦合（即存算一體）的架構(gòu)。

同樣地，來(lái)到今天，隨著5G、IoT等技術(shù)不斷發(fā)展，數(shù)據(jù)量激增，存儲(chǔ)空間和計(jì)算能力與數(shù)據(jù)增長(zhǎng)不匹配，存算耦合的缺點(diǎn)也逐漸暴露：

1. 資源利用率低

從節(jié)點(diǎn)本身承接的業(yè)務(wù)來(lái)看，日志留存類的服務(wù)，數(shù)據(jù)很少被調(diào)用分析，因此CPU利用率較低，造成計(jì)算資源浪費(fèi)，而且當(dāng)計(jì)算或存儲(chǔ)達(dá)到瓶頸，服務(wù)器的可靠性也會(huì)大大降低。從集群整體來(lái)看，由于存算一體煙囪式建設(shè)，資源完全獨(dú)立不能共享，導(dǎo)致多個(gè)Hadoop集群無(wú)法隨不同時(shí)段業(yè)務(wù)需求的波動(dòng)而均衡負(fù)載（平均資源利用率在25%以下）。

2. 成本高

當(dāng)存算按某一比例強(qiáng)制綁定在一起，就意味著無(wú)法彈性擴(kuò)容，同時(shí)為保證可靠性，采用三副本模式，造成大集群下高昂的存儲(chǔ)成本。

3. 運(yùn)維困難

隨著業(yè)務(wù)復(fù)雜度的增加和新業(yè)務(wù)上線的速度加快，對(duì)服務(wù)器資源配比的要求也會(huì)隨之增加，如果服務(wù)器款型繁雜，維護(hù)難度就會(huì)增大，同時(shí)導(dǎo)致機(jī)房空間占用多、能耗大。

基于上面的背景分析，存算分離進(jìn)入大家的視野。

可以說(shuō)，存算分離針對(duì)存算一體的弊端進(jìn)行優(yōu)化，為企業(yè)控制成本和提升數(shù)據(jù)運(yùn)行的效率提供了新的思路，具體來(lái)說(shuō)：

1. 提升資源利用率，節(jié)約成本

實(shí)現(xiàn)計(jì)算和存儲(chǔ)彈性擴(kuò)展、按需分配，降低了系統(tǒng)部署和擴(kuò)展成本，同時(shí)將CPU和磁盤(pán)充分調(diào)度起來(lái)，解決了資源利用不均衡的問(wèn)題。

2. 簡(jiǎn)化運(yùn)維，提升可靠性

使用外置共享存儲(chǔ)方便備份恢復(fù)，提高SSD的使用壽命，從而提高數(shù)據(jù)庫(kù)解決方案整體的可靠性，同時(shí)解決運(yùn)維能力不足造成的硬件冗余。

隨著企業(yè)數(shù)字化建設(shè)的深入和業(yè)務(wù)訴求的升級(jí)，如果僅僅滿足于存算分離1.0時(shí)代，還遠(yuǎn)遠(yuǎn)不夠。

如前文所說(shuō)，存算分離1.0時(shí)代的解決方案聚焦成本，解決海量數(shù)據(jù)激增下企業(yè)如何重新定義大數(shù)據(jù)建設(shè)架構(gòu)的問(wèn)題，但仍未解決數(shù)據(jù)鏈路長(zhǎng)、數(shù)據(jù)孤島、數(shù)據(jù)搬遷難等問(wèn)題。

為了應(yīng)對(duì)大數(shù)據(jù)時(shí)代下融合+實(shí)時(shí)分析數(shù)據(jù)的需求，企業(yè)IT架構(gòu)向下一代存算分離演進(jìn)勢(shì)在必行。

當(dāng)傳輸協(xié)議和帶寬能力已不再是IO瓶頸，下一代大數(shù)據(jù)存儲(chǔ)應(yīng)該向湖倉(cāng)一體、一湖多云演進(jìn)，更多以數(shù)據(jù)為中心，聚焦數(shù)據(jù)用得好的問(wèn)題，以數(shù)據(jù)驅(qū)動(dòng)融合分析、統(tǒng)一存儲(chǔ)，進(jìn)一步驅(qū)動(dòng)數(shù)據(jù)價(jià)值實(shí)時(shí)變現(xiàn)。

那么，以數(shù)據(jù)為中心的下一代存算分離，與1.0時(shí)代有什么不同？

首先通過(guò)實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源的單獨(dú)擴(kuò)容，然后將原本分散的數(shù)據(jù)實(shí)現(xiàn)集中存儲(chǔ)，打造統(tǒng)一的數(shù)據(jù)湖（Data lakehouse）。

同時(shí)，實(shí)現(xiàn)一湖多云對(duì)接。新一代數(shù)據(jù)庫(kù)，尤其是分布式數(shù)據(jù)庫(kù)，普遍采用云計(jì)算部署方式。下一代存算分離可以將數(shù)據(jù)存儲(chǔ)保留在本地，將機(jī)器學(xué)習(xí)等計(jì)算資源部署在公有云。這樣既能保證數(shù)據(jù)的安全性，又能實(shí)現(xiàn)計(jì)算的敏捷。

換句話說(shuō)，下一代存算分離方案通過(guò)性能優(yōu)化、元數(shù)據(jù)統(tǒng)一管理，實(shí)現(xiàn)以數(shù)據(jù)為中心的高效跨云協(xié)同、跨云管理。

以華為的OceanStor Pacific為例，作為國(guó)內(nèi)大數(shù)據(jù)下一代存算分離的解決方案先行者之一，在存儲(chǔ)層實(shí)現(xiàn)了原生HDFS語(yǔ)義接口的存算分離方案，打破了傳統(tǒng)大數(shù)據(jù)平臺(tái)計(jì)算存儲(chǔ)的部署架構(gòu)。同時(shí)率先在存儲(chǔ)上支持湖倉(cāng)融合的新興數(shù)據(jù)格式，在下一代存算分離架構(gòu)下，基于一份數(shù)據(jù)支持接數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)同時(shí)訪問(wèn)。提供以業(yè)務(wù)為中心的高彈性大數(shù)據(jù)計(jì)算，以數(shù)據(jù)為中心的高性能海量存儲(chǔ)，用戶無(wú)感知的原生HDFS和S3兼容能力。

據(jù)了解，OceanStor Pacific不僅算力密度在業(yè)界領(lǐng)先30%，而且做到一站式交付、一鍵式部署，可以有效匹配企業(yè)大數(shù)據(jù)快速迭代發(fā)展。

更重要的是，對(duì)不同的行業(yè)和企業(yè)來(lái)說(shuō)，下一代存算分離方案可以真正把技術(shù)落到實(shí)處，發(fā)揮作用。

對(duì)金融企業(yè)來(lái)說(shuō)，這可以提升數(shù)據(jù)共享便捷度，減少數(shù)據(jù)重復(fù)存儲(chǔ)和搬遷，縮短數(shù)據(jù)加工鏈路，大大提高了數(shù)據(jù)分析的效率。

對(duì)政務(wù)平臺(tái)來(lái)說(shuō)，可以從推動(dòng)政務(wù)管理大數(shù)據(jù)向城市運(yùn)行大數(shù)據(jù)演進(jìn)，讓平臺(tái)在辦理業(yè)務(wù)時(shí)可以在不同應(yīng)用間共享數(shù)據(jù)，彈性調(diào)度不同資源，滿足不同時(shí)間段的需求。

對(duì)運(yùn)營(yíng)商來(lái)說(shuō)，使用下一代存算分離解決方案可以降本增效，提高資源利用率，降低運(yùn)營(yíng)成本，實(shí)現(xiàn)全國(guó)算力網(wǎng)絡(luò)統(tǒng)一布局。

根據(jù)鳳凰科技的報(bào)道，中國(guó)聯(lián)通基于華為 OceanStor Pacific 海量存儲(chǔ)的大數(shù)據(jù)平臺(tái)于2020年7月正式上線。承載互聯(lián)網(wǎng)分析、loT、日志等系統(tǒng)15PB的數(shù)據(jù)量，實(shí)現(xiàn)聯(lián)通各省公司2/3/4/5GxDR等數(shù)據(jù)的接入分析，日導(dǎo)入數(shù)據(jù)量超過(guò)70TB，取得了實(shí)質(zhì)性的突破。

其實(shí)，時(shí)代和技術(shù)，始終在進(jìn)步。

企業(yè)也一直向前發(fā)展，需求在不斷更新。

但通過(guò)以上種種分析和舉例，我們至少可以說(shuō)——

為了擴(kuò)大數(shù)據(jù)分析架構(gòu)的規(guī)模、提高數(shù)據(jù)分析的靈活性和敏捷性，存算分離是目前降低數(shù)據(jù)分析成本的第一步，向下一代存算分離演進(jìn)，則是更重要的一步。