最近幾年，很多大甲方們，在“搞數據”這件事上，都特別上心。大家都看到了數據的價值。

可是，越上心往往就越傷心。

大家搞數據的過程，都很不順。

比如，最開始用“數倉”的那波人，逐漸覺得數倉太傳統，尤其現在非結構化數據量上來了，于是大家紛紛開建數據湖，搞中心存儲庫。

挖好湖，囤上數據，卻發現泥沙俱下，數據治理和分析又是新問題，一不留神容易搞成數據沼澤。

然后又有人說，“湖倉一體”才是新方向呀，魚和熊掌可以兼得。于是大家又開始跟風站隊LakeHouse。

接著又刮起風來說，數倉、湖倉什么的，都只不過是工具，要想成事兒，還得有一套“搞數據”的方法論來指導和統籌，數據中臺就是這套方法論。

后面的事你們都知道了，數據中臺建得熱火朝天。

“建倉、挖湖、搭臺”，一頓操作猛如虎，數據囤了千千萬，預算花了萬萬千，可急等的分析結果還是慢吞吞，想要的數據還是拿不到。

比如，老板突然提了個臨時的分析需求，現在立刻馬上，說要就要~

喵工手忙腳亂，犧牲大量摸魚時間，累了個半死，出來的結果分分鐘把老板惹毛。

老板常感慨花了這么多錢，建倉修湖搭臺，換來的卻是效率低、運維累、成本高，空有一堆數據，一大半需求都滿足不了。

Why？大家都忙著追逐各種新技術了，背后的道理卻始終沒參透↓

其實，“湖、倉、臺”都是數據基礎設施，也都各有先進性和適用場景，但要把他們用好，離不開一系列關鍵的“管道”系統，來保障流暢地取數、匯數和用數。

這些“管道”，以前靠的是ETL相關技術。可是現在的業務場景和數據規模，ETL卻成了最大的瓶頸，大甲方們“吃虧上當”的核心，就是ETL沒理順。

這鍋，ETL必須要背。

一、 為啥ETL成了大冤種？

我們先來簡要了解下，ETL到底是個啥，鍋是怎么背上的。

ETL不是啥新事物，早在數倉流行的時代，這個概念就有了，它指的是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的流程。

在“遠古數倉”時代，這流程沒啥毛病，滿足大部分BI需求綽綽有余，一切歲月靜好。

可是這幾年，數據量大爆發，尤其非結構化數據噌噌噌地上來了，同時數據分析的需求和應用場景，也變得極其復雜。

此時的ETL，無論管道的源頭，還是終點，都發生了翻天覆地的變化。

數據類型更復雜、數據源更多、數據量更大。為了應對各種高頻的、隨機的海量數據聯合分析需求，數據需要在倉、湖、OLAP數據庫之間來回搬運…

ETL“管道”越建越復雜，成本高昂，工作量巨大。

負責整個流程的ETL工程師，就像管道工，每天忙著：設計管道、搭建管道，維護管道。

以前他們很輕松，現在完全被顛覆了，你來感受下管道工們的日?！?

看完喵工的遭遇你明白了吧。

現實的狀況就是這樣：數據管道不斷增長治理困難，搭建管道人手不足心力交瘁，查詢性能無法追趕業務變化。

傳統ETL鏈路因此被貼上了“浪費大，交付慢”的標簽，導致用數方和供數方彼此都不滿，互相甩鍋。

而這其中，背鍋壓力最大的，自然是負責ETL工作的水管工們，不是他們不努力，而是工具不給力！

二、 不用ETL行不行？

既然我們破案了，知道真正拉胯的是ETL，那么不用ETL行不行？

我們不妨來瞅瞅，一種新的技術理念——NoETL是怎么玩的。

所謂“NoETL”，是指在數據處理和分析環節，無需搭建復雜ETL鏈路即可靈活分析所有數據，以更低的成本、更迅速地做出更好的業務決策。

通過NoETL，分析師無需掌握ETL技能，不必等待漫長排期，隨時可以對全域數據開啟自助分析與洞察。

乍一聽有點扯，這么復雜的ETL流程，咋能說沒就沒了呢？

其實細想也不奇怪，ETL本來就是“上古數倉時代”的東西，在新技術橫行的當下，光與時俱進是不夠的，的確需要來點顛覆性的改變了。

而NoETL的橫空出世，正是要將傳統ETL的繁雜流程逐一擊破，由系統自動完成管道編排與鏈路優化，分析師能夠自助用數。

對于廣大數據使用者和數字化決策者來說，NoETL可以滿足大家的三個愿望。

1、No Pipelines。

去管道，無需關心數據位置，再多的數據源也不怕。

2、No Tasks。

免運維，無需操心任務運維，再多的需求也能從容處理。

3、No Cubes。

自優化，無需手工設計加速方案，再大的數據量也能獲得良好的查詢響應。

怎么樣，如此變革性的數據分析鏈路，是不是令人振奮....且有點假？

ETL畢竟用了這么多年，NoETL真能奪了權？聽我慢慢道來

NoETL究竟能不能落地？

有一家公司，叫做Aloudata，他們在國內首推NoETL湖倉平臺，仔細看看，很有意思。

Aloudata的這套神器，包含兩個重要的組件：AIR和BIG。

AIR是全場景自適應的彈性SQL引擎，而BIG則是基于行為智能的主動元數據管理平臺。

兩大引擎相互配合，就能讓ETL鏈路整一個脫胎換骨，easy到親媽都不敢認。

那么，這套從數據連接、數據整合再到數據消費的新路徑，到底靠譜么？我這里準備了靈魂三問↓↓↓

“無需關心數據位置”咋做到？

Aloudata通過湖倉查詢引擎和數據虛擬化技術，實現多源異構數據查詢和透明數據集成，也就是無管道化（No Pipelines）。

說白了，大部分數據不用搬，用AIR引擎可以直接查，控制了數據管道的無序增長。

BI分析師和AI數據科學家們，終于擺脫了對ETL數據工程師（管道工）的單向依賴。

他們不需要再關心數據實際存放位置，直接通過SQL定義彈性數據集，就能夠自助對全域數據進行獲取和分析。

“無需操心任務運維”咋做到？

Aloudata實現了透明的數據集成和數據更新，可基于上游數據變化和數據集定義，智能推斷業務日期并生成數據更新任務，完成數據自動更新。

此外，Aloudata通過對用數行為的收集和觀察，實現了數據鏈路的全局智能編排，能夠對重復、相似計算進行自動合并，對無效、低頻、低價值的數據生產任務進行降權或下線，以"銷"定產，極大地降低了成本浪費。

從此，無需人工任務運維（No Tasks），省就一個字！

“無需擔心查詢性能”咋做到？

Aloudata基于獨創的關系投影物化加速技術，實現了全場景、算子級的查詢加速，無論是在數據探索、數據準備、多維分析還是在指標服務或是報表訪問階段，任何查詢都可被系統透明加速。

不僅如此，基于BIG對用戶查詢行為的觀察和挖掘，AIR還實現了自適應的關系投影構建。

這樣，用戶無需設計諸如Cube等加速方案，也無需為不斷變化的數據需求而疲于調整，即可獲得最佳查詢性能體驗。

這樣一來，分析師無需再擔心查詢性能，只管專心去整業務分析與洞察。

一起來總結下，Aloudata實現NoETL的關鍵就是這仨No：

No pipelines 零等待全域分析；

No Tasks 全自動數據更新；

No Cubes 自動化查詢加速。

一切都是為治愈ETL之痛而來，一切都是剛剛好，咱就是說，一No到底~

對了，Aloudata已經幫助多家國內頂級金融機構完成了向NoETL的穩步過渡，將業務取數、用數、看數效率從周級縮短到了天級，并實現了高性能、低時延的報表看數體驗，實現了數據交付效率10倍提升，獲得了一半以上綜合成本節約，真正做到“又快又省”。