2021 年起，有一件事已是不可逆的趨勢 ——未來商業世界里，大部分公司，都需要擁有駕馭數據的能力，學會用數據做精細化運營，利用數據驅動業務的增長。

所以，數據崗位，是未來 5 年內，無論什么行業都有持續需求、非常值得深扎的方向。

今天，小編就來給大家科普一下數據崗位：定義、工作流程、進階方向、價值......

目錄：

數據分析

數據產品經理

ETL

BI

什么是數據分析：

數據分析是基于商業目的，有目的的進行收集、整理、加工和分析數據，提煉有價信息的一個過程。

數據分析工作流程：

其過程概括起來主要包括：明確分析目的與框架、數據收集、數據處理、數據分析、數據展現和撰寫報告等6個階段。

明確分析目的與框架

一個分析項目，你的數據對象是誰？商業目的是什么？要解決什么業務問題？數據分析師對這些都要了然于心。

基于商業的理解，整理分析框架和分析思路。例如，減少新客戶的流失、優化活動效果、提高客戶響應率等等。不同的項目對數據的要求，使用的分析手段也是不一樣的。

數據收集

數據收集是按照確定的數據分析和框架內容，有目的的收集、整合相關數據的一個過程，它是數據分析的一個基礎。

數據處理

數據處理是指對收集到的數據進行加工、整理，以便開展數據分析，它是數據分析前必不可少的階段。這個過程是數據分析整個過程中最占據時間的，也在一定程度上取決于數據倉庫的搭建和數據質量的保證。

數據處理主要包括數據清洗、數據轉化等處理方法。

數據分析

數據分析是指通過分析手段、方法和技巧對準備好的數據進行探索、分析，從中發現因果關系、內部聯系和業務規律，為商業目提供決策參考。

到了這個階段，要能駕馭數據、開展數據分析，就要涉及到工具和方法的使用。其一要熟悉常規數據分析方法，最基本的要了解例如方差、回歸、因子、聚類、分類、時間序列等多元和數據分析方法的原理、使用范圍、優缺點和結果的解釋；其二是熟悉多種數據分析工具，Excel是最常見，一般的數據分析我們可以通過Excel完成，后而要熟悉一個專業的分析軟件，如數據分析工具SPSS/SAS/R/Matlab等，便于進行一些專業的統計分析、數據建模等。

數據展現

一般情況下，數據分析的結果都是通過圖、表的方式來呈現，俗話說：字不如表，表不如圖。借助數據展現手段，能更直觀的讓數據分析師表述想要呈現的信息、觀點和建議。

常用的圖表包括餅圖、折線圖、柱形圖/條形圖、散點圖、雷達圖、金字塔圖、矩陣圖、漏斗圖、帕雷托圖等。

撰寫報告

最后階段，就是撰寫數據分析報告，這是對整個數據分析成果的一個呈現。通過分析報告，把數據分析的目的、過程、結果及方案完整呈現出來，以供商業目的提供參考。

一份好的數據分析報告，首先需要有一個好的分析框架，并且圖文并茂，層次明晰，能夠讓閱讀者一目了然。結構清晰、主次分明可以使閱讀者正確理解報告內容；圖文并茂，可以令數據更加生動活潑，提高視覺沖擊力，有助于閱讀者更形象、直觀地看清楚問題和結論，從而產生思考。

另外，數據分析報告需要有明確的結論、建議和解決方案，不僅僅是找出問題，后者是更重要的，否則稱不上好的分析，同時也失去了報告的意義，數據的初衷就是為解決一個商業目的才進行的分析，不能舍本求末。

數據產品經理，是在產品經理的基礎上，疊加上數據從業人員的職業素養，從而創造出一些為數據人員服務的產品和平臺。一個組織的數據好不好，亂不亂，都要依賴數據產品經理的職業素養。

數據產品經理的目的是使企業里面人人都是數據分析師，降低數據的使用的門檻，提高數據使用效率。這個是作為數據產品經理最基礎的、核心的工作。

勝任數據產品經理應具備哪些能力？

基本能力：交互設計能力、需求梳理能力、數據理解與使用能力、數據分析能力、業務建模能力等。

以上屬于基本的崗位技能，但滿足這些基本的能力之后，會更看重溝通協調能力和項目管理能力；后面的這兩個能力是解決從一個概念到最終落地的核心關鍵，如果沒有后者，只滿足前者的基本能力也可以，尤其是做的特別好的，也很不錯，但慢慢會成為工具人。溝通協調能力和項目管理能力是非常重要的，這兩個能力是解決從基本的數據概念/應用概念到落地的一個核心的關鍵。

做好溝通管理的關鍵因素有哪些？

從項目管理的角度來說，其實是有方法論的。比如去做大型的項目，可能會按照一套標準的流程來走，輸出各種文檔、有各種規范等等。每一個環節都要注意什么，都是有方法論的。這里面是有很多的通用方法，所以建議大家先去了解項目管理的一些基本方法，再結合實戰去鍛煉自己。

ETL就是抽取、轉換、加載這三個單詞的縮寫，所以顧名思義主要的工作就是把數據從哪塊兒抽過來，然后進行一個清洗、加工，最后再存到哪塊兒。

ETL工作流程

抽取：這個環節可能主要是比如說Sqoop、Flume、Kafka、還有Kettle、DataX、Maxwell這些都是抽取工具。離線可能主要是用的Sqoop或者是DataX去進行離線數據的抽取，像實時可能會采用比如說Flume或者是Kafka、Maxwell，還有Kettle去進行抽取。

轉換：轉換包括清洗、合并、拆分、加工等等，可以用Hadoop生態的東西， MapReduce、Spark、Flink、Hive等去進行數據方面的清洗。

加載：抽取轉換之后，就是將數據加載到目標數據庫。可能會用到Hbase去存儲一些大數據方面的東西，或者HDFS等等這些工具。

ETL工程師的崗位價值

ETL的工作主要是對數倉的底層建設，ETL這個崗位是非常重要的，因為它屬于是一個基礎，如果ETL工作做好的話會有事半功倍的效果。

如果做不好可能后續會有很多的一些問題，比如說數據如果沒有清洗好，后續分析起來可能會有很多的臟數據等等。而且數據使用起來也非常的不方便。

ETL工程師進階指南

初級：對業務理解的不是特別的深入，技術上也就是會使用，出現一些問題可能不能獨立解決或者是獨立解決的問題數量會比較少，需要去咨詢大牛之類的。

中級：對業務相對來說比較熟悉，另一方面就是理解能力也比較強，技術上可能已經比較熟練了，而且還對框架、原理都有一些了解，也會調優。而且中級可能會參與到管理中，分一個小組，做一些比較小的項目或者需求。

高級：對業務就是非常熟悉，技術是服務于業務的，所以熟悉業務非常重要，我們現在實現的功能，其實就是建立在業務的基礎上去做的，另一方面高級的ETL工程師對各項技術、系統架構都非常熟悉或者是會設計這樣的架構，同時具有管理能力，可以帶領團隊完成項目。

BI全稱商業智能（Business Intelligence），在傳統企業中，它是一套完整的解決方案。將企業的數據有效整合，快速制作出報表以作出決策。

商業智能BI在數據架構中處于前端分析的位置，其核心作用是對獲取數據的多維度分析、數據的切片、數據的上鉆和下鉆、cube等。通過ETL數據抽取、轉化形成一個完整的數據倉庫、然后對數據倉庫的數據進行抽取，而后是商業智能的前端分析和展示。

BI的用途

一種是利用BI制作自動化報表，數據類工作每天都會接觸大量數據，并且需要整理匯總，這是一塊很大的工作量。這部分工作可以交給BI自動化完成，從數據規整、建模到下載。

另外一種是使用其可視化功能進行分析，BI的優點在于它提供比Excel更豐富的可視化功能，操作簡單上手，而且美觀，如果大家每天作圖需要兩小時，BI會縮短一半時間。

BI的步驟

大體分為以下五個步驟：

數據源讀取

數據清洗

數據關聯

圖表制作

Dashboard整合

BI給企業帶來的價值

整合信息孤島——整體分析問題BI可以將企業信息化的數據孤島整合起來，提供一個全局的視圖，讓決策者可以更加全面地看待問題，降低決策失誤風險性。

提高決策質量——深入分析問題BI能夠將數據轉換為知識進而輔助決策，能夠使決策者決策更加迅速準確，能夠給企業注入新的革命性的管理思想。決策者可以根據BI提供的鉆取功能對數據結果進行追根溯源，使問題的分析不止步于表面結果，發掘出數據中包含的機會：即如何以更低的成本、更快的速度、更高的質量完成任務；這使管理者能在質疑中不斷以創新來獲得差異化競爭優勢。

數據挖掘預測——長遠分析問題BI系統的預測功能使企業看問題更長遠，決策更具前瞻性。BI會根據對積累的大數據進行挖掘，得到數據的之間潛在的規律或趨勢，進而做出下一步預測。由于它需要復雜的算法、統計模型和大量的數據，所以需要支持大數據量的處理能力，像并行算法和網格計算是非常有必要的。

幫企業進行風險預警——風險的預測和評估是非常重要的。企業可以在BI系統中設置數據報警閾值，數據一旦超標，系統會以各種手段通知到管理員，使企業風險可控，減少安全漏洞。

提高員工工作效率——在沒有BI之前，員工要寫大量復雜的SQL語句，制作大量報表以滿足業務要求，決策者在面對大量堆積報表數據也感到頭疼。而BI則徹底改變了這種現狀，使業務人員可以輕松進行數據分析，使決策者可以自在查看分析，及時查看到決策所關心的數據。

從特點上分析，BI的投入成本低、更加平民化、更加易于操作，部署周期更短，讓更多的企業客戶能以較低的投入享受到最專業的大數據服務。

商業智能最大意義就是數據分析能夠讓公司里所有人都獲益。它不是一種特權，不是只給公司里的一兩個人看，而是能夠讓公司里面各個業務部門，特別是前線打仗的部門，能夠直接得到好處。