前言

數(shù)據(jù)分析涉及很多知識(shí)點(diǎn)，各個(gè)網(wǎng)站也都能搜到，但很少有一種系統(tǒng)化的流程來參考，也有讀者后臺(tái)留言問到數(shù)據(jù)分析的流程，所以我認(rèn)認(rèn)真真的整理出一套方法論，將數(shù)據(jù)分析從0-1的流程都串聯(lián)了起來。

對(duì)于分析人員來說，過程很重要，是一個(gè)發(fā)現(xiàn)業(yè)務(wù)價(jià)值并探索業(yè)務(wù)價(jià)值的過程；但對(duì)于領(lǐng)導(dǎo)來說，結(jié)果才最重要，只有可落地實(shí)施可帶來實(shí)際效益的結(jié)果才是數(shù)據(jù)分析價(jià)值的體現(xiàn)。

所以，流程中的每一步鋪墊與探索都是為了最終的業(yè)務(wù)價(jià)值的實(shí)現(xiàn)。

數(shù)據(jù)分析sop流程

數(shù)據(jù)分析共包括四大階段：

需求處理階段：考驗(yàn)溝通理解能力

數(shù)據(jù)處理階段：考驗(yàn)數(shù)據(jù)清洗及sql、python等工具使用能力

數(shù)據(jù)分析與展現(xiàn)階段：考驗(yàn)分析應(yīng)用與可視化展現(xiàn)能力

復(fù)盤跟蹤階段：考驗(yàn)反省優(yōu)化能力

根據(jù)數(shù)據(jù)分析的sop流程，將其中的數(shù)據(jù)分析與展現(xiàn)階段整理了一份思維導(dǎo)圖，方便大家快速理解，可以先看一下。

其實(shí)數(shù)據(jù)分析一句話總結(jié)就是：

將一堆無序的海量數(shù)據(jù)經(jīng)過一系列清洗、處理、規(guī)整、加工展現(xiàn)，提煉出痛點(diǎn)及機(jī)會(huì)，從而驅(qū)動(dòng)業(yè)務(wù)增長、輔助業(yè)務(wù)決策。

展開講講數(shù)據(jù)分析各階段

1. 發(fā)現(xiàn)問題

問題千千萬，需從中找出有效問題。

有效問題就是有價(jià)值的問題：這個(gè)問題涉及了什么業(yè)務(wù)？與什么指標(biāo)相關(guān)？有多大的影響？能解決什么難題？受宏觀影響還是微觀影響？無法避免還是本可避免？等

發(fā)現(xiàn)問題，可以從以下幾個(gè)方面著手：

與歷史對(duì)比

與總體對(duì)比

與競品對(duì)比

與目標(biāo)對(duì)比

與經(jīng)驗(yàn)對(duì)比

......

2. 需求處理階段

需求分兩塊：他人驅(qū)動(dòng)與自我驅(qū)動(dòng)。

?他人驅(qū)動(dòng)

通常由業(yè)務(wù)方、上級(jí)領(lǐng)導(dǎo)等需求方發(fā)現(xiàn)問題，提出需求。可能會(huì)存在需求不明確的問題，既增加溝通成本，又耗費(fèi)時(shí)間成本，分析師將需求完成之后，需求方才發(fā)現(xiàn)自己需要的并不是這樣的，成了無意義的工作、低成本的分析。所以需要清晰get到需求方的點(diǎn)，了解清楚需求背景、需求目的、指標(biāo)口徑、數(shù)據(jù)需求范圍、數(shù)據(jù)需求維度、需求的期望排期等。

另外還需明確一點(diǎn)，數(shù)據(jù)展示聚合還是明細(xì)。如果展示聚合，需要按照什么維度聚合，按照什么方式聚合；如果需要展示明細(xì)，搞清楚為什么需要的是明細(xì)數(shù)據(jù)，因?yàn)槊骷?xì)數(shù)據(jù)量會(huì)比較大，既涉及數(shù)據(jù)安全，也給調(diào)取數(shù)據(jù)帶來壓力。有時(shí)候需求方要求明細(xì)數(shù)據(jù)，他們拿到明細(xì)數(shù)據(jù)之后還要再用excel去聚合去做數(shù)據(jù)處理，其實(shí)這一步驟分析師完全可以直接用sql或者BI產(chǎn)品解決。也就是說這個(gè)明細(xì)數(shù)據(jù)并不能一步到位讓需求方看到他想看到的數(shù)據(jù)，所以需要引導(dǎo)需求方了解下他們需求的真正目的。

做到拆解需求，將抽象的需求具體化，復(fù)雜的需求簡單化。

?自我驅(qū)動(dòng)

即分析師本人發(fā)現(xiàn)問題，探索解決問題的方案。

比如某個(gè)指標(biāo)波動(dòng)異常，先于業(yè)務(wù)方發(fā)現(xiàn)并解決問題；再比如專門負(fù)責(zé)某一個(gè)項(xiàng)目，主動(dòng)通過數(shù)據(jù)探索項(xiàng)目優(yōu)化方案。

自我驅(qū)動(dòng)的精神難能可貴。

3. 數(shù)據(jù)采集

數(shù)據(jù)采集的目的是為了在分析中使用，多數(shù)情況下用到的是聚合數(shù)據(jù)。

數(shù)據(jù)采集分為內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)兩大塊。

?內(nèi)部數(shù)據(jù)

1）需要梳理清楚這個(gè)需求需要什么數(shù)據(jù)

2）需要判別需要的數(shù)據(jù)是否能從現(xiàn)有數(shù)據(jù)庫中獲取。如果可以，應(yīng)該從哪個(gè)庫中的哪個(gè)表獲取？這個(gè)表中字段的口徑和需求所需的字段口徑是否一致？

3）如果現(xiàn)有數(shù)據(jù)庫中沒有現(xiàn)成的數(shù)據(jù)可以滿足需求，就需要梳理好口徑請(qǐng)數(shù)倉同學(xué)重新落表。

4）如果現(xiàn)有數(shù)據(jù)庫中有表可以滿足，但是需要通過SQL層層關(guān)聯(lián)才能從數(shù)據(jù)庫中獲取聚合數(shù)據(jù)，最好的方式請(qǐng)數(shù)倉同學(xué)將你所需的聚合數(shù)據(jù)落成數(shù)據(jù)庫表，這樣一方面你使用起來較為簡單，另一方面也減少了數(shù)據(jù)展現(xiàn)層的BI端連接數(shù)據(jù)的壓力。

?外部數(shù)據(jù)

行業(yè)報(bào)告數(shù)據(jù)

比如艾瑞網(wǎng)、極光大數(shù)據(jù)、阿里研究所、199IT互聯(lián)網(wǎng)數(shù)據(jù)中心等都會(huì)時(shí)不時(shí)的發(fā)一些行業(yè)分析報(bào)告。整個(gè)行業(yè)的數(shù)據(jù)公司內(nèi)部是無法獲取的，所以可以從一些行業(yè)分析報(bào)告入手。

問卷采集

比如我們需要獲取用戶的一些①主觀想法：喜歡我們產(chǎn)品的原因是？我們產(chǎn)品最吸引您的點(diǎn)是？您覺得我們產(chǎn)品最應(yīng)該改進(jìn)的點(diǎn)是？②對(duì)競品的行為：您在xx場景下更愿意使用A產(chǎn)品、B產(chǎn)品還是C產(chǎn)品③用戶習(xí)慣的場景：您在什么場景下更愿意使用xx產(chǎn)品？等

通過問卷數(shù)據(jù)獲取一些產(chǎn)品中無法獲得的數(shù)據(jù)，輔助分析。

宏觀數(shù)據(jù)

比如我們分析的某個(gè)指標(biāo)有時(shí)候也會(huì)受到宏觀政策的影響。比如在xx日出具了xx政策，本公司產(chǎn)品在該政策之前與之后變化多大。

確保能獲取核心的關(guān)鍵性數(shù)據(jù)，為下一步做準(zhǔn)備。

4. 數(shù)據(jù)處理

對(duì)分析師而言，這步需要分析師將數(shù)據(jù)根據(jù)腦中的分析框架處理成所需要的數(shù)據(jù)。

會(huì)涉及數(shù)據(jù)異常值處理、缺失值處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)聚合、數(shù)據(jù)分組歸類以及數(shù)據(jù)準(zhǔn)確性的校驗(yàn)，為下一步的數(shù)據(jù)分析奠定好基礎(chǔ)。

井井有條的數(shù)據(jù)更有利于分析。

5. 數(shù)據(jù)分析

數(shù)據(jù)分析需要的工具技能主要是：

硬實(shí)力：

①數(shù)據(jù)調(diào)取：MySQL、SparkSQL、Hive、impala、Oracle、PostgreSQL等

②數(shù)據(jù)清洗或建模：Python、SPSS等

③數(shù)據(jù)可視化：Tableau、Fine BI、Quick BI、PowerBI等

④數(shù)據(jù)分析報(bào)告：ppt、excel、word

以上硬實(shí)力并不是說全部都需要，針對(duì)不同的崗位性質(zhì)需要不同的技能。比如有的分析只需要會(huì)sql、可視化工具、寫分析報(bào)告就可以了，有的分析額外還需要會(huì)python建模等。

軟實(shí)力：

①統(tǒng)計(jì)知識(shí)：描述性統(tǒng)計(jì)、邏輯回歸、假設(shè)檢驗(yàn)等

②排查問題的能力

③溝通能力：與業(yè)務(wù)方、數(shù)倉、上級(jí)領(lǐng)導(dǎo)溝通

④歸納總結(jié)能力：從一系列分析中歸納出最重要的點(diǎn)

⑤數(shù)據(jù)敏感度

軟實(shí)力更重要，工具大家認(rèn)真學(xué)都能學(xué)會(huì)，軟實(shí)力卻是自己實(shí)打?qū)嵉膫€(gè)人特色與魅力。

6. 數(shù)據(jù)展現(xiàn)

以上準(zhǔn)備都做好之后，就到了數(shù)據(jù)應(yīng)用層：數(shù)據(jù)展現(xiàn)。數(shù)據(jù)展現(xiàn)普遍來說，有兩種形式：數(shù)據(jù)分析報(bào)告&可視化報(bào)表。

1）數(shù)據(jù)分析報(bào)告

數(shù)據(jù)分析報(bào)告要素：數(shù)據(jù)調(diào)取時(shí)間、報(bào)告出具時(shí)間、報(bào)告負(fù)責(zé)人、數(shù)據(jù)維度、分析背景、分析目的、結(jié)論要點(diǎn)、附表等。

注意：

最好將要點(diǎn)總結(jié)放在上面，這樣看報(bào)告的人可以第一時(shí)間get到要點(diǎn)，然后再針對(duì)性去看每個(gè)要點(diǎn)的分析。

結(jié)論要點(diǎn)總結(jié)，求精不求多。

一張圖盡量表明一個(gè)觀點(diǎn)，而非一張圖涉及很多種指標(biāo)，傳達(dá)很多種觀點(diǎn)，容易造成干擾。

一份有價(jià)值的分析報(bào)告才是成果的展現(xiàn)。

2）BI報(bào)表

不管是采取外購的BI產(chǎn)品還是自研，都需要有一種敏捷BI來為數(shù)據(jù)應(yīng)用提供一種入口。

我在《會(huì)計(jì)轉(zhuǎn)行數(shù)分，我開啟了Tableau探索之路》一文中提到過可視化的內(nèi)容，大家可以去看下該文的第2點(diǎn)“聊聊可視化”

數(shù)據(jù)可視化旨在將復(fù)雜數(shù)據(jù)圖片化，幫助人更好地分析數(shù)據(jù)。可視化并不是單純的展示下數(shù)據(jù)，而是使分析結(jié)果可視化，注意“分析結(jié)果”這4個(gè)字。借助于圖形，清晰有效的傳達(dá)與溝通問題。舉個(gè)例子，可視化相較于數(shù)據(jù)，好比照片相較于文字。一張好的照片可以讓人瞬間發(fā)現(xiàn)其中的亮點(diǎn)，而無需在大量文字中去提取；一份優(yōu)秀的可視化可以讓人瞬間發(fā)現(xiàn)數(shù)據(jù)要傳達(dá)的含義。重在直觀的展示，而非簡單的好看。

數(shù)據(jù)是思想，可視化是表達(dá)方式。想象一下，倘若公司沒有可視化，員工基本會(huì)在數(shù)據(jù)處理上耗費(fèi)大量的時(shí)間，于員工?而言，耗時(shí)耗力；于企業(yè)而言，員工因數(shù)據(jù)處理而導(dǎo)致的加班增加了開支成本，且管理層無法第一時(shí)間迅速獲得有效信息。

7. 持續(xù)跟蹤

一份分析報(bào)告的完成以及一份BI報(bào)表的上線，并不是分析的終點(diǎn)。分析，需要可持續(xù)化的復(fù)盤跟蹤。

比如：

①跟蹤分析方案有沒有為公司帶來實(shí)質(zhì)性的價(jià)值。

該方案執(zhí)行一段時(shí)間后，需要進(jìn)行執(zhí)行后VS執(zhí)行前的對(duì)比分析，跟蹤分析方案有沒有為公司帶來實(shí)質(zhì)性的價(jià)值。

②跟蹤分析數(shù)據(jù)指標(biāo)異動(dòng)的原因。上線了新的報(bào)表之后，需要跟蹤下報(bào)表上指標(biāo)的變化，及時(shí)感知數(shù)據(jù)是否出現(xiàn)異動(dòng)以及探索異動(dòng)的原因。

③跟蹤分析數(shù)據(jù)實(shí)際表現(xiàn)與目標(biāo)的差距。

通過對(duì)歷史數(shù)據(jù)的歸納總結(jié)，聚焦實(shí)際表現(xiàn)與目標(biāo)的主要差距，量化分析優(yōu)勢與不足。

持續(xù)化的復(fù)盤跟蹤，有助于我們查漏補(bǔ)缺，完善方案。更有助于探索數(shù)據(jù)深層次的含義以及及時(shí)感知數(shù)據(jù)的異常波動(dòng)，提升自我價(jià)值與業(yè)務(wù)價(jià)值。

結(jié)語

分析其實(shí)就是要摸清楚需求對(duì)象是誰？關(guān)注點(diǎn)是什么？需要解決什么問題？過程服務(wù)于業(yè)務(wù)。分析師不是一線，但與一線人員息息相關(guān)。

我也不是數(shù)據(jù)分析領(lǐng)域的專家，就是純粹根據(jù)日常工作總結(jié)出來的要點(diǎn)，希望能幫助到你們。本篇文章介紹了下數(shù)據(jù)分析的整個(gè)流程，其中有的環(huán)節(jié)會(huì)在后續(xù)文章中針對(duì)性的詳細(xì)展開說說。