數(shù)據(jù)挖掘及數(shù)據(jù)產(chǎn)品全鏈路流程

對搭建產(chǎn)品的數(shù)據(jù)指標體系

及構(gòu)建機器學習型數(shù)據(jù)產(chǎn)品

有豐富經(jīng)驗

本文目錄：

什么是數(shù)據(jù)挖掘？

數(shù)據(jù)挖掘的工作內(nèi)容

數(shù)據(jù)挖掘的工作流程

勝任數(shù)據(jù)挖掘崗位應該具備哪些能力

數(shù)據(jù)崗位的職業(yè)發(fā)展與規(guī)劃

01什么是數(shù)據(jù)挖掘？

這點我要結(jié)合數(shù)據(jù)分析和數(shù)據(jù)科學來談談~

數(shù)據(jù)分析：

主要是用統(tǒng)計學的知識，對現(xiàn)有的數(shù)據(jù)進行分析，包括常見的描述性數(shù)據(jù)分析，探索性數(shù)據(jù)分析。比如我們會對每天每月每周用戶數(shù)進行同比環(huán)比的對比分析、細分不同人群的交叉分析、以及我們可以利用數(shù)據(jù)可視化的方式去展示數(shù)據(jù)的整體情況，包括展示社交人群當中，他對于其他人就節(jié)點上的數(shù)據(jù)關聯(lián)情況，其實這更多的就是使用到統(tǒng)計學的知識。

數(shù)據(jù)挖掘：

數(shù)據(jù)挖掘其實有一部分是包含的數(shù)據(jù)分析的，因為我們需要對數(shù)據(jù)進行比較深刻的理解，是需要去分析數(shù)據(jù)的整體情況，包括探索性數(shù)據(jù)分析，是現(xiàn)在挖掘當中比較重要的一個環(huán)節(jié)。通過數(shù)據(jù)挖掘的算法從數(shù)據(jù)中挖掘有用的信息。例如通過算法去挖掘用戶購買的商品之間的關聯(lián)，什么樣的用戶是高質(zhì)量的用戶等，這些問題都是需要我們從數(shù)據(jù)挖掘的角度去分析。

數(shù)據(jù)科學：

數(shù)據(jù)科學是相對比較綜合的，它既包含像前面講的統(tǒng)計分析，又包含數(shù)據(jù)挖掘的算法，同時還需要借助大數(shù)據(jù)以及計算機編程來實現(xiàn)更多的數(shù)據(jù)提取和分析，也需要將模型進行部署，所以說數(shù)據(jù)科學是相對比較綜合的，它是涉及到數(shù)據(jù)中的各個環(huán)節(jié)，并不是單一一個環(huán)節(jié)，比如在企業(yè)當中需要去獲取數(shù)據(jù)，它其實也是算是數(shù)據(jù)科學里面的一個環(huán)節(jié)。

數(shù)據(jù)科學家更多適用于相對比較成熟的一些公司，這類公司產(chǎn)品線特別多，需要利用數(shù)據(jù)來幫助公司進行決策，各個產(chǎn)品線如何利用數(shù)據(jù)工具提高用戶運營效率等。對于一般垂直類公司，比如說他是做單一業(yè)務，基本只需要數(shù)據(jù)分析師來分析和挖掘更加貼切實際，因為如果需要運用到數(shù)據(jù)科學部，他是相對比較綜合的。那如果企業(yè)達不到那個條件，工作內(nèi)容當中會涉及數(shù)據(jù)分析和數(shù)據(jù)挖掘多一點。

像國內(nèi)的一些大廠，包括騰訊、阿里巴巴，他其實有很多的產(chǎn)品線，產(chǎn)品線之間是有一些重復可以使用到的信息。例如淘寶天貓海淘，這三個產(chǎn)品都有一些共性，它屬于購物的，那么在購物當中會有通過推薦或者廣告流量來驅(qū)動用戶去購買，所以多個不同產(chǎn)品，他本身是有共性的。對于這件事情的統(tǒng)一，就需要數(shù)據(jù)科學家去構(gòu)建一個能夠在不同的業(yè)務場景下的推薦的算法，這個落地執(zhí)行是需要數(shù)據(jù)科學家去做這件事情的。

02數(shù)據(jù)挖掘的工作內(nèi)容

工作其實一般分兩部分，一部分是項目上的數(shù)據(jù)挖掘，另外一部分是產(chǎn)品創(chuàng)新。

項目挖掘，主要是在公司層面上面不同的一些業(yè)務需求。例如我們在一家游戲公司，想要了解到用戶對游戲的偏好，一款游戲這個產(chǎn)品他的活躍用戶怎么去做個分析這類；在產(chǎn)品創(chuàng)新上，以打車應用為舉例，就是我們打算怎么將用戶的使用場景進行歸納總結(jié)，這樣我們可以分不同的使用場景去貼近用戶的服務，比如在下班的途中、或者下雨天的這個場景下，那在這些場景下怎么樣去更好的服務用戶等。

核心的工作可以概括為：當客戶描述有一個需求，比如說什么下降了，然后去給他們做分析，給他們解釋這個原因，然后輔助他們接下來的運營動作；相當于根據(jù)他們現(xiàn)有的一個數(shù)據(jù)情況，給他們提供了自己的方案，也就是解釋原因，輔助他們運營。

更多的偏向于非標準的一個數(shù)據(jù)挖掘，因為我們一般很多的項目其實不一定是能夠產(chǎn)品化的，所以會走數(shù)據(jù)挖掘的這個形式去處理。創(chuàng)新是相當于為客戶提供了一個數(shù)據(jù)產(chǎn)品，給他們做了一個數(shù)據(jù)產(chǎn)品。創(chuàng)新它其實根據(jù)不同的業(yè)務，創(chuàng)新的一個方式、使用到的數(shù)據(jù)都是不一樣的。

我這里舉一個應用的使用場景的分類，就比如說現(xiàn)在的客戶是游戲公司，他們其實只能做一個初步的分析，大部分游戲公司是沒有做數(shù)據(jù)挖掘這種偏技術的，然后他會找一些專業(yè)的公司來幫助他們更精細化的去分析，去挖掘。因為不是每一家公司他都能夠搭建模型，能夠做好用戶畫像。對于這樣的一個需求場景，需要專業(yè)的技術和分析團隊提供更好的服務，因為它結(jié)合了很多的用戶使用場景。對于甲方的游戲公司，以用戶注冊的時候收集的信息為主，進行分析大概是這樣的。比如我們會做競品分析，同行業(yè)分析挖掘。

如果是作為投資項目，更多的是要去從海量的產(chǎn)品里面去挖掘客戶想要的、能夠體現(xiàn)這個用戶整體增長趨勢的分析，或者當前行業(yè)的興趣方向等，它其實是分不同的公司的。

比如說開發(fā)一款游戲，得知道用戶是對哪一種游戲會更加感興趣一點，就是在產(chǎn)品還沒開發(fā)之前會做一件事情，就是調(diào)研。因為你不可能說你等到你產(chǎn)品做好之后，發(fā)現(xiàn)這個市場價值用戶量很小，這個時候產(chǎn)品已經(jīng)投入了很大的一個精力、成本。它是一個流程，從產(chǎn)品的開發(fā)之前的調(diào)研，然后到產(chǎn)品上線，再到這個產(chǎn)品整個的分析和挖掘。

我們就是使用數(shù)據(jù)解決公司在產(chǎn)品開發(fā)之前到產(chǎn)品開發(fā)中以及產(chǎn)品的生命周期的這些環(huán)節(jié)問題。

03數(shù)據(jù)挖掘的工作流程

我這里用一個案例講一下，比如說我們現(xiàn)在的客戶是一家游戲公司，“這個月的的活躍用戶數(shù)相比上個月下降了”，對于這個問題，我們首先是需要確定目標，我們需要去分析一下下降到底是什么原因產(chǎn)生的。

在這個過程當中，我們就需要去收集數(shù)據(jù)，包括我們這個月的活躍用戶數(shù)多少，上個月的活躍用數(shù)多少，因為我們對于下降的這個概念是沒有一個標準的，如果我們收集完數(shù)據(jù)之后，我們就能夠知道這個月比上個月下降了20%，那么上個月比上上個月又提高了10%。

所以就可以看得到，如果運營當中沒有去做更多的活動，以及運營策略的變化，它其實很難有這樣的一個數(shù)據(jù)結(jié)果的，我們從收集到數(shù)據(jù)的這個過程，就可以慢慢的去挖掘這個數(shù)據(jù)是不是有這樣的疑問，然后我們再去深入的挖掘。

再繼續(xù)，我們需要去將數(shù)據(jù)進行拆分，因為前面只是滿足了我們月的這個維度，我們也不了解他到底是那什么樣的原因產(chǎn)生。就比如說我們的設備是會有安卓和ios 的，我們將用戶機型進行拆分，就可以得到兩個月的安卓跟ios活躍用戶的比例，然后我們再進行對比分析，我們就能夠發(fā)現(xiàn)，比如說發(fā)現(xiàn)安卓的用戶下降了。

安卓活躍用戶下降了，那么安卓用戶下降有可能的因素，比如我們再去假設一個因素，這個月做了更新，然后這個更新可能會導致影響用戶使用，就可以再從時間的維度上去去驗證我們的假設，包括用戶點擊的這個時間節(jié)點，是不是跟我們上線的產(chǎn)品創(chuàng)建的這個時間節(jié)點吻合等。

以上主要是數(shù)據(jù)分析的工作。針對數(shù)據(jù)挖掘，可以這么理解我們想要知道什么樣的用戶才會流失，我們需要通過定義一個標準，也就是什么樣的用戶屬于流失用戶，定義完這個標準之后，我們?nèi)ネㄟ^提取用戶的一個數(shù)據(jù)特征，包括他的行為，再通過一些聚類或者回歸的方式去把這批用戶給找出來，這樣就是通過挖掘的方式去進行工作。

數(shù)據(jù)挖掘更多的是從數(shù)據(jù)中去挖掘信息。如果只是分析相關或者因果，更多的是用到分析這個過程。但是如果想要使用的模型去識別我們的用戶，就需要用到數(shù)據(jù)挖掘。

04勝任數(shù)據(jù)挖掘崗位應該具備哪些能力

1、必須對數(shù)據(jù)有敏感度。這就是為什么我們數(shù)據(jù)分析、數(shù)據(jù)挖掘的工作，很多時候想要招的是工科生的一個原因，就在于他們會對于這種比較枯燥的數(shù)據(jù)，有更加高的數(shù)據(jù)敏感度。

文科生在一些數(shù)據(jù)的理解上可能會遇到困難，那么如果我們有一定的數(shù)據(jù)敏感度，使用統(tǒng)計學的知識，其實是可以很快速的定位到數(shù)據(jù)問題，包括我們怎么去對數(shù)據(jù)進行處理，清洗等。

2、行業(yè)經(jīng)驗。就是對于一些特定的場景，包括行業(yè)上項目經(jīng)驗。如果你是在游戲公司工作的，你肯定是知道用戶的偏好，或者用戶游戲興趣愛好等，這些其實更有利于你在這分析當中假設建立。

3、會一門編程語言。我們現(xiàn)在互聯(lián)網(wǎng)比較普及，很多數(shù)據(jù)的維度跟量級都是不斷地在加深，這就增加了分析的難度。所以我們很多時候做數(shù)據(jù)處理，會遇到一些困難的，包括我們在處理文本數(shù)據(jù)的時候，其實是一種半結(jié)構(gòu)化數(shù)據(jù)，如果我們現(xiàn)在是會一門編程語言，就會更好一點。比如使用Python，或者更高級一點的算法模型，都可以在這個基礎上去學習。

05數(shù)據(jù)崗位的職業(yè)發(fā)展與規(guī)劃

1、確定行業(yè)。首先是對行業(yè)的喜好，就是說如果你這個不感興趣，會覺得數(shù)據(jù)是很枯燥的。如果進入這個行業(yè)，在這個行業(yè)發(fā)展，需要去堅定數(shù)據(jù)是能夠驅(qū)動企業(yè)經(jīng)營分析的。

2、做職業(yè)規(guī)劃。當你對整個數(shù)據(jù)分析數(shù)據(jù)挖掘流程比較熟悉的情況下，那你肯定會構(gòu)建一個整體的框架，怎么樣去完成這些事情，或者說用一個通用的方式去做這些事情。

那到了職業(yè)發(fā)展階段，一般會分兩個方向，一是往管理的方向，另外一個技術方向。如果你是喜歡做溝通交流，能夠去跟進整個項目，是比較適合管理這個方向的；如果你是對算法或者對一些技術比較感興趣，把它研究比較深，你可以往技術這個方向走，例如說技術顧問。所以我覺得應該是分階段來討論這個職業(yè)發(fā)展方向的，初入職場，一定先做一些基礎工作，打基礎學習階段掌握技能，以了解整個行業(yè)的狀況為主。

那后期肯定是需要去往管理或者技術方向繼續(xù)提升。剛才有提到管理崗和技術崗，比如說數(shù)據(jù)產(chǎn)品經(jīng)理，他其實偏向于要去溝通、跟進項目；像如果做一些開發(fā)類的工作，這個屬于技術類。對應管理和技術有，不是完全獨立，尤其越往上發(fā)展，管理和技術只是說側(cè)重點不同。比如數(shù)據(jù)科學家，他是一個相對比較綜合的崗位，有的情況下也可看成是管理崗。因為具體落地不一定需要他去做，是需要主導團隊來完成，他需要對這個業(yè)務、算法十分的了解和熟悉，因此說他能夠主導這個項目交付才是關鍵。

對于技術崗，一些前沿算法，以及能夠在這個場景用什么樣的算法，怎么樣去做優(yōu)化，是需要比團隊其他成員這方面更加了解和熟悉。

3、應屆生小伙伴。如果你是在大學，那肯定先接觸學習統(tǒng)計基礎知識會比較重要一點。如果有時間條件參加多一些比如說數(shù)據(jù)競賽，能夠提升項目經(jīng)驗，或者說利用的數(shù)據(jù)做分析挖掘，當你在求職的時候，有一個具體的案例來體現(xiàn)你的數(shù)據(jù)能力。我也覺得這是在想要去從事這個方向的同學需要去做的事情。

4、轉(zhuǎn)行小伙伴。轉(zhuǎn)行的同學，首先你有一定的行業(yè)經(jīng)驗，基于這行業(yè)經(jīng)驗你能夠用數(shù)據(jù)去做什么樣的事情，你這個事情是需要去做準備的，或者說你跨了一個行業(yè)，你能夠從原來的行業(yè)或者以你現(xiàn)在的適應能力能為這個行業(yè)帶來什么，或者能夠做什么事情，就是需要去思考或者做好一個準備。