解決方案，在互聯網場景，無論是構建廣告、搜索推薦、投放、用戶觸達等場景，其實都是圍繞著用戶行為流量進行各種人工或智能策略的流量調控分發或是人群運營。在這些精細智能化運營的背后，對流量數據的豐富性、時效性和靈活性提出巨大的挑戰。

本文主要分享了在網易嚴選電商流量數據建設，一套覆蓋全鏈路、通用場景歸因量化、多維度靈活的流量數據體系，服務數據驅動的人貨場匹配的核心業務營銷場景。

流量數據作為電商數據體系構建的基石，為嚴選用戶增長、產品優化、智能運營及科學決策等方面，提供了可靠的業務分析及決策依據。

早期嚴選流量數據的體系圍繞著埋點規范設計及全周期管理工具(夸父)、用戶行為分析工具(神相)搭建。下圖左1展示了流量數倉業務架構，我們可以看出現有系統有一系列單體系統構成，暫未形成全流程業務閉環，解決全流程系統自動化打通的問題。

同時基于單一埋點事件模型的用戶行為分析已經滿足不了精細化運營需求，更多的是需要搭建通用的營銷行為，同時數據應用場景從報表型->分析型-->決策型，通過更直接的通過營銷數據產品、算法能力去改變用戶的行為、調控流量，從而帶來直接的業務影響。以下為現流量數據整體業務架構。

對此，我們在對流量體系架構有如下要求與挑戰：

營銷前端業務復雜度高、迭代快，流量數據建設需要快速滿足新業務場景接入；

投放、觸達組合手段多樣，需要根據營銷目標，精準刻畫流量轉化效果；

業務場景多樣、海量行為日志，數倉需要提供低延時、靈活、擴展性數據查詢能力。

為了解決上述問題，我們需要一套系統化的解決方案。主要以數據中臺工具能力建設為基礎，基于埋點和歸因體系化相結合，提出了一套全鏈路數據標準化生產、流量特色設計的數據體系建設方法論。

針對流量數據鏈路場景，我們分別從埋點、數據體系、數據生產三方面實現一系列關鍵技術：

通用埋點方案沉淀：埋點數據標準化，統一多端生態的位置(頁面模塊)與內容資源；

分析體系搭建：歸因體系搭建，覆蓋站內外通用業務場景，數據模型、方案設計上需要考慮靈活與擴展性；

數倉建設：統一的實時離線數倉建設，支撐電商大促場景下流量數據資產更高時效、穩定輸出。

2.1埋點體系建設

嚴選的埋點規范建設包含對用戶通用行為的抽象：事件的定義，頁面 ，模塊 ，參數以及版本的管理。大致拆分成了兩類：一是發生行為的名稱(事件)以及位置(頁面、模塊、坑位)，二是發生行為的內容(參數，版本信息等)。

（1）頁面模塊體系

頁面模塊體系，主要是管理資源對應的位置信息，即APP/PC/WAP/小程序各端的固定式業務模塊劃分。其基礎思路是統一化、標準化當前各端的頁面、模塊、位置，并進行編碼管理，供APP、H5、商城業務、數據業務等統一接入。為后續統一投放->看數視角、APP產品端動態化(布局、樣式、數據)、AB實驗、自動化埋點打下基礎。

（2）全埋點方案

埋點信息總體分為兩部分：埋點頁面位置信息和埋點位置業務內容信息。所以，全埋的最終理念就是實現：位置信息和內容信息的自動化，位置信息自動化例如xpath，內容信息自動化例如資源投放平臺的下發。

位置模型YPM(Yanxuan Position Model)：根據模塊名以及模塊所處的層級關系，能夠構造出該模塊的唯一標識。嚴選埋點的頁面位置信息可以通過現有的體系建event_name的規范定義和parameter中的sequen參數，能夠確認位置的唯一性。

內容模型YCM(Yanxuan Content Model)：與業務內容一起下發的埋點數據，用來唯一標識一塊內容。統一透傳參數extra內數據層級，對業務內容(商品、素材、投放任務ID等)統一使用唯一標識。

流量可以唯一標識到頁面、模塊、位置任意層級，實現位置和內容分離。基于電商業務復雜性和歷史原因，嚴選采用的還是全埋點+手動埋點相結合的方案。

（3）鏈路數據方案

上述是基于單一事件的埋點規范建設，在鏈路行為串聯上主要實現了以下幾種方案：

全鏈路透傳：按照先進先出原則保留用戶5步內用戶路徑信息。同時考慮對數據的實時查詢要求，豐富原有id數組數據結構；

入口頁透傳：以商詳/加購作為卯點，末次歸因入口頁面模塊；

推廣投放鏈接：嚴選App推廣投放鏈接，渠道追蹤與數據收集。

2.2數據架構

（1）模型分層設計

在數倉架構上，整體按照數倉高內聚、低耦合的原則進行分層標準化建設。

ods：主要前端埋點基礎日志、push等觸達日志以及業務庫db數據，通過統一的AutoETL標準化組件實現統一的規范化離線和實時ODS層；

dim：從埋點流量日志抽象核心設備維度、唯一身份識別uuid。通過業務庫db數據抽象頁面模塊維度、投放計劃等核心配置維度；

dwd：主要分為兩部分以業務過程作為建模驅動、適當維度補全，構建最細粒度的明細事實表；以及基于歸因體系構建轉化明細層。

dws：提供各主題一致性細粒度和指標的輕度匯總數據。減少流量數據計算存儲成本，同時封裝復雜口徑定義，保證數據的一致性輸出。

實時數倉在構建上與離線建設理念是基本一致的，只是在分層設計上會更注意減少依賴層次的鏈路。

（2）唯一身份識別

通過用戶設備帳號一體化，打通了用戶未登錄態及登錄態的數據，補全了基于user_id的用戶訪問行為特征數據。

（3）歸因體系

如果說前面是基于單一事件4w1h(who,when,where,what,how)五個維度構建埋點體系，那么營銷數據體系構建上主要是基于why->how的觸點歸因體系。

常用的歸因包括：首次點擊、末次點擊、多點歸因等，根據分配方式又可以分為線性歸因、時間衰減、馬爾可夫、shap值分解等。我們在站外拉新召回、站內頁面導購、用戶觸達三個電商常用場景我們沉淀了三個通用歸因能力：

渠道歸因：核心解決如何衡量站外各組合營銷渠道廣告帶來的轉化效果，從而更好得指導廣告投放。主要是通過將每一個激活和訂單，通過合理規則歸屬到一個渠道上，在此基礎搭建分析體系。嚴選渠道歸因采用業界最常用的單點末次歸因。一個訂單用戶被多個渠道干預的情況下，訂單將歸屬于：在訂單提交之前的、優先級最高的、事件時間最晚的訪問記錄的渠道。

頁面導購歸因：按照app用戶瀏覽鏈路劃分必經頁面入口頁與承接頁，主要分為末次歸因、三步多點歸因兩種方式對用戶行為進行追蹤，通過導購鏈路歸屬訂單下單來源，從而量化站內坑位流量轉化價值。

觸達歸因：主要應用于主站體系內的push/短信/彈窗等自動手動營銷效果歸因，結合場景和效期選取了時間衰減模型多點歸因，核心思路為兩點：借助時間衰減曲線初步確定權重基數(時間距因子)，個性化場景權重系數調整。

基于以上歸因能力，我們建立了一套通用、統一視角的流量營銷轉化評估體系，那后面需要思考的是如何將我們的數據高效、穩定地生產加工、輸出賦能于業務。在實際業務場景中流量數據還面臨著數據量大、加工全鏈路長等技術挑戰，這些都需要我們從數據鏈路生產、模型設計、鏈路保障上有一定思考與設計，下篇將會從數據計算角度分享流量數據計算場景的經驗與質量保障。