狹義的數(shù)據(jù)管理平臺(tái),主要是接受數(shù)據(jù)擁有者(可能是廣告主、也可能不是)的委托,按照其需求進(jìn)行數(shù)據(jù)加工,并將加工結(jié)果用于指導(dǎo)運(yùn)營(yíng)優(yōu)化、廣告投放等任務(wù)。其商業(yè)模式上做的關(guān)鍵,是“來(lái)料按需加工”,當(dāng)然收取加工費(fèi)用是正常的。不過(guò)既然是來(lái)料加工,就不能把“料”(數(shù)據(jù))視為DMP的自有資產(chǎn),也不能將這些數(shù)據(jù)加工結(jié)果用于指導(dǎo)其他客戶的商業(yè)活動(dòng)。否則,很容易變成在競(jìng)爭(zhēng)對(duì)手之間倒賣用戶的“雙面間諜”。
其實(shí)這樣的DMP,與傳統(tǒng)的網(wǎng)站分析(Web Analytics)工具有很強(qiáng)的關(guān)系。不過(guò),它可以集成第三方數(shù)據(jù)采買、對(duì)接站外廣告投放渠道等功能,而這些是傳統(tǒng)的WA所不具備的。
DMP 其實(shí)是一個(gè)數(shù)據(jù)管理平臺(tái),是把分散的多方數(shù)據(jù)進(jìn)行整合納入統(tǒng)一的技術(shù)平臺(tái),并對(duì)這些數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和細(xì)分,讓用戶可以把這些細(xì)分結(jié)果推向現(xiàn)有的互動(dòng)營(yíng)銷環(huán)境里的平臺(tái)。
業(yè)界代表性的產(chǎn)品有騰訊廣點(diǎn)通和阿里達(dá)摩盤。它們主要提供創(chuàng)建細(xì)分人群、分析用戶畫像、種子用戶群體拓展(lookalike)、再營(yíng)銷、分析投放管理、流量采買和第三方數(shù)據(jù)接入等功能。
DMP平臺(tái)架構(gòu)
1. 商業(yè)DMP定位
首先,結(jié)合我們的需求,介紹下商業(yè)DMP定位,這里介紹的商業(yè)DMP主要是指我們商業(yè)站內(nèi)的,主要提供特征挖掘和特征數(shù)據(jù)服務(wù)的能力。
對(duì)于開(kāi)發(fā)者,特征挖掘平臺(tái)提供了簡(jiǎn)潔、易用的開(kāi)發(fā)SDK,屏蔽實(shí)時(shí)計(jì)算、批量計(jì)算、海量存儲(chǔ)、高并發(fā)服務(wù)、各底層分布式系統(tǒng)部署等細(xì)節(jié)。提供TB級(jí)別(N天)行為數(shù)據(jù)挖掘和秒級(jí)別延時(shí)實(shí)時(shí)特征挖掘,支持特征挖掘?qū)嶒?yàn)、水平擴(kuò)展。
對(duì)于特征數(shù)據(jù)服務(wù)平臺(tái),提供豐富的特征數(shù)據(jù)(TB級(jí)別)和
元數(shù)據(jù)管理,能夠提供在線和離線特征數(shù)據(jù)服務(wù)。對(duì)于在線,提供穩(wěn)定的在線特征數(shù)據(jù)服務(wù),支撐在線推薦系統(tǒng);對(duì)于離線,提供靈活的多維查詢,支持按人群特征進(jìn)行營(yíng)銷活動(dòng)。
2. 平臺(tái)業(yè)務(wù)架構(gòu)

從數(shù)據(jù)的產(chǎn)生到標(biāo)簽的加工再到業(yè)務(wù)應(yīng)用,在這完整的數(shù)據(jù)流中,DMP平臺(tái)其實(shí)是起著承上啟下的作用,可以把它看做是一個(gè)數(shù)據(jù)工廠,對(duì)數(shù)據(jù)特征進(jìn)行統(tǒng)一、清洗、加工、轉(zhuǎn)化、提煉,再對(duì)外提供相應(yīng)的數(shù)據(jù)服務(wù)。DMP平臺(tái)主要包括特征挖掘平臺(tái)、dmp service、標(biāo)簽元數(shù)據(jù)管理、監(jiān)控等模塊。

3. 平臺(tái)邏輯架構(gòu)
平臺(tái)邏輯架構(gòu)主要分為數(shù)據(jù)層、存儲(chǔ)層、計(jì)算層、服務(wù)層和監(jiān)控層。
數(shù)據(jù)層: 提供Kafka、ESB、HDFS、Api等多種異構(gòu)數(shù)據(jù)源,通過(guò)importer層將數(shù)據(jù)進(jìn)行統(tǒng)一的清洗轉(zhuǎn)化,對(duì)下形成統(tǒng)一的數(shù)據(jù)源,從而屏蔽底層的異構(gòu)數(shù)據(jù)源。
存儲(chǔ)層: 我們實(shí)現(xiàn)了存儲(chǔ)接口、序列化模塊、壓縮模塊。由于在線推薦特征挖掘提供基于KV鍵值存儲(chǔ)就能滿足需求,故底層存儲(chǔ)主要提供Redis和自研的wtable等。
計(jì)算層: 提供了storm、spark、sparkstreaming、flink等多種計(jì)算引擎。在operator模塊提供讓特征挖掘用戶自己實(shí)現(xiàn)對(duì)應(yīng)的SDK即可,簡(jiǎn)便高效,同時(shí)對(duì)于用戶來(lái)說(shuō)屏蔽掉了異構(gòu)計(jì)算。
服務(wù)層: 主要提供IDMapping、路由、實(shí)驗(yàn)、process四個(gè)模塊。IDMapping主要是為了打通數(shù)據(jù)孤島;路由模塊主要是解決流量分發(fā)問(wèn)題;實(shí)驗(yàn)?zāi)K主要是進(jìn)行分流實(shí)驗(yàn);process模塊主要是提供業(yè)務(wù)解耦能力。
監(jiān)控層: 對(duì)服務(wù)、任務(wù)、存儲(chǔ)等進(jìn)行監(jiān)控,對(duì)多環(huán)節(jié)快速發(fā)現(xiàn)定位并解決問(wèn)題。
(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)