導讀：行為序列特征在推薦，廣告等領(lǐng)域中有著廣泛應(yīng)用，最近幾年涌現(xiàn)了很多有關(guān)行為序列的研究論文，講解如何將行為序列應(yīng)用到實際場景中。但是論文中的實際思想距離落地還有一段距離，因此本文先介紹一些論文中的序列特征的用法，然后介紹一下在大規(guī)模分布式推薦系統(tǒng)框架 EasyRec 中如何將序列特征快速落地，提升實際場景效果。

01

序列特征簡介

序列特征推薦的目的是利用歷史行為序列來預(yù)測下一次行為，在現(xiàn)實生活中，行為的前后都存在著極強的關(guān)聯(lián)性，因此，不同于傳統(tǒng)推薦任務(wù)以靜態(tài)方式對行為偏好建模，序列特征推薦建模能夠捕獲動態(tài)偏好。例如，某段時間內(nèi)對運動用品的興趣較高，另一段時間內(nèi)則更需要書籍，因此當前偏好可以通過時間順序的“用戶-物品”隱式反饋中推斷出來。序列推薦系統(tǒng)不僅可以通過捕捉廣義興趣來提高用戶體驗，還可以準確預(yù)測當前時刻的興趣，以增強下一時刻的交互效果。

圖1 序列特征示例圖 (圖片來源于論文DIN[9])

如圖1所示，在電商推薦中，用戶的序列特征包含了和用戶發(fā)生過交互的各種商品。箭頭下方包含了用戶的行為序列，上方是 DIN[9] 方法中對發(fā)生交互關(guān)系的各種商品賦予的不同的權(quán)重。然后根據(jù)所有的這些特征共同得到最后用戶的推薦序列。

02

序列特征應(yīng)用方法

按序列發(fā)展來看，推薦場景下行為序列建模的模型經(jīng)歷了 pooling, Target Attention, RNN, Capsule, Transformer，圖神經(jīng)網(wǎng)絡(luò)的發(fā)展路線?；?pooling 模型方法的主要包含有 Youtube , 基于 Target Attention 模型方法主要包含有 DIN，DSTN, 基于 RNN 模型方法主要包含有 GRU4Rec, DIEN, DUPN, HUP, DHAN 等，基于 Capsule 模型方法主要包含有 MIND, ComiRec 等，基于 Transformer 模型方法主要包含有 ATRank, BST, DSIN, TISSA, SDM, KFAtt, DFN, SIM, DMT, AliSearch 等，基于圖神經(jīng)網(wǎng)絡(luò)的方法主要有 SURGE 等。

1. pooling方法

Youtube

基于 Pooling 模型方法的主要工作是 Youtube[10], 這些方法通常采用 mean, sum 或者 max pooling 的方法聚合行為序列，他們將用戶的行為序列看得同等重要。Youtube[10] 通過基于 pooling 的操作建模用戶的搜索序列、觀看視頻序列，應(yīng)用在 Google Youtube 的視頻推薦系統(tǒng)的召回和排序模塊中。

在召回階段的模型如下，使用了觀看視頻序列、搜索序列：

由上圖可以看出，最底層的輸入是用戶觀看過的 video 的 embedding 向量，以及搜索詞的embedding向量，特征向量里面還包括了用戶的地理位置的 embedding，年齡，性別等。然后把所有這些特征 concatenate 起來，喂給上層的ReLU神經(jīng)網(wǎng)絡(luò)。三層神經(jīng)網(wǎng)絡(luò)過后，經(jīng)過 softmax 函數(shù)得到最后輸出。

在排序階段的模型如下所示，使用了觀看視頻序列：

排序階段引入另一套 DNN 作為ranking model的目的就是引入更多描述視頻、用戶以及二者之間關(guān)系的特征，達到對候選視頻集合準確排序的目的。

2. Target Attention 方法

基于pooling的方法中，將行為序列中的每個物品的重要性看作是相同的，無法區(qū)分歷史行為中每個物品的重要性。對于不同的待排序物品，用戶的興趣向量也是相同的，無法建模多興趣。

為了解決這些問題，研究者們提出了基于Target Attention的方法建模行為序列，主要包括 DIN [9], DSTN [11]等。它們通過attention機制建模行為序列中的物品和待排序物品的attention score (即關(guān)聯(lián)程度)，作為每個行為的權(quán)重，然后再將它們聚合起來。

DIN

DIN (Deep Interest Network for Click-Through Rate Prediction)[9] 基于 Target attention 建模用戶的商品點擊行為序列。注意力機制顧名思義，就是模型在預(yù)測的時候，對用戶不同行為的注意力是不一樣的，“相關(guān)”的行為歷史看重一些，“不相關(guān)”的歷史甚至可以忽略。那么這樣的思想反映到模型中也是直觀的。

基于 pooling 的 base 模型如下圖所示：

DIN模型對于每個待排序的廣告，計算出每個歷史點擊的商品和待排序廣告的attention score, 作為這個歷史行為的權(quán)重，然后基于這些權(quán)重，將歷史行為序列物品的embedding，聚合成一個用戶興趣向量。對于不同的待排序廣告，attention scores的分布也不相同，對應(yīng)的用戶的興趣向量也不相同，從而建模用戶的多個興趣。

傳統(tǒng)的 Attention 機制中，給定兩個 item embedding，比如 u 和 v ，通常是直接做點積 uv 或者 uWv ，其中 W是一個 |u|x|v| 的權(quán)重矩陣，但 din 更進一步的改進，在上圖右上角的activation unit 中，首先是把u和v以及u v的element wise差值向量合并起來作為輸入，然后喂給全連接層，最后得出權(quán)重，這樣的方法顯然損失的信息更少。

DSTN

DSTN[11] 基于 Target attention 建模用戶歷史點擊廣告序列、未點擊廣告序列、附近的廣告序列等信息，應(yīng)用到神馬搜索廣告中。

在傳統(tǒng)方法當我們要預(yù)估對一個廣告的點擊概率時，只考慮該廣告的信息，而忽略了其他廣告可能帶來的影響。如用戶歷史點擊或者曝光未點擊的廣告、當前上下文已經(jīng)推薦過的廣告等。因此，將這些廣告作為輔助信息，加入到模型中，也許可以提升CTR預(yù)估的準確性。

多種行為序列的定義如下圖所示：在用戶發(fā)起搜索后，展示多個廣告后用戶會有點擊、未點擊的行為，以及附近的廣告信息。

之前的模型可能一次計算所有廣告的點擊率，然后按點擊率進行排序，取top-K進行展示。但 DSTN 中把一次推薦K個廣告過程看作K個單次推薦的過程集合。先推薦第一個位置的廣告，再推薦第二個位置的廣告，依次類推。在推薦第三個廣告時，推薦的第一個廣告和第二個廣告便是這里所說的上下文廣告。

為了將這些信息加入到模型中，必須要注意以下幾點：

1）每種類型的輔助廣告數(shù)量可能相差很多，模型必須適應(yīng)這些所有可能的情況。

2）輔助的廣告信息可能與目標廣告是不相關(guān)的，因此，模型需要具備提取有效信息，而過濾無用信息的能力。舉例來說，用戶點擊過的廣告可能有咖啡廣告、服裝廣告和汽車廣告，當目標廣告是咖啡相關(guān)的廣告時，過往點擊中咖啡相關(guān)的廣告可能是起比較大作用的信息。

3）不同類型的輔助廣告信息，有時候起到的作用可能是不同的，模型需要能夠有能力對此進行判別。

總的來說，就是模型需要有能力有效處理和融合各方面的信息。本文提出了DSTN（Deep Spatio-Temporal neural Networks）模型來處理和融合各種輔助廣告信息。

DSTN 的模型如下圖所示：

其主要包含三個子模型，DNN 模型用來處理目標廣告，Pooling 模型用來處理輔助廣告，Interactive attention模型用來處理輔助廣告和額外廣告之間的交互關(guān)系。

3.?RNN方法

基于pooling和attention的方法，不能建模行為序列的時間順序特性，無法有效建模用戶興趣的不斷演化。

為了解決這些問題，研究者們提出了基于RNN建模行為序列，主要包括 DIEN[12], DUPN [13], HUP [14], DHAN [15]等。它們通過RNN建模行為序列的時間順序特性，能更好地建模用戶實時興趣的變化。

DIEN

DIEN [12] 基于雙層RNN來建模用戶的商品點擊序列，應(yīng)用在電商APP推薦廣告排序中。同時，在模型提出了基于RNN中的隱藏向量和下一個商品計算輔助loss。第一層RNN，直接用來建模用戶的商品點擊序列；第二層RNN，基于第一層RNN的結(jié)果、待排序廣告計算attention，用于RNN的更新。

DUPN

DUPN[13] 基于RNN建模用戶的行為序列，再基于attention計算每個行為的權(quán)重，得到用戶的興趣向量表示，應(yīng)用到電商APP搜索中。其整體框架如下圖所示：

在本論文中，作者在 RNN 和 Attention 中都考慮了行為的屬性信息 (場景、時間、行為類型等)，如下圖所示：

而且作者還利用多任務(wù)學習來學習模型參數(shù)：

4. Capsule方法

在召回階段，基于pooling, attention, RNN等序列模型建模行為序列得到一個用戶興趣向量，然后通過Faiss查找最近的鄰居商品，通常召回的商品都很相似，無法滿足搜索推薦多樣性的需求。

為了解決這些問題，研究者們提出了基于 Capsule 建模行為序列，主要包括 MIND [14], ComiRec [15] 等。它們通過Capsule建模行為序列，通過隱式聚類行為序列，得到多個用戶興趣向量，從而實現(xiàn)召回多個類目的物品的目的。

MIND

MIND [14] 基于Capsule建模用戶的行為序列向量，應(yīng)用在天貓推薦的召回模塊中, 其整體框架如下圖所示：

MIND 中的用戶特征由歷史交互 item 和基礎(chǔ)畫像屬性組成，用戶歷史交互 item 由 item ID,item 所屬類目ID和Item所屬品牌ID三部分組成，這三部分進行低維 embedding 之后做 average pooling，合成 item 本身的embedding表示。用戶交互過的 items 生成的一組向量(即item embedding)作為 Multi-Interest Extractor Layer的輸入，經(jīng)過 dynamic routing 之后，產(chǎn)生另外一組向量(即興趣embedding)，作為用戶多樣化興趣的表示。用戶基礎(chǔ)畫像屬性的embedding與用戶興趣embedding分別做concat，接著經(jīng)過兩層ReLU隱層，得到用戶的一組embedding。

在訓練階段，要進行預(yù)測的 label 只有一個 embedding，而用戶有一組，沒法直接求內(nèi)積計算匹配度，這里MIND提出了Label-aware Attention，思路跟DIN是一致的，就是根據(jù)label的embedding對用戶的一組embedding分別求出權(quán)重(所謂label-aware)，然后對用戶的一組embedding求加權(quán)和，得到最終的一個embedding。圖中右上角是Label-aware Attention的圖示，K,V都是用戶embedding(矩陣)，Q是label embedding(向量)，K、Q相乘可以得到不同的用戶embedding對label的響應(yīng)程度，Power對求得的響應(yīng)做指數(shù)運算(可以控制指數(shù)的大小)，從而控制attention的程度，指數(shù)越大，響應(yīng)高的用戶embedding最終權(quán)重占比越大。Softmax 對結(jié)果進行歸一化，最后一步的 MatMul 求得加權(quán)和。

MIND 借鑒了Hiton的膠囊網(wǎng)絡(luò)(Capsule Network)，提出了Multi-Interest Extractor Layer來對用戶歷史行為embedding進行軟聚類，算法如下：

ComiRec

ComiRec [15] 提出基于Capsule或Self-attention來建模行為序列，得到用戶的多個興趣向量，并使用一個可控的多興趣召回結(jié)果聚合模塊來平衡召回結(jié)果的準確性、多樣性，應(yīng)用到電商APP推薦召回模塊中。

5. Transformer 方法

基于RNN的序列建模模型，無法有效建模長序列、長依賴，以及行為序列內(nèi)多個行為彼此間的關(guān)聯(lián)關(guān)系。

為了解決這些問題，研究者們提出了基于Transformer建模行為序列，主要包括 ATRank [17], BST [4], DSIN [18], TISSA [19], SDM [20], KFAtt [21], DFN [22], SIM [23], DMT [24], AliSearch [17] 等。通過Transformer建模行為序列，逐步成為工業(yè)界搜索推薦行為序列建模的主流。

首先介紹一下 Transformer 方法，Transformer 模型的整體架構(gòu)如下圖所示：

這里面Multi-head Attention其實就是多個Self-Attention結(jié)構(gòu)的結(jié)合，每個head學習到在不同表示空間中的特征，如下圖所示，兩個head學習到的Attention側(cè)重點可能略有不同，這樣給了模型更大的容量。

Self-Attention 的具體結(jié)構(gòu)如下：

看一個將 Transformer 應(yīng)用到翻譯中的例子?！癐 arrived at the bank after crossing the river” 這里面的bank指的是銀行還是河岸呢，這就需要我們聯(lián)系上下文，當我們看到river之后就應(yīng)該知道這里bank很大概率指的是河岸。在RNN中我們就需要一步步的順序處理從bank到river的所有詞語，而當它們相距較遠時RNN的效果常常較差，且由于其順序性處理效率也較低。Self-Attention則利用了Attention機制，計算每個單詞與其他所有單詞之間的關(guān)聯(lián)，在這句話里，當翻譯bank一詞時，river一詞就有較高的Attention score。利用這些Attention score就可以得到一個加權(quán)的表示，然后再放到一個前饋神經(jīng)網(wǎng)絡(luò)中得到新的表示，這一表示很好的考慮到上下文的信息。如下圖所示，encoder讀入輸入數(shù)據(jù)，利用層層疊加的Self-Attention機制對每一個詞得到新的考慮了上下文信息的表征。Decoder也利用類似的Self-Attention機制，但它不僅僅看之前產(chǎn)生的輸出的文字，而且還要attend encoder的輸出。以上步驟如下動圖所示：

BST

BST[4] 基于Transformer建模行為序列，用于電商APP推薦。BST 的模型結(jié)構(gòu)主要是由 Embedding 層，Transformer 層與 MLP 層組成，如下圖所示：

Embedding 層主要分為 Other Features, User Behavior Sequence, Target Item, Other Features 主要包括用戶的基本特征、目標物品的基本特征、上下文信息、交叉特征等，先將每個大的種類特征內(nèi)的所有內(nèi)容進行拼接，再分別進行embedding映射為一個低維向量，最后得到一個embedding矩陣。User Behavior Sequence：由于表示一個序列特征，且不使用RNN神經(jīng)網(wǎng)絡(luò)，因此需要一個 Positional Feature 表示相對位置，Sequence Item Features表示歷史物品信息。

自注意力機制層使用 self-attention[5] 論文中的多頭自注意力機制。

MLP 層使用全連接神經(jīng)網(wǎng)絡(luò)。

BST 比較直接的將 Transformer 模型應(yīng)用到推薦系統(tǒng)中，通過引入 Transformer Layer 來很好的利用了用戶歷史行為序列信息，最終在 Taobao 的數(shù)據(jù)集上取得了很好的效果。

AliSearch

AliSearch [16]使用Transformer分別建模用戶的近期序列（點擊，加購，購買的混合序列）、長期點擊序列、長期購買序列、近期端上點擊序列、近期端上曝光序列，用于電商APP搜索的CTR，CVR預(yù)測任務(wù)。其模型結(jié)構(gòu)如下圖所示：

AliSearch 模型結(jié)構(gòu)大致所圖所示，用戶畫像、多個行為序列特征、待打分的商品特征和一些其他的實時上下文特征（天氣、網(wǎng)絡(luò)、時間等特征），最終concat之后，進入DNN的分類器。行為序列建模是模型中最重要的部分之一，對于實時刻畫用戶興趣尤其重要。在這里采用self atten和atten pooling的方式來做序列建模，self atten刻畫行為之間的相互關(guān)系，atten pooling對行為進行匹配激活并實現(xiàn)combine。這是一個通用化的序列建模組件。

對于近期序列和端上點擊序列，使用self-attention建模，然后使用user和query來解碼得到用戶近期興趣向量。DMT中是推薦系統(tǒng)所以使用target item來解碼，AliSearch是搜索任務(wù)，所以使用user和query來解碼（搜索對相關(guān)性要求高、不需要使用每個待排序商品解碼效率更高）。

對于長期行為序列，作者將過去兩年的行為分成8個季度序列。每個季度序列，使用self-atention建模，得到每個季度的興趣表達。然后使用近期興趣向量來解碼多個長期行為序列，得到長期興趣向量。

對于端上曝光未點擊行為，使用pooling來建模。然后使用近期興趣向量和曝光未點擊興趣向量，計算輔助loss。

6. 圖神經(jīng)網(wǎng)絡(luò)方法

SURGE

在 SIGIR2021 中，Chang 等人將圖卷積應(yīng)用在序列特征建模中，提出 SURGE (SeqUential Recomendation with Graph neural nEtworks) 模型[3]。該模型主要分為四大部分，包括興趣圖構(gòu)建，興趣融合圖卷積，興趣圖池化，和預(yù)測層。模型的框架如下圖所示：

興趣圖構(gòu)建的主要目的是將用戶的交互序列轉(zhuǎn)變?yōu)橐粋€興趣圖，而用戶的核心興趣就會體現(xiàn)在項目節(jié)點間的相關(guān)性上，而預(yù)測下一個點擊項的任何就轉(zhuǎn)換為通過用戶的核心興趣來判斷交互發(fā)生的可能性。

興趣融合卷積的目的是通過GNN的思想，利用上個階段A得到的興趣圖 ，通過圖卷積操作實現(xiàn)相關(guān)項目節(jié)點間的信息流通（即局部范圍內(nèi)有差別的鄰居聚合）來形成多個代表用戶不同興趣的簇集群，這一過程類似于圖表示學習任務(wù)常見的節(jié)點分類。而為了減輕聚合過程中產(chǎn)生的噪聲，作者提出兩種注意力，包括簇意識注意力和搜索意識注意力。

興趣圖池化有點類似于卷積神經(jīng)網(wǎng)絡(luò)中的池化操作，通過學習一個集群指定矩陣，再通過矩陣相乘得到不同的興趣集群表示，然后利用圖中每個節(jié)點的重要性分數(shù)，得到全局圖表示。

預(yù)測層對于上一階段得到的興趣圖進行位置平整的到精簡版的興趣序列，利用 AUGRU(GRU with attentional update gate) 輸出用戶層的表示，最后將用戶表示，興趣圖表示以及下一個需要預(yù)測的項目表示進行級聯(lián)(concat) 后接 MLP 層，得到最后 CTR 預(yù)估的結(jié)果。

03

在 EasyRec 中將序列特征快速落地

接下來以 DIN 模型為例介紹將序列特征快速落地。

1. EasyRec 介紹

EasyRec[1] 是阿里云計算平臺機器學習PAI團隊開源的大規(guī)模分布式推薦算法框架，github 地址為：github.com/alibaba/EasyRec。EasyRec 正如其名字一樣，簡單易用，集成了諸多優(yōu)秀前沿的推薦系統(tǒng)論文思想，并且有在實際工業(yè)落地中取得優(yōu)良效果的特征工程方法，集成訓練、評估、部署，與阿里云產(chǎn)品無縫銜接，可以借助 EasyRec 在短時間內(nèi)搭建起一套前沿的推薦系統(tǒng)。

2.?EasyRec?環(huán)境配置及運行

使用 EasyRec 可以見 EasyRec 文檔[2], 快速運行 EasyRec 可以見教程：

https://easyrec.readthedocs.io/en/latest/quick_start/local_tutorial.html

首先數(shù)據(jù)必不可少，可以先參考 EasyRec 中自帶的數(shù)據(jù)集配置，規(guī)范格式。其次需要配置文件，對于自有數(shù)據(jù)集，配置文件可以參考：

https://easyrec.readthedocs.io/en/latest/feature/data.html

對于想先簡單嘗試 EasyRec 來說，可以直接使用 EasyRec 中自帶的配置文件，見 samples/model_config 文件夾。

3. 序列特征數(shù)據(jù)前準備

序列特征，是多個特征的集合，組成序列。構(gòu)建序列特征一般分為兩步，第一步是構(gòu)建原始序列特征。以實際工作為例，原始序列特征一般用 ":" 來分隔特征名和值，用 "#" 來分隔多個特征，用 ";" 來分隔多個序列。

第二階段是預(yù)處理。預(yù)處理的目的是要處理成 EasyRec 可以接受的處理方式，預(yù)處理后每個單獨的序列特征要放在一起。如對于 item__svid 特征，就要把序列中的所有的 item__svid 特征都要挑出來，放在一起，可以用 "|" 分隔，在 EasyRec 中配置好后就可以進行訓練。此處還要注意要保證離線在線一致性。

3. 在 Easyrec 中使用序列特征

序列特征在 EasyRec 中有專門的示例 config?，可以查看配置文件，配置文件位于以下位置：samples/model_config/din_on_taobao.config。

在配置文件中序列特征可用如下表示：

feature_configs : { input_names: 'tag_brand_list' feature_type: SequenceFeature separator: '|' hash_bucket_size: 100000 embedding_dim: 16}feature_configs : { input_names: 'tag_category_list' feature_type: SequenceFeature separator: '|' hash_bucket_size: 100000 embedding_dim: 16}其對應(yīng)的兩個特征的原始輸入形式為： 4281|4281|4281|4281|4281|4281|4281|4281|4281|4281|4281|4281|4281|4281|4526|4526,283837|283837|283837|283837|283837|283837|283837|283837|283837|283837|283837|283837|283837|283837|367594|367594這個配置文件使用了 DIN 模型，具體細節(jié)可以參考對應(yīng)的論文[6]。離線訓練完成后，可以再參考文檔[8]進行導出操作，部署到線上，快速應(yīng)用到推薦場景中。

04

參考文獻

[1] EasyRec :?github.com/alibaba/EasyRec

[2] EasyRec 文檔：https://easyrec.readthedocs.io/en/latest/

[3] Chang J, Gao C, Zheng Y, et al. Sequential Recommendation with Graph Neural Networks[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 378-387.

[4] Chen Q, Zhao H, Li W, et al. Behavior sequence transformer for e-commerce recommendation in alibaba[C]//Proceedings of the 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data. 2019: 1-4.

[5] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008.

[6] Yu Z, Lian J, Mahmoody A, et al. Adaptive User Modeling with Long and Short-Term Preferences for Personalized Recommendation[C]//IJCAI. 2019: 4213-4219.

[7] Koren Y. Factorization meets the neighborhood: a multifaceted collaborative filtering model[C]//Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining. 2008: 426-434.

[8] EasyRec 導出文檔：https://easyrec.readthedocs.io/en/latest/export.html

[9] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1059-1068.

[10] Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for youtube recommendations." Recsys'16

[11] Ouyang, Wentao, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, and Yanlong Du. "Deep spatio-temporal neural networks for click-through rate prediction." KDD'19.

[12] Zhou, Guorui, Na Mou, Ying Fan, Qi Pi, Weijie Bian, Chang Zhou, Xiaoqiang Zhu, and Kun Gai. "Deep interest evolution network for click-through rate prediction." AAAI'19.

[13] Ni, Yabo, Dan Ou, Shichen Liu, Xiang Li, Wenwu Ou, Anxiang Zeng, and Luo Si. "Perceive your users in depth: Learning universal user representations from multiple e-commerce tasks." KDD'18.

[14] Li, Chao, Zhiyuan Liu, Mengmeng Wu, Yuchi Xu, Huan Zhao, Pipei Huang, Guoliang Kang, Qiwei Chen, Wei Li, and Dik Lun Lee. "Multi-interest network with dynamic routing for recommendation at Tmall." CIKM'19.

[15] Cen, Yukuo, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, and Jie Tang. "Controllable Multi-Interest Framework for Recommendation." KDD'20.

[16] [AliSearch]:?搜索模型核心技術(shù)公開，淘寶如何做用戶建模？

[17] Zhou, Chang, Jinze Bai, Junshuai Song, Xiaofei Liu, Zhengchao Zhao, Xiusi Chen, and Jun Gao. "Atrank: An attention-based user behavior modeling framework for recommendation." AAAI'18.

[18] Feng, Yufei, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, and Keping Yang. "Deep session interest network for click-through rate prediction." IJCAI'19.

[19] Lei, Chenyi, Shouling Ji, and Zhao Li. "Tissa: A time slice self-attention approach for modeling sequential user behaviors." WWW'19.

[20] Lv, Fuyu, Taiwei Jin, Changlong Yu, Fei Sun, Quan Lin, Keping Yang, and Wilfred Ng. "SDM: Sequential deep matching model for online large-scale recommender system." CIKM'19.

[21] Liu, Hu, Jing Lu, Xiwei Zhao, Sulong Xu, Hao Peng, Yutong Liu, Zehua Zhang et al. "Kalman Filtering Attention for User Behavior Modeling in CTR Prediction." NIPS'20.

[22] Xie, Ruobing, Cheng Ling, Yalong Wang, Rui Wang, Feng Xia, and Leyu Lin. "Deep Feedback Network for Recommendation." IJCAI'20.

[23] Pi, Qi, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, Xiaoqiang Zhu, and Kun Gai. "Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction." CIKM'20.

[24] Gu, Yulong, Zhuoye Ding, Shuaiqiang Wang, Lixin Zou, Yiding Liu, and Dawei Yin. "Deep Multifaceted Transformers for Multi-objective Ranking in Large-Scale E-commerce Recommender Systems." CIKM'20.