分享嘉賓：張知臨?阿里巴巴 高級算法專家

編輯整理：熊佩 華中師范大學

出品平臺：DataFunTalk

導讀：近幾年，互聯網廣告營銷市場規模不斷擴大，其累計市場規模已達千億。機制設計在廣告投投放中扮演著核心角色，如何幫助廣告主出價以贏得更有價值的流量，如何設計激勵兼容的機制以保障平臺收入和穩定、可持續的健康發展等都屬于這個范疇。本文基于阿里媽媽展示廣告業務，詳細介紹廣告智能拍賣機制的演進之路，主要內容如下：

阿里媽媽展示廣告業務背景介紹

阿里媽媽展示廣告業務現狀與分析

AIDA廣告智能決策分配框架

智能拍賣機制演進之路

AIDA廣告智能決策分配框架未來規劃

提到機制設計，大家首先想到的詞是什么呢？經濟學，囚徒困境，博弈論，激勵兼容。從本質上來說，廣告其實是一個經濟學問題，機制設計是這個問題的核心。這其中包含了很多研究問題，比如對于每次展現機會應該分配給哪些廣告主，并扣多少錢；在廣告主相互博弈的商業系統中，如何設計廣告拍賣機制才能保證廣告主說真話，并使得廣告平臺博弈均衡。智能拍賣機制是這兩年來阿里媽媽展示廣告團隊逐步摸索并建立起來的一個方向，近期也被列為了阿里媽媽八大智能方向之一。下面我會從整個技術發展的脈絡出發，給大家匯報下我們在這個方向上的工作。

01阿里媽媽展示廣告業務背景介紹1. 阿里媽媽消費者全鏈路精準營銷核心場景

阿里媽媽展示廣告主要是指阿里媽媽展示域媒體的商業營銷產品，常見的產品有超級推薦和超級鉆展。經過近幾年高速發展，展示廣告已經成為阿里媽媽的核心產品，持續為數以百萬的廣告主提供營銷服務，每年為集團貢獻可觀收入。

投放媒體方面，展示廣告涵蓋了淘內所有的展示位和信息流；淘外也接入了阿里集團內多數Apps，比如支付寶、優酷等；同時，阿里集團外的媒體比如頭條等都接入，以幫廣告主實現全媒體渠道投放。對于廣告主，可以做到消費者全鏈路精準營銷。對于消費者，在阿里的媒體內、外，整個投放路徑上，可以體驗到更優質的廣告服務。

廣告主投放目的方面，廣告主商品種類繁多、營銷目標各異。為了更好地滿足廣告主的營銷服務，阿里媽媽推出了一系列的智能營銷工具。比如品牌廣告的合約售賣模式，效果廣告的CPM/CPC/CPA售賣模式，針對這些基礎類型投放的一些優化產品有OCPM/OCPC及更加智能的BCB/MCB等。另外，展示廣告資源位也越來越多，為了幫助廣告主同一份預算投放在所有媒體上，近期阿里媽媽也推出了展示OneBP。

2. 大媒體廣告平臺下的多目標利益優化

現在的媒體搭建廣告平臺，并運營廣告主，形成了包含媒體-廣告平臺-廣告主的大媒體形式。在這種全新營銷背景下，多目標利益優化是廣告平臺重要優化方向。廣告主有多個異質化營銷目標，比如曝光、拉新、轉化等。而媒體需要優化用戶體驗，在電商場景上又有拉動GMV的要求。比如鉆展需要調控CTR以提升用戶體驗，信息流要優化廣告主ROI。而這種大媒體形式下的廣告平臺，除了優化廣告收入之外，還需要考慮到廣告主、媒體等多方利益的優化訴求。

機制策略是整個廣告系統的核心，通過出價、分配和計費決定哪些廣告主的廣告最終展示及費用，從而影響廣告主和廣告平臺的效果。因此，機制策略需要設計靈活的決策算法幫助廣告主優化多樣的營銷訴求，通過設計拍賣機制實現平臺的多目標優化。由于廣告系統存在多方博弈，機制策略還需要具備良好的經濟學性質。最后，廣告系統的發展需要持續的幫助廣告主創造增量價值，并引入增量流量增加收入，所以無論對于策略迭代還是新場景的接入，都需要設計好的頂層框架，來推動業務的快速發展。

02阿里媽媽廣告業務現狀與分析

阿里媽媽展示廣告，在AIDA系統之前，在解決多方利益優化問題上，使用了平臺視角的OCPC，其基本思路就是通過調節bid來優化廣告的多目標，同時又通過把bid約束在一個區間內來保證廣告的利益。仔細分析下來，就會發現這個方案其實把多方利益耦合在一起來進行優化，這樣效果上就會存在蹺蹺板效應。我們對這個問題進行了思考，這個算法的耦合狀態限制了多方利益的同時優化，且統一的ROI約束很難適應新的優化目標的接入。而為引入增量流量，未來要接入新的的場景和業務模式，原有的框架把代碼多次拷貝，導致了系統非常臃腫，難以維護和迭代。這也是為什么我們要設計AIDA這一面向未來業務發展的框架。 03AIDA廣告智能決策分配框架

面向未來業務發展，多方利益優化、經濟性公平均衡等，阿里媽媽展示廣告設計了智能決策分配框架，簡稱AIDA。

AIDA基于業務未來發展趨勢，以算法架構先行，引入拍賣機制作為理論基石，設計了AIDA分層協同算法框架。算法框架分為兩層，下層是面向廣告主多目標訴求的Bidding智能體，將廣告平臺流量價值貨幣化。上層是通過拍賣機制優化整個廣告平臺的目標。下層通過bidding機制撬動整個平臺側的分配機制，上層通過經濟學性質保證下層廣告主利益均衡。

在這個算法框架下，廣告主的多樣化優化目標是獨立的，新增的廣告主或者營銷目標，可以靈活插拔式優化。面向廣告主目標優化的出價算法在經濟學拍賣機制保證下，通過博弈均衡保證系統的穩定性。AIDA框架前展示廣告的拍賣機制是靜態的，比如GSP、VCG等，為了打開效果優化的天花板，并利用工業界海量數據的優勢，并結合深度網絡的強大的學習能力，打造了智能拍賣機制的方向，從而誕生了Deep GSP 和Neural Auction等這樣的拍賣機制策略。最后，為了能夠更好的支撐業務發展，和工程團隊一起搭建了平臺化框架，這樣新場景或者新業務來的時候，能夠快速的把機制策略的能力補全。

綜合來看，AIDA分層協同算法框架，通過bidding智能體優化廣告主多目標，通過智能拍賣機制提升平臺分配效率。AIDA平臺化的工程框架，快速支撐業務迭代。

04智能拍賣機制演進之路1. 為什么要做智能拍賣機制

如前所述，大媒體形式的廣告平臺需要優化多目標，但是廣告平臺的多目標優化不等同于經典的多目標優化問題，在廣告博弈場景下，需要設計面向多目標優化的拍賣機制。而經典的拍賣機制，比如Myerson Auction，GSP、VCG等，往往只考慮單個目標優化，沒有辦法直接應用到多目標的優化上。

近幾年學術界將深度學習和強化學習技術應用到拍賣機制領域中，顯著地提升了優化效果。以哈佛，Google Research為代表的學術界在深度拍賣機制做了大量的探索，其中RegretNet在深度拍賣機制里受到廣泛關注。但是學術界設計的拍賣機制理論假設很強，難以應用到工業界。

因此我們開始思考，如何設計新型的面向多目標優化的拍賣機制，并結合工業界海量數據的優勢，通過深度網絡提升機制的優化能力。

2. 問題定義和挑戰

基于以上背景，阿里媽媽展示廣告定義了多目標拍賣機制的問題及挑戰。

① 問題定義

其中f(b;M)函數是優化目標，比如RPM、CTR、GMV。優化目標的約束條件是經濟學性質，比如均衡博弈，即在保證良好的經濟學性質下優化多目標。

② 面臨挑戰

如何將經濟學性質融入到機制設計中，即博弈均衡是一個經濟學問題，如何用簡潔的數學形式表達，并融入模型中學習。

如何面向后驗目標優化，即很多優化目標指標難以精準估計，只能通過真實反饋的方式才能獲得。

如何靈活調控多目標，即不同階段優化目標不一樣，如何設計更靈活的調控機制，滿足不同階段優化目標。

3. 深度網絡賦能拍賣機制(Deep GSP)

① 面向多目標優化的智能拍賣機制Deep GSP

定義展示廣告智能拍賣機制的問題邊界后，調研了具備經濟性激勵兼容的Myerson Theorem理論，該理論的充要條件有兩個，一是單調分配，即廣告主出價越高，獲得展示分配的概率越大；二是最小扣費，即保證廣告主恰好競得展示流量的最小扣費，等價于第二家廣告主的出價。同時，Myserson理論能推導收入最大化的最優機制。假設廣告主value的分布已知且獨立，能推導出一種最優的廣告的分配函數，根據分配函數及廣告主的出價決定流量給哪個廣告主。

基于Myserson啟發及GSP框架，設計了具有良好的可解釋性且易于部署的Deep GSP機制。該機制定義了分配形式，當給定廣告主的競價隊列時，在遵循Myserson激勵兼容充要條件下，根據廣告主自身的特性學習模型系數?，從而影響rankscore決定分配及扣費。當滿足對單調遞減，Deep GSP對于效用最大化（utility maximizer）單個廣告主滿足激勵兼容，多個廣告主滿足納什均衡。同時，對于value maximizer廣告主也滿足激勵兼容。

② Deep GSP關鍵創新技術

簡單介紹Deep GSP的關鍵創新技術，具體細節可以參考論文。

首先，單調性保證廣告主單調分配。bid作為網絡特征，單調遞增代表網絡對特征的梯度大于0，設計網絡時需考慮單調性部署。

其次，站在平臺機制視角，需要決定給廣告主什么動作，哪個廣告主勝出。最好的機制是讓所有的廣告主配合起來，讓最好的廣告主勝出，差的廣告主失敗，然后評估對廣告主動作的好與壞，以及對整體效果的影響有多少，其中涉及到信用分配的問題，結合啟發式算法綜合考慮每個廣告的質量，對整體的影響做reward。

最后，面向一個真實反饋做模型的訓練。和其他強化學習不太一樣，沒有使用模擬環境，而是基于真實的環境產生數據，然后做閉環的訓練，這樣可以保證優化效果真實有效。

③ DeepGSP業務貢獻及學術沉淀

在多目標優化方面，帕累托曲面顯示Deep GSP效果優于GSP、uGSP。在提效與多目標調控方面，Deep GSP在2020.5-2020.11共做了多次技術升級，通過面向真實反饋優化，提升了平臺分配效率，累計拉動信息流廣告大盤兩位數增長。多目標調控方面，多次用于業務決策提升CTR和ROI，調控效果顯著高于uGSP等策略。

Paper "Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising" 被WSDM'2021接收，大會對文章也做出了“開創性”稱贊。

4. 端到端優化的拍賣機制(Neural Auction)

① 智能拍賣機制的進一步思考Neural Auction

Deep GSP是基于廣告粒度建模，通過信用分配解決強化學習優化方向。但是存在兩個問題，第一，信用分配難，Reward設計非常依賴業務經驗；第二，搜索空間大，如果<狀態，動作>探索不充分，很難找到最優解。

為突破Deep GSP的問題，經過多智能體value分配或者集合建模，嘗試將所有的廣告主參競放在一個集合中優化，建模和效果在同一個維度，省去做信用分配，單目標優化有效，但是多目標優化效果不明顯。單目標是端到端優化，只要學出value的分布，然后進行softmax，將最大的作為展示廣告，第二作為扣費。多目標下需要對所有的廣告先排序，基于排序結果進行分配扣費，但是排序過程不可微，無法像監督學習通過優化效果，通過Loss反向傳遞驅動模型訓練。因此，推出Neural Auction拍賣機制，通過最后的效果反向傳導的方式，驅動整個模型訓練，實現端到端學習。

② Neural Auction - 端到端優化的拍賣機制

基于可微排序算子，實現整個過程的端到端學習。

沿用“基于rankscore排序”的機制分配框架，并使用深度神經網絡計算每條廣告的rankscore，Neural Auction主要由三部分模塊構成：

集合編碼器（Set Encoder），學習整個競價隊列的上下文信息，輸出一個定義在競價隊列上的特征；

上下文評分函數（Context-Aware Rank Score Function），以單個廣告的特征和競價隊列特征作為輸入，學習每個廣告的排序分數，并保障廣告主的 IC/IR 性質；

可微排序引擎（Differentiable Sorting Engine），以競價隊列所有廣告的排序分數為輸入，以可微的形式進行排序操作，并進一步計算在當前排序分狀態下的其他估計指標。

③ Neural Auction技術細節 - Differentiable Sort Engine

④ NeuralAuction 業務貢獻和學術沉淀

在多目標優化方面，帕累托曲面顯示Neural Auction效果優于GSP、uGSP、Deep GSP。在提效與多目標調控方面，Neural Auction在2021.4 - 2021.6做了多次迭代升級，在展示廣告多個場景效果取得大幅提升。大促期間，多目標調控顯著提升了廣告ROI。

Paper “Neural Auction: End-to-End Learning of Auction Mechanisms for E-Commerce Advertising”已經被KDD2021接收。

5. AIDA平臺化 - 面向機制策略的平臺化框架

為了支撐業務的快速發展，提升策略迭代效率，設計了面向機制策略的平臺化框架AIDA。其中兩個創新的模塊是：

圖化在線服務引擎，也稱為AIDA agent。屬于業界開創性的基于TensorFlow框架將機制策略以圖化的編程模式、高并發的提供服務。

離線策略解決方案部分，為了業務靈活快速接入，且保障算法服務調用的穩定性，將離線策略沉淀到阿里媽媽的星云平臺。該平臺是展示廣告核心的離線解決方案框架。

05AIDA廣告智能決策分配框架未來規劃

智能拍賣機制設計在阿里媽媽展示廣告初現成果，AIDA平臺化工程框架對機制策略迭代效率，提供的服務性能等也產生深遠價值。對于廣告智能決策分配框架有如下五方面規劃：

技術縱深：雖然初步探索出機制設計的幾種解決方案，但工業界機制策略是非常復雜的問題，目前技術只解決了小部分問題，更多的業務場景需要把技術做得更深。

新場景、新技術相互促進：新業務能給技術帶來新視角，同時，新技術也能給業務帶來新的想象力。比如按照點擊售賣，或者按照展現售賣等，誕生了很多新需求。比如集合拍賣，需要技術突破，促進業務突破。

廣告生態優化：面向整個廣告系統可持續健康發展，比如廣告主扶持，新品、新客冷啟動等。

基礎機制理論探索：傳統的機制設計，假設廣告主優化目標單一，物理推導或者技術設計相對簡單。目前整個智能化的廣告系統，廣告主營銷的商業目標變得更加多樣化。廣告主優化目標的研究，決定機制設計優化方向。

開源和平臺化：策略或機制設計上有成效的結果，通過論文形式公開共享，同時，在工程上實現開源和平臺化。