01知識圖譜構建背景

過去一兩年，整個電商領域發生了很多變化，這些變化促成了消費電商的加速進化，在進化的同時，也面臨了更多挑戰，在這種背景下，知識圖譜該如何演進升級也成為產業界關注的重點。

1. 內容、興趣電商興起

我們可以看到包括直播電商在內的內容電商在過去的幾年整體滲透率以及市場規模逐年高速增長，這種新型的導購形式給消費者帶來了很多購物行為方面的變化。

2. 消費觀念的變化

最大的變化是消費觀念，消費者不再僅是簡單的需求驅動或者貨架式搜索，在追求優質品質之外，可能一個東西非常好玩，或是外觀漂亮，又或者智能、充滿想象力，就有可能激起消費者的購買需求。所以消費者的需求越來越精細化、個性化。零售市場也更分化、去品牌，越來越追求個性，整體的物質供給也進一步的極大豐富。面對新的消費格局，阿里也遇到了一些更多更大的挑戰和問題。

3. 挑戰

① 標準化程度不夠

雖然上層消費者的需求和購買商品極大豐富與個性化，但越個性化越豐富的情況下，對標準化就提出了更高的要求和挑戰。一定的商品標準化，能夠促進更大范圍內的商品流通以及信息互通互聯，只有讓商品流通起來，才能夠挖掘發現更大的商機和價值，這在今天的場景之下顯得尤為重要。因此，在新的變化下，阿里面臨著標準化程度不夠的挑戰。

具象化幾個情況，比如現在的類目越來越復雜，品類越來越多，越來越精細化，商家有時會無從選擇，不知道該如何快速地選擇最適合自己的品類。

面向平臺運營，整體的類目屬性體系（Category-Property-Value，簡稱CPV）的管理有時也會跟不上市場的變化，因為之前這套體系都是通過行業運營、行業領域專家手工梳理，但現在的變化太快，每隔一段時間就會出現新的品類、新的元素、新的概念，因此cpv管理需要能夠動態化，能夠更快地捕捉市場上的變化，給到行業運營更加智能化的策略和建議。

另外，目前很多的商品管理代替了商品定義，商品管理體系的調整和前臺的商業模式包括玩法、營銷、組織架構可能都會有關聯，有時會脫離商品本身的客觀定義，會出現一些分類維度不一致、同質類目等情況。

最后阿里所服務的市場形態是非常多的，每個市場業態給消費者提供的服務也存在一定的差異化，這種差異就會導致商品或商戶上的信息的差異分布。為了更好地讓這些信息流通起來，有一部分知識能夠泛化復用，從而給消費者提供更好的服務，面向市場管理差異所導致的商品信息差，也希望用一定的標準化的數據去解決這些問題。

② 信息結構化不夠精準豐富

第二個挑戰是在商品信息結構化方面。更加多元化、個性化的購物需求，有時會導致商家商品運營變得比較困難。比如淘寶中有些商家為了更好地滿足消費者多元的消費需求，會做一些關鍵詞的堆砌，而從消費者的視角來看，標題的可讀性可能會不太好。再比如一個非常正常的商家經營需求，售賣茶壺的同時希望能夠順帶賣茶杯，但是由于平臺做的還不夠精細化和結構化，銷售屬性只有一個顏色分類，商家目前也只能先暫時放在顏色分類下去售賣茶杯，這會給消費者帶來一些困惑和購物體驗上的不便，這也是阿里近期希望重點解決的，通過提升商品語義化、結構化的程度，從而提升消費者的購買體驗。

③ 特性和個性缺乏結構化表達

第三個挑戰是商品的特性缺乏一些結構化的表達，在多元化、個性化的市場背景之下，客觀不變的信息就是標準化那部分，變化的就是個性化的表達。我們希望通過知識圖譜的技術能夠對這一部分做一些結構化的組織和表達，一方面更好地理解我們的商品，另一方面可以更好地匹配消費者的購物需求，更加精細化地運營商品，幫助商家更好成長。

02知識圖譜構建

下面重點介紹阿里數字商業知識圖譜的升級和相關工作。

1. 數字商業知識圖譜升級

在這樣大的機制和模型設計之下，數字商業知識圖譜大致如上圖所示。通過知識圖譜去管理和組織龐大的商業要素。大概會分成四層：

① 第一層本體層，即商品知識圖譜的schema，這一層的數據建設主要需要解決的問題主要有：

如何智能化地動態更新schema，使得這棵schema樹能夠快速高效地捕捉、洞察市場新趨勢、新變化。

阿里各個業態都有自己的商品、店鋪CPV，如何建設標準的schema，讓不同市場的商品數據能夠通起來，如何做跨市場類目歸一、屬性歸一。

之前的schema設計多數都是類目屬性體系，其能夠較為全面準確地刻畫商品偏客觀部分的認知和理解，但隨著個性化、精細化需求越來越多，如何捕捉刻畫商品偏主觀部分的認知和理解，也是未來亟需解決的難點和問題。

② 本體層之下是概念層，具備某個相同屬性的一類商品可以抽象概括為一個概念，比如適合「約會」的商品，有「保濕」功效的商品，「楊冪代言」的商品等等，其具備一定的泛化性，可解釋性，抽象性，且概念與概念之間有各種關系，例如「人群=0-3個月寶媽」需要「尺碼=NB，品類=尿不濕」，「成分=玻尿酸，品類=面霜」具有「功效=保濕」等等，這些共同構成了概念圖譜。科研界也有類似常識圖譜的概念，這一層主要作用就是將存在于零售導購人員或者行業運營腦海中的知識或者經驗進行數字化，用概念、概念-概念之間的關系去描述這種知識/經驗，這一層主要需要解決的問題主要有：

如何確保概念圖譜的豐富性，快速高效地捕捉市場上最新的元素、概念。

如何高效地挖掘概念圖譜里的「知識三元組」，即做大規模的知識挖掘。

③ 實體層，更多是指具體的生態內的每一個商品、每一個店鋪、每一個門店，這一層的實體規模非常巨大，規模在百億級別，這一層需要解決的問題主要有：

如何確保這么大規模的海量商品數據與schema層、概念層的掛載準確豐富，即構建商品/店鋪 profile。

如何面對海量商品數據構建高可用跨渠道的商品關系服務，其中尤以同款關系最為重要。

④ 事件層是客觀生活當中的一些事件，包括對環境做的一些數字化的工作。

2. 本體層

本體層要解決的一個核心挑戰點是提升標準化程度。之前阿里的每個業態，包括淘寶、國際化、本地生活等，都有獨立的類目屬性去管理，之間沒有交互，數據也不通，因此為了能夠讓商品流通起來，我們進行了一些探索和試錯，大概經歷如下幾個階段：

① 相互獨立：不同市場體系兩兩之間建立映射關系，這樣的方案優點相對比較直接，信息損失較少，缺點是成本較高，運營維護不方便。

② 關系互通：從各個市場schema體系中，抽象沉淀能夠滿足大部分業務基本需求的相對標準的知識體系，即標準CPV，然后通過標準CPV體系和每一個渠道CPV建設映射關系，優點是相比方案1，成本相對有所降低，N個市場只需要建立N個映射關系即可，缺點是標準較難確定，信息損失較大。

③ 共享+個性定制：在方案2的基礎上，希望未來一些新市場需要構建自身市場的類目屬性體系時，可以先參考借鑒標準CPV，幫業務快速建設到60分，然后60分-90分個性化、精細化的部分，業務可以根據自身需要和市場特點進行個性定制和延展，這樣能進一步降低各市場信息互通的成本，同時又保持各市場個性化的定制和需求。

3. 概念層

在構建概念圖譜之前，首先要想清楚要構建的概念的范圍和約束是什么，因為人類社會抽象沉淀下來的概念實在太多，凡事萬物皆可概念化，「天空」「白云」「桌子」「美好」可能都是一種概念，那我們到底要建設哪些概念，建設到什么程度才算建設完成。對于這個問題的回答，核心還是看所要解決的場景和問題是什么。

對于阿里數字商業知識圖譜而言，所服務的核心場景依然是導購，希望幫助平臺更好地理解商品，更好地進行人貨匹配，因此要構建什么樣的概念圖譜首先要研究消費者決策理論，去洞察消費者在購買決策過程中核心的決策節點有哪些，好在傳統零售，很多經濟、市場學家已經有相當成熟的方法論去闡述這個問題，我們要做的就是將這套理論數字化、智能化。

通過對霍華德一謝思模式對消費者購買決策的理論分析，我們最終將其數字化建模成以下幾個步驟及環節：

需要認識

購物需求的建模，什么人（人群實體）在什么地方（地點實體）什么時間（時間實體）做什么事（事件實體）。

信息收集

有了需求之后可能就會隨之而來產生購物的需求，比如約會需要穿連衣裙，帶首飾，生孩子需要奶瓶、奶粉、奶嘴等等，而目前往往消費者對這部分的拆解都是通過百度、知乎、寶寶樹、朋友等一些其他通用搜索或者垂直領域app獲取了解的，那這里從需求拆解到品類，甚至細分品類（屬性項屬性值+品類），例如連衣裙、斬男色的口紅、佳能的相機、硅膠的奶嘴、牛油果綠的連衣裙。

方案評估

這里主要是從品類眾多商品中選擇一個最適合自己的產品，例如需要買相機，是買「佳能5D2」還是「索尼奶昔7」。

購買決策

如果確定要買哪款產品了，需要解決的問題主要是平臺上的商品、sku太多，如何快速讓消費者在眾多選擇中選擇一個最適合自己的，這里主要涉及一些商品item顆粒度上的認知和刻畫，比如一些熱點主題標、服務標、營銷標、資質標、價格、商戶/商家標。

購后行為

這塊主要就是評價，需要構建評價標簽體系。

4. 藏經閣知識引擎研究計劃

由于阿里的商品數據規模比較龐大，如何構建千億級別規模的垂直領域知識圖譜，之前在產業界一直沒有特別好的方法論和最佳實踐，2018年我們聯合清華大學、浙江大學、中科院自動化所、中科院軟件所、蘇州大學等五家機構，聯合發布藏經閣（知識引擎）研究計劃，我們和高校老師一起把知識引擎技術定義為五大技術模塊（知識獲取、知識建模、知識推理、知識融合、知識服務）并開發落地，具體技術框架如下：

知識建模

該模塊核心任務主要是從不同類型的多源數據中，構建生成領域知識體系。領域知識體系的構建是對領域分類、屬性以及分類之間關系的定義，因其具有很高的抽象性和概括性，目前高質量的知識體系多由領域專家構建而成，最近我們也在研究開發相關的智能化模塊，希望能夠幫助提升領域專家構建schema的效率，達到半自動化，甚至全自動化的程度。

知識獲取

該模塊核心任務主要是從各種多源異構的數據源中結構化出各種知識，這里的多源異構數據源可以是結構化數據（如鏈接數據、數據庫數據）、半結構化數據（如網頁html、xml、百科類數據等等）以及無結構化數據（海量的文本數據，甚至語音、圖片數據等等），主要技術棧包括實體識別、實體鏈接、關系抽取、槽填充、事件抽取等。

知識融合

該模塊核心任務主要是發現碎片化及異構知識之間的關聯，獲得更完整的知識描述和知識之間的關聯關系，實現知識的互聯、互補和融合，與知識獲取最大的區別在于其輸入數據是兩個及多個結構化知識庫，核心技術棧包括本體對齊、實體對齊、信息融合。

知識推理

該模塊核心任務主要是構建面向大規模知識圖譜的推理與計算引擎，基于已有知識、背景知識推理和發現未知的知識，其核心是在已有知識圖譜上進行推理補全，核心技術棧包括知識表示、鏈接預測、知識推理、規則發現、XAI等。

5. 知識建模

在知識建模方面，其中一個比較重要的工作是能否高效大規模地識別關鍵屬性。關鍵屬性的定義是：能唯一確定一款產品的一組屬性集合。整個算法核心有兩大模塊，一個是異質信息融合模塊，它主要對標題以及商家填寫的部分結構化的信息做向量化表示，主要是解泛化問題，因為有些商家可能不填商品屬性，或者屬性是稀疏的，抑或屬性枚舉值不夠完善，希望通過向量化的知識表示做一定的泛化性。第二個是關鍵屬性的推理模塊，給一些賣家提報以及業務沉淀積累的同款商品訓練語料，針對兩個商品，做向量化表示之后，計算兩者相關的距離計算，例如cos距離、皮爾遜系數、LP距離等，通過構建距離矩陣，再通過決策樹識別判斷這兩個商品是否同款，而其中樹模型背后的可解釋的路徑就是關鍵屬性。

6. 知識獲取

在知識獲取方面，我們主要面臨的挑戰點有兩個：

① 整體的實體類型規模非常大，涉及上千種的實體類型，如何降低這上千種實體類型的標注成本以及解決其中長尾實體類型識別準確率的問題還是挺有挑戰和難度的。

② 需要能夠發現新實體，不光要能夠識別已知知識庫里的實體，也希望能夠準確識別洞察市場上的新概念、新實體，這就對整體NER的OOV能力提出了非常高的要求。

因此我們提出了基于半監督局部標注的學習模型。面對上千種實體類型，不可能給每一種類型都去標注上萬個訓練語料，這樣會導致訓練語料的獲取成本非常高。因此一般會采用遠程監督的方式，但是遠程監督會有錯標、漏標等問題，尤其結合挑戰2，我們會更關注漏標問題。

針對遠程監督帶來的漏標的現象，我們引入局部標注的思路去解決。傳統的遠程監督基本上是命中詞庫就會打BIOE標簽體系，但如果不在詞庫里面，其實不代表它一定不是一個實體，局部標注的思路就是針對這部分數據，不是直接在訓練語料里面標為O，而是可能標為一個unknown，然后通過self-training的學習方法，交叉標注完成對訓練數據的迭代標注，即針對這部分標簽去做一定的分類。如果能確定是或者肯定不是一個實體，那就把unknown轉為對應的BIOE，其余不確定的有可能是一個新的實體的，則會有對應的概率分布，最后計算一個全局最優的標注結果。一定程度實現通過模型的自我學習、自我認知，實現較大程度的泛化，這就是通過局部標注和self-training的思想去解決遠程監督帶來的漏標的問題。

另外為了解決整體實體類型規模比較大，更好地識別長尾的實體類型，我們也借鑒了閱讀理解的思路，給一段文本以及一個屬性項，問這個文本里面哪個是屬于這個屬性項的。整個過程當中會對整個句子和屬性分別編碼，再用注意力機制去做彼此信息的交互建模，最大化地利用原文本和屬性項的信息。

最后整個模型在一些公開數據集上面，取得了比較好的效果，尤其在OOV的識別性能上，比傳統的一些NER方法好很多，這也給我們能夠快速精準地發現市場上新實體帶來了很大的支持。

7. 知識融合

在知識融合這部分，最核心基本的任務就是跨渠道的同款商品識別，即實體對齊任務。在這個任務上，我們主要面臨如下幾個挑戰：

① 跨渠道信息差異大：由于跨渠道的schema和發布體系不一致，導致商品信息差別較大，例如：主圖質量不一、存在牛皮癬、拍攝角度不同、標題書寫風格多樣等問題導致無法精準對齊。

② 商品信息結構化程度不一：不同市場商品信息結構化程度差別較大，存在一定程度的信息漏填、錯填以及不填，這給任務的魯棒性和泛化性提出了更高的要求。

因此為了更好地解決這些挑戰，肯定要盡可能多地融合商品的各個方面信息，不同來源的信息能夠對商品信息做一定的補全泛化，解決部分信息漏填、錯填的現象，同時能大大提升模型的魯棒性和抗干擾能力。

因此團隊提出了一種新的多模態預訓練表征模型CAPTURE（Cross-modal contrAstive Product Transformer for instance-level prodUct Retrieval）。現有的多模態預訓練模型根據模型架構主要分為兩個類別：單流式架構和雙流式架構。

單流式架構采用一個Transformer同時處理圖片和文本的數據，在該Transformer內部通過自注意力機制（self-attention）實現不同模態間的信息交互。雙流式架構采用兩個獨立的Transformer分別來處理圖片和標題數據，捕捉這兩個模態各自的特性，然后再通過一些交叉注意力機制（cross-attention）實現不同模態間的信息交互，這里的交叉注意力機制指兩個模態交叉注意，即使用文本模態的特征attention每個圖片區域的特征，或使用圖片的特征attention標題中每個單詞的特征。關于這兩種架構的優劣并沒有定論，單流式架構在早期就將不同的模態信息進行融合，所以模態融合更加充分；而雙流式架構能夠在模態交互之前對不同模態數據進行不同的處理，具有較好的靈活性。

我們提出的CAPTURE采用“先對齊，再融合”的思路。具體的模型結構如上圖所示，輸入為圖片和文本數據，圖片首先經過一個目標檢測器得到商品主體，然后將主體的位置信息和特征信息進行編碼得到圖片embeddings；在文本模態上，我們將文本的位置順序和文本向量進行編碼得到文本embeddings。CAPTURE模型在結構上和訓練任務上都與現有多模態預訓練模型不同。在結構上，CAPTURE將上述的單流式架構和雙流式架構結合到一個模型上，分別堆疊 text/image transformer, cross-transformer, co-transformer三種網絡架構來編碼：

Text/image transformer分別輸入文本和圖片的embeddings，學習圖文各自的特征

cross-transformer通過交換multi-head attention中的key-value鍵值對來學習圖片和文本中的關系

圖片和文本的feature進行拼接，再輸入到co-transformer中進行多模態特征的聯合學習

我們使用大規模無標注的商品圖片和文本數據來訓練CAPTURE模型，然后再遷移到只有少量標注數據的同款檢索任務上進行微調。我們對比了包括VILBERT，LXMERT，CLIP，VL-BERT，VisualBERT以及UNITER等多個現有的多模態預訓練模型，為了公平對比我們使用了相同的實驗設定，包括訓練數據，迭代步數，模型層數以及特征維度。實驗結果表明我們的模型在實例級別的檢索任務上超過現有方法。多模態預訓練模型CAPTURE等相關成果已經發表在ICCV 2021上（Product1M: TowardsWeakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining）。

8. 知識推理

在知識推理方面，我們提出了一個知識顯著性的度量模型，為什么要提出這個模型呢？我們知道傳統的知識推理會用三元組的方式進行數字化建模，通用會用一些IE、關系抽取的技術來完成，但這些任務往往關注的是三元組的合理性，例如約會需要連衣裙，這是非常合理有效的，但是真正在業務使用的過程當中，又是不夠的，因為不是所有的連衣裙都適合約會。如果給所有的連衣裙都打上約會，并且在前臺進行透傳的話，消費者是會困惑的，因此需要對知識三元組的顯著性進行定義。

我們認為顯著性通常由兩方面的特性決定：

充分性：常識在概念的大部分情況下都成立，如：大多數跑步都需要跑步鞋，大多數兒童吃飯都需要湯勺。

必要性：概念是常識成立的主要原因，如：跑步是需要跑步鞋的主要原因，兒童吃飯是需要卡通圖案的湯勺的主要原因，開瓶器是需要喝酒的主要原因

我們提出了知識顯著性模型PMI-tuning，分別針對充分性和必要性做了一定的數學建模，相關工作目前也已整理成論文投稿中。同時為了更好地評估顯著性的效果，我們構建了相對應的顯著性知識三元組數據集，也對社會進行了開放共享，后面章節會具體介紹

9. 應用落地

阿里數字商業知識圖譜目前在阿里多個場景有落地，主要包括：

商品智能發布

利用知識圖譜更好的對商品、商戶做結構化和語義化，商家在發布一個新商品的時候，能夠通過知識圖譜的技術快速對齊和鏈接到已有的產品數據信息，幫助商家快速補全商品信息，助力商家智能發布。目前這個功能已經幫助商家優化了兩億的商品，節省了20萬人日工作量，大大提升商家體驗。

精準購物引導

通過構建更加面向消費者側、更加能夠洞察和探測市場趨勢的概念圖譜的數據建設，沉淀了一套圍繞電商場景的決策樹體系，去輔助前臺場景做商品導購，重構整個供需關系。整體的概念圖譜目前覆蓋淘系商品近20億，支持淘寶/天貓搜索、猜你喜歡、榜單等31個流量場景，提升消費者體驗。

商品實時管控

基于知識圖譜多源信息融合和校驗能力，能夠更加精準地知道一個商品信息是否準確，從而更好地去治理管控商品，做商品的實時管控。

跨渠道商品流通鋪貨

通過跨渠道的圖譜識別對齊能力，幫助商家拓寬一些銷售渠道，實現跨渠道的商品流通鋪貨，從而實現全球一盤貨。目前我們已累積幫助商家多渠道鋪貨經營商品17億+，幫助商家節省了3500萬人日工作量。

03數字商業知識圖譜開放共享

「開放促進互聯，連接創造價值」，秉承“利用開放的商業知識發現社會經濟價值”的理念，我們目前向全社會開放一部分阿里數字商業知識圖譜的數據集及任務集，具體可以訪問我們的網站：kg.alibaba.com 。

第一版本包含了超過18億的三元組，多達67萬的核心概念，2681類關系，后面還將持續維護與擴展，希望通過開放的方式，和科研界、產業界相關團隊一起，推動知識圖譜領域的發展，挖掘數據更大的價值，促進數字商務經濟等領域的交叉學科研究，服務數字經濟健康發展的國家戰略需求。

我們還將基于該數據集建立面向垂域的知識圖譜評測基準，包括但不限于商品常識知識顯著性推理、基于知識圖譜的商品同款挖掘、多模態商品知識圖譜鏈接預測等，目前也已在今年CCKS相關圖譜評測任務中進行發布開放，進一步促進知識圖譜技術的發展和在更多垂直領域的應用，歡迎感興趣的團隊報名參加：

https://mp.weixin.qq.com/s/ODYQdJTJQrglAE_sWb8g0g

04問題

Q1：文本和圖是怎樣進行實體鏈接的，用到什么樣的方法？

A：在多模態部分，圖文有一個映射關系就是提出的對齊和融合，希望圖文之間是有映射的，能夠更好地讓圖的信息去彌補文的信息的不足，多模態也是整個科研界或者產業界的研究重點，在這里的思路是先對齊后融合的一種方式去做預訓練，然后對商品做多模態的知識表示。數據會用在知識對齊的任務，也會用在商品的類目預測。多模態做實體連接偏知識獲取，現在是通過在圖文里做一定的結構化，這一塊剛起步，在文方面主要去做語義化和結構化的操作，圖片是單獨的一個模態，會單獨去做語義化和結構化，但是圖片需要先定義好schema，才能做一些訓練任務。

Q2：阿里千億級別大規模的商品知識圖譜是如何存儲以及進行高性能的計算推理的。

A：依托于阿里云，阿里云提供了非常高效靈活、多樣化的數據存儲方式，不拘泥于圖數據庫或者關系數據庫，還是樹方式去管理和存儲，面對不同的業務需求，比如說導購，會存放在數據倉庫里，用一些關系型的表去離線存儲和管理千億級別的圖譜數據。但是面向實時管控，包括，包括導購認知、實時推薦的場景，我們會利用阿里云整體去做在線存儲和管理，這部分量級肯定不會特別大。基本上是分層，分場景，分不同的領域，會用不同的存儲和計算方案去解決。

Q3：如何進行知識圖譜的更新。

A：更新的數據來源基本上來自于運營，消費者很多時候是硬式地給一些輸入，比如搜索、點擊，可以幫助我們更好地挖掘里面的知識，商家對于導購或者零售有自己的認知和理解，有些商家在商品信息里面包括標題、圖片、詳情，都會蘊含著非常新穎知識。我們的運營也是這個領域的專家，針對垂直領域，也會不斷地給我們輸入一些新的知識，讓我們構建。我們整體的下一代的商品模型的核心也是希望通過整體機制的打造，包括模型的升級，能夠從商家、運營、消費者的數據里面結合模型去挖掘一些知識，這是整體的更新。