1、背景

得物社區是一大批年輕人獲取潮流信息、分享日常生活的潮流生活社區。其中用戶瀏覽的信息，進行個性化的分發，是由推薦系統來決策完成的。目前得物社區多個場景接入了推薦算法，包括首頁推薦雙列流、沉浸式視頻推薦、分類tab推薦流、直播推薦流等多個場景，為了給用戶提供更好的服務和體驗，我們從整個推薦系統維度為相關服務做了大量優化。現在主流的推薦系統都會有召回、粗排、精排和機制等多個模塊組成，本文主要介紹我們在精排層面演進過程中做的一些工作和思考。

2、挑戰和解法

用戶在與信息流交互過程中，會產生點擊、閱讀、點贊、關注、收藏、評論和負反饋等行為，一般是業務關心的核心指標，也可作為算法同學建模的信號。其中，點擊是用戶一系列行為軌跡的入口，相對不稀疏，往往是一個信息流推薦系統初期最關注的目標之一。如何對用戶興趣進行精準建模，是這些年來推薦系統在工業界從初出茅廬到大展身手的過程中始終熱門的主題。在工業界中一個好的業務建模范式是在一定資源約束下，做好服務于業務目標的可迭代的系統優化，對于推薦系統來說，需要考慮系統引擎、計算資源、模型迭代和維護的人力、系統和模型的可迭代性以及多團隊合作等多方面因素下，推動整個系統向著業務目標持續前進。拆解到精排層面，我們需要解決多場景、多人群和多目標等為準確預估用戶興趣帶來的挑戰。下面從特征、樣本、多目標建模和新用戶冷啟動等多個方向來闡述我們對這些挑戰在得物社區的具體解法。

2.1 特征

單目標的CTR模型的技術演進可從兩個不同的視角進行觀察，一個維度是特征工程，另外一個維度就是模型結構復雜度。在CTR模型早期的時候，受限于計算資源，模型結構往往比較簡單，初期應用最廣泛的便是LR模型。這個階段算法工程師更多的時間是人工設計特征，從而針對不同的業務背景進行迭代拿到指標收益。

推薦系統精排模型其實是一個預估用戶行為概率的模型，我們希望模型一方面能夠記住用戶的歷史行為(即擬合能力)，另一方面可以基于歷史數據進行合理擴展(即泛化能力)。在傳統機器學習時期，LR、SVM和GDBT等模型就已經具備很好的擬合能力，可以在訓練數據集上有極好的表現。但在實際業務上，真實的困難在于，如何基于過去數據準確地預估未來行為。萬物基于數，在數學的視角上，模型建模本質上是對現實世界一部分運行規律在數字空間的抽象和模擬。現實行為在數字空間的表征的準確性很大程度上決定了建模的效果，幸運的是隨著深度學習的發展，基于Embedding的表征技術越來越成熟，基本解決了建模的表征瓶頸，而這個映射空間往往稱為特征向量空間。

對于推薦系統精排模型而言，在向量空間中具備現實概念的基本單元就是特征，這也揭示了針對特征的工作，對于整個建模的重要性。各個業務場景特征的設計，要求算法工程師對業務具備足夠的理解，以及擁有豐富相關經驗，特征工程也是算法工作中資源投入權重很大的工作，需要持續打磨優化，所謂磨刀不誤砍柴工。

2.1.1 特征設計

模型使用的特征根據不同的角度可進行不一樣的劃分。根據特征來源，可以分為用戶特征、Item特征、上下文特征、交叉特征以及級聯模型特征；根據特征結構，一般可按照Dense和Sparse進行區分；根據特征時效性，往往又分為離線特征和實時特征。對于具體的業務場景，可根據特征來源，按照下表從整體上設計各個域的特征，在迭代的過程中持續優化升級特征。

每個特征都應該結合業務進行設計，比如其中統計類特征需要考慮聚合的時間窗口，序列特征需要考慮序列的長度，這些都可以根據實際情況進行取舍和選擇。

在設計特征的基礎上，算法工程師還需要推動上下游打通數據鏈路，校驗特征質量，引入到現有模型中進行離線調研，要是小流量AB實驗有置信收益，新版特征就可以全量生效。一個常見的挖掘特征的手段，便是基于內容理解算法，利用自然語言處理、計算機視覺、語音識別等等，對內容進行深度挖掘，生產優質特征，從而讓模型更容易捕獲用戶興趣點。根據業務需要在持續迭代的過程中，會不斷新增有效特征，舊的失效特征也會慢慢下線，在我們的業務場景中，模型使用的特征數也在迭代的過程相對增加了30%，系統的分發效率也有很大的提升。特征對模型預估的重要性可以通過auc-diff進行評估，為了系統的穩定性，還需要實時監控線上每個特征的覆蓋率和取值分布情況，避免異常數據影響大盤。

2.1.2 特征處理

在推薦系統中使用的所有特征，按照特征結構和處理方式的不同，可以分為四類。

• 數值型特征，特征的原始值是一定區間內的連續值，比如動態后驗CTR、視頻時長、點贊數等等，通常處理方式如下

• 可以增加對特征異常值的魯棒性、提升非線性能力、加快算法處理性能、方便特征交叉
• 會丟失部分信息、邊界離散值的跳變會影響模型預估穩定性
• 可以采用等寬分箱、聚類分箱、等頻分箱、決策樹分箱和卡方分箱等方式
• 特征最大最小歸一化、標準化等等
• 連續特征離散化
• 非線性變換，比如常用的log(x+1)等等

• 單值離散特征，一個樣本只有一個離散取值，比如手機型號、用戶性別等等
• One-Hot編碼
• 查LookUp表，得到向量表征
• 多值離線特征，一個樣本可以有多個離散取值，比如用戶點擊序列、Item標簽等等
• 人工生成交叉特征
• 查LookUp表，得到多維向量，可采用拼接、Pooling、Attention等方式生成融合后唯一的向量表征
• KV特征，一個樣本Key可以有多個離線取值，并有與之對應的Value值
• Key和Value離散化后，加權使用
• 可以將Key和Value進行拼接后，離散化使用

在推薦系統領域，在上表各式各樣的特征中，有兩種類型的特征很具備推薦特色，并在不同的業務上往往都是算法工程師大力投入，基本會取得不錯收益的技術點。

2.1.3 高維稀疏類別特征

第一個就是高維稀疏的類別特征，這類特征由于其高維稀疏性，在向量空間上具備更好的線性可分性，從而模型更容易記住樣本。對于一個相對成熟的推薦系統來說，此類特征的維度可達到上億維，甚至幾十億維。

為了讓模型順利使用這么大的高維特征，需要算法聯合工程做很多深度優化工作。一般采用的解決方案是動態彈性特征(EmbeddingVariable)，可以解決靜態特征詞表大小難預估、特征沖突、內存和IO冗余等問題，并能夠通過特征準入、特征退場、底層哈希表無鎖化和精細化內存布局等措施，來提高存儲和訪問效率。隨著動態彈性EV特征的引入，在得物社區的各個場景上均有著不錯的收益。

2.1.4 交叉特征

另外一個就是大名鼎鼎的交叉特征。交叉特征是通過多個特征進行交叉組合而來，能夠有效地增強模型的表達能力。這些年來算法工程師在特征交叉上嘗試了大量的工作，總體來說分為顯示交叉和隱式交叉。

顯式交叉是基于先驗知識，算法工程師人工構造交叉特征，一般可以采用的交叉形式有如下三種。其中笛卡爾積由于效果好更常使用，但笛卡爾積可能會發生維度爆炸，所以需要根據實際業務的數據分析情況來構造笛卡爾積。舉個例子，在我們的場景中，每個用戶在不同類目上興趣偏好會有所區別，為了讓系統在給用戶提供服務時更關注這一點，可以在模型中嘗試引入用戶偏好和動態類目的交叉特征，提升用戶體驗。

隱式交叉是通過網絡結構讓模型自動學習交叉，隨著交叉技術的發展，算法工程師更多時候使用的方式是隱式交叉，不僅可以解除對人工經驗的依賴，同時可在模型訓練過程中不斷自我優化。近些年在這方面經典的工作主要是FM、FFM、Wide&Deep、DeepFM、DCN和CAN等結構，其中DeepFM更是由于其結構簡單、效果突出，在不同的推薦場景下均可作為比較好的基準。

作為特征交叉結構的經典集大成者，DeepFM可以實現端對端的低階和高階特征交叉融合。其中FM結構可以進行低階特征的交叉，提升模型的記憶能力；Deep結構進行高階特征的交叉融合，提高模型的泛化能力。得物社區最早期的時候，在排序層面，精排模型只是對CTR進行建模，模型架構就采用了比較成熟的DeepFM。

2.2 樣本

對于一個推薦系統，模型訓練樣本和特征決定了模型效果的上限，一個高質量的訓練樣本集能夠有效提高精排模型的預估能力。樣本的產生需要依賴線上日志，一個優秀的生產樣本流的框架會涉及多方，包括前端埋點、推薦引擎、預估服務和數倉等等。為了對業務效果負責，算法工程師除了關注模型本身外，還需要對樣本質量進行監控，與上下游一起確保高質量樣本生產的穩定性。

2.2.1 實時樣本流架構

得物社區早期時，模型訓練樣本是基于離線特征表和離線用戶行為表拼接而成，除了會有明顯的時效性問題外，還可能會發生樣本特征線上線下不一致性問題，影響系統整體的分發效率和分發效果。

為了解決高質量樣本生產的問題，我們通過協調資源，設計和推動多方搭建了實時樣本流框架。通過實時樣本流生產樣本，樣本的時效性大幅提升，從天級到分鐘級，從而可以支持實時模型的上線，也為后續算法模型的快速迭代打下了堅實的基礎。

實時數據流架構可以概述為三條日志流的生產、歸因和拼接。

• 第一條數據流是客戶端日志流，它是基于客戶端埋點通過觸發事件上報埋點信息而來，埋點數據包含了服務端下發給客戶端的(reqid, userid, itemid)三元組等信息。用戶在瀏覽信息流時，會持續觸發曝光、點擊、點贊等行為數據，從而客戶端日志流源源不斷生產數據。
• 第二條數據流是服務端引擎日志流，它是根據客戶端發起的用戶請求，經過服務端和整個推薦引擎，拿到推薦結果并返回給客戶端這個過程中，在引擎落下的重要信息，同樣包括(reqid, userid, itemid)三元組、推薦結果以及正排信息等。
• 最后一條數據流是在預估服務落下的預估日志流，它是引擎將用戶畫像和召回或者粗排的結果下發到預估機器，由預估機器中的精排模型進行打分，在這個過程中會將模型使用的item特征和user特征等特征信息dump下來。特征流的數據量也是三個流中最大的，往往需要通過ACK的形式降低dump的物品數，從而有效節約資源。

三條日志流可以通過(reqid, userid, itemid)三元組進行有效關聯，從而形成實時歸因大寬表。其中，客戶端日志流提供了用戶真實反饋標簽，服務端引擎日志流提供了推薦引擎各環節的信息，預估服務日志流提供了模型使用的特征信息，保證了線上線下特征一致性。

在使用實時樣本流生產實時樣本的過程中，會遇到一個經典的問題，那就是“用戶延遲反饋”。這是由于從曝光埋點上報數據，到用戶對動態進行點擊和更深度的交互行為，這兩個事件往往存在一定的時間差。比如用戶在觀看一個視頻時，過了幾分鐘看完后才會對視頻進行點贊和評論，此時如果我們對歸因設計不合理就會造成這條實時樣本是負樣本。一般對用戶反饋標簽進行歸因時，會考慮歸因的時間窗口。離線表的歸因窗口可以理解為1d，不過實時計算是在內存中實現的，出于對成本的考慮，很難設到很大的窗口，可以結合分析真實的業務數據情況，在成本、時效性和標簽準確性之間找到合適的平衡點。在我們的場景上，通過選取合適的閾值，最后實時樣本表的正標簽達到了離線表的95%。對于延遲樣本，一個有效的解決方案是設計不同的樣本回補機制，基于重要性采樣對樣本分布進行糾偏。

2.2.2 采樣

CTR模型為了預估用戶瀏覽到的曝光中會進行點擊的概率，是一個二分類模型。直觀上建模時，會將用戶點擊作為正樣本，曝光未點擊作為負樣本。但由于用戶點擊行為相對稀疏，這種直接構建訓練樣本集的方式，會造成正負樣本嚴重失衡，有些場景可能低于1:100，訓練效果往往不夠好。

為了解決類別不均衡問題，一個常用的做法就是對負樣本進行采樣，只有通過一定策略采樣后的負樣本可以用來訓練模型。負采樣有很多實現方式，一般會根據采樣質量、采樣偏差和采樣效率進行取舍，大體分為人工規則采樣和基于模型采樣。其中，常用的人工規則采樣是隨機負采樣和基于流行度負采樣，基于模型采樣本質上是通過模型迭代優化負樣本的質量，一般借鑒Boosting和GAN對抗學習的思想，不斷挖掘強負樣本，這塊近期比較好的工作便是SRNS。

在我們場景上，目前是通過隨機丟棄負樣本的方式來實現采樣的。采樣后訓練的模型預估出來的pctr與真實后驗點擊率CTR是有偏差的，所以線上使用預估分pctr時需要先用如下轉換公式進行修正，然后在排序時使用。除了采樣外，另外一個可以嘗試的解法是在訓練時通過對不同樣本的Loss進行調權，也可以緩解類別不均衡帶來的影響，不過調權任務比較繁重，可能一時很難調到理想的效果，預估分也難以還原。

對于一個業務場景，往往會關注多個業務指標，除了點擊之外，另一些重要的關注點是用戶點擊后的后續行為。對于電商場景一般是收藏商品、下單商品等用戶深層次行為，對于信息流場景更多的是觀看時長、點贊、評論等用戶交互行為。這些轉化行為是用戶點擊之后發生的，如果在點擊樣本空間上對互動進行建模，線上直接使用會產生bias，稱為樣本選擇偏差，多目標聯合建模時可以通過設計特定的模型結構來解決。

在得物社區場景，我們根據線上遇到和發現的一些問題，在樣本層面也做過其他的探索和實踐。

• 像評論、關注、分享等這些用戶轉化信號一般比較稀疏，單獨建模的話模型訓練不夠充分很難取得好的效果，與點擊聯合訓練又會被更密集的點擊信號帶偏。一種有效的解法是對同類型信號進行聚合使用，同時對這些信號重采樣緩解點擊信號的影響。
• 樣本隨機負樣本對低活用戶是不友好的，甚至會讓曝光未點擊用戶逐漸流失。在負采樣時需要考慮低活用戶曝光未點擊的樣本，同時可以嘗試在特征層面加上曝光未點擊序列。
• 理想樣本是在剔除噪音干擾的情況下，盡可能多的保留和基于先驗知識提取真實場景的有效信息。其中一個可能有收益的信息就是用戶樣本的Session，所以建議試試基于用戶Session構建樣本。

2.3 多目標

相比單個目標建模，對多個業務目標進行建模會遇到更多的挑戰，其中比較常見的問題就是多個指標之間會有蹺蹺板現象。為了緩解這些問題，在業界經過多年的實踐和技術發展，積累不少的優秀模型ESSM、MMOE、PLE和ESCM等等，其中比較重要和應用廣泛的模型是ESSM、MMOE，它們在很多業務場景都有著不錯的效果，在得物社區場景，對多目標的建模也借鑒了相關模型的思路。

2.3.1 模型結構

2.3.1.1 首頁雙列流

隨著業務的發展，得物社區首頁推薦流精排模型也一直在迭代升級中，模型個性化能力不斷提升，總的來說可以劃分為四個階段。

• 第一階段是早期時候，只對用戶點擊率建模，精排層只有CTR模型。期間經過幾次迭代，從開始的DeepFM結構，到結合業務特點的DLRM結構，特征交叉能力明顯提升，以及增加了提取用戶深度興趣的DIN模塊，都取得了不錯的收益。

CTR模型

• 第二階段是增加了對用戶時長的單獨建模，希望提升系統對用戶時長的預估能力，精排層會有CTR模型和時長模型。時長模型第一版采用了比較成熟DeepFM結構，在CTR損失兌換可接受的情況下，帶來大盤人均時長相對提升+3%。

時長模型

• 第三階段是對用戶點贊、關注、收藏、評論和分享等互動行為與用戶時長聯合建模，借助互動信號更好地捕獲用戶興趣點，精排層會有兩個模型，包括CTR模型和時長互動雙塔模型。通過對多目標分融合公式進行有效調參后，在其他指標基本持平情況下，大盤互動用戶，相對提升+6%。

時長互動雙塔模型

• 第四階段是用戶點擊、用戶時長和用戶互動等多目標統一建模，并對用戶負反饋單獨建模，更好地整合精排層對用戶興趣的建模能力，精排層會有兩個模型，即點擊、時長和互動等多目標模型，以及負反饋模型。相對雙塔模型，多目標模型更需要在結構上能夠適配更多目標，尤其需要解決CTR任務和稀疏任務的相互影響。通過在訓練時基于pct_time和pct_inte節點構建損失函數，并對pctr節點進行梯度阻斷，使得能夠對多個目標在曝光空間上統一進行建模。線上使用ptime和pinte作為時長和互動的預估分，融合公式可以做到線上線下一致，有助于在線上拿到離線調研的收益。上線后大盤ctr相對提升+2.3%，人均時長相對提升+0.33%，互動用戶相對+4.5%。負反饋模型分在機制層通過平滑降權的形式生效，大盤負反饋率相對降低16%。

多目標模型

• 負反饋平滑降權

• 負反饋模型

2.3.1.2 沉浸式視頻單列流

與首頁雙列流產品形態不同的是，沉浸式視頻推薦流是單列流場景，用戶通過不斷下滑觀看不同的視頻。針對場景特點，最開始的建模思路是從視頻完成度進行切入的，模型會預估用戶會觀看視頻時長占視頻本身時長的比例pfinish_rate，線上使用時會結合視頻本身時長videoTime，并對videoTime雙端進行限制緩解視頻本身時長帶來的bias，最后使用pfinish_rate*truncated(videoTime) 作為排序分。與首頁主場景一樣，在后面的迭代過程中，也增加了對用戶互動行為的建模，在對互動預估分pinte和完成度預估分pfinish_rate進行融合時，不出意外也遇到蹺蹺板現象，通過不斷實驗嘗試，最后采用級聯排序的形式取得了收益。

通過幾個版本持續迭代優化，場景核心指標提升明顯，場景訪問uv人均時長相對提升+46%，曝光互動率相對提升+15%。結合視頻場景特殊性，通過對業務指標的分析，最近我們在考慮對用戶短播行為和長播行為進行建模，更好的捕獲用戶興趣點，為用戶提供更貼心的視頻推薦流服務。

• 多目標模型

2.3.2 多目標融合

多目標建模除了模型本身，另一個主要的挑戰就是線上如何有效地使用多個目標分？我們希望通過合適的排序目標和機制設計，讓業務關注的目標都能夠有收益，做到多個目標共同提升，針對這個問題在我們場景上也進行了各種不同的嘗試。

第一類比較直接的解決方案就是設計公式，對多個目標分使用公式進行融合，從而作為最終排序分。此方案的好處就是簡單、明確，可以根據權重知道每個目標分是怎么對最終排序生效的。其中一個常用的技巧就是由于不同目標的預估分分布差異大，預估分絕對值的變動會影響調參結果，所以可以考慮使用單個目標分排序后的序號，將其通過合理的歸一化后，再對多個目標進行融合。缺點就是不同的模型上線都需要手動調參，帶來很大的工作量，并且融合公式也沒有根據不同用戶做到個性化融合，影響整體排序效果。在得物社區場景，我們先后設計了兩版融合公式，第二版加法形式取得了更好的收益，同時參數量也有效降低。

• 人工公式融合

第二類解決方案是希望借助深度模型來端對端的生成最終排序分，避免人工調參，同時在融合時會考慮個性化。具體思路是構造一些用戶側、物品側重要的基礎特征，以及多個模型的預估分，將它們作為一個簡單網絡的輸入，利用離線訓練的模型產生最終融合分。一個關鍵點就是離線模型Label的構造，一般是通過對多個目標加權的方式進行聚合，權重的選擇需要結合業務和線上實驗的效果進行調試。缺點是精排層需要多調用一個模型，需要更多的資源，另外就是有時業務上需要做一些生態上的調整，模型融合沒有公式來的快捷。

• 獨立融合模型

第三類也是目前正在嘗試的解決方案，即個性化融合多目標模型架構。我們希望在多目標模型的基礎上，通過構造融合模塊，將多目標預估和多目標預估分融合放到一個完整的網絡框架下。模型訓練時損失函數可以分為兩塊，主網絡損失和融合網絡損失，主網絡損失是為了優化模型對各個目標分的預估，融合網絡損失是從整體上優化融合排序的結果，可以通過異步訓練和梯度阻斷的方式避免對網絡相互造成干擾。理論上這種方案結合了前面兩種方案的優化，同時避免了其缺點，希望經過調試后能夠在我們的場景上推全這種方案，進一步整合精排模型的能力。

• 個性化融合多目標模型

2.4 新用戶冷啟動

新用戶冷啟一直是業界的難點，主要體現在以下三點。為了解決這些問題，業界也有很多經典的工作，比如基于元學習的新用戶MeLU、FORM模型等等，這些方案都是希望為新用戶賦予比較靠譜的初始值，通過動態學習率快速調整從而收斂，但在實際應用時往往效果不佳。

1. 新用戶行為稀疏，對推薦結果更敏感
2. 訓練集新老用戶樣本分布不均勻，新用戶樣本占比往往低于1%
3. 新用戶人群和老用戶人群特點差異大，由于老用戶的主導，會導致模型難以捕捉到新用戶人群行為模式

我們在得物社區首頁雙列流場景上也對新用戶冷啟動做了嘗試，提升新用戶冷啟效率。基于對業務數據的分析和判斷，從可推池、召回到精排、打散整個鏈路與主場景獨立出來進行迭代，針對新用戶特殊性，在精排層面從特征到模型結構均進行了單獨的設計。

對于新用戶冷啟任務，個人認為如下技巧都是可以嘗試的，在不同業務場景可能會有不一樣的收益。

1. 新用戶樣本重采樣或者Loss加權，增加新用戶樣本的話語權
2. 構造能夠表征新用戶人群的特征，比如新用戶標識、用戶首次訪問時間等等
3. 用戶人群id代替新用戶id，緩解新用戶id學習不充分
4. 從模型結構上突出新用戶相關的特征，增加新用戶特征的話語權

在我們的場景上，第一版模型是基于新用戶有效點擊的時長加權CTR模型，模型會更關注用戶消費時長高的內容，從而幫助模型學習到新用戶的興趣點。為了進一步提升模型對不同新用戶興趣捕獲能力，我們通過在模型結構上的設計了多目標poso模型，緩解新用戶行為和樣本稀疏的問題。通過在模型結構層面做到個性化，為相關人群帶來更好的體驗，全量后新用戶ctr相對+2.69%，人均推薦時長相對+3.08%，人均互動數相對+18%，新用戶次留相對+1.23%。

• 多目標poso模型

3、展望

本文主要介紹了面對業務中不斷出現的挑戰，我們從特征、樣本、多目標建模和新用戶冷啟動等方向做的一些具體解法以及取得的一些進展。除了這些已經落地的技術外，我們還在其他方向了進行了探索，包括流行度糾偏、用戶深度興趣、FeatureStore以及超大規模分布式稀疏大模型，希望在后續進一步釋放算法紅利，保障和促進業務的增長。

4、引用

[1] Chen Y ,  Jin J ,  Zhao H , et al. Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction[J].  2022.

[2] Lee H ,  Im J ,  Jang S , et al. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation[J]. ACM, 2019.

[3] Sun X, Shi T, Gao X, et al. FORM: Follow the Online Regularized Meta-Leader for Cold-Start Recommendation[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 1177-1186.

[4] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.

[5] Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1930-1939.

[7] Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[J]. arXiv preprint arXiv:1703.04247, 2017.

[8] Naumov M, Mudigere D, Shi H J M, et al. Deep learning recommendation model for personalization and recommendation systems[J]. arXiv preprint arXiv:1906.00091, 2019.

[9] Zhang W, Qin J, Guo W, et al. Deep learning for click-through rate estimation[J]. arXiv preprint arXiv:2104.10584, 2021.