把一個腦洞發(fā)展成1場頂會Workshop,阿里媽媽只用了1年|直擊NeurIPS'24
學(xué)術(shù)打野NeurIPS 2024,好多人啊(發(fā)出周迅的聲音)!
最熱鬧最值得回味的,咱都總結(jié)好了:
- 學(xué)術(shù)追星:和Ilya、FeiFei、Kaiming、Saining拘謹(jǐn)?shù)皇ФY貌地合照。
- 現(xiàn)場開吃:分為吃瓜Bengio和OpenAI員工吵起來版 & “學(xué)術(shù)蝗蟲”狂炫會上的飯和下午茶版。
- 勇闖Workshop:收獲最新insight,收集五花八門貼紙,搶各種周邊。
該說不說,今年NeurIPS開了好幾個新的workshop,其中有一場還挺特別的,值得一聊。
特別就特別在,它是咱中國公司提出概念,然后咱中國公司圍繞該概念為題主辦的。
而且NeurIPS期間同題競賽也被pick——這賽題它還跟這家中國公司有關(guān)系,是該公司作為第一單位,同北京大學(xué)鄧小鐵教授、盧宗青教授研究團(tuán)隊(duì)聯(lián)合提報的。
答案揭曉!
這場Workshop就是Auto-Bidding in Large-Scale Auctions(大規(guī)模拍賣中的自動出價),從AIGB(AI-Generated Bidding)Bidding模型訓(xùn)練新范式延展而來。
去年4月,阿里媽媽在業(yè)界首提Bidding模型訓(xùn)練新范式:阿里媽媽生成式出價模型AIGB(AI-Generated Bidding),創(chuàng)新地將自動出價建模為生成式序列決策問題。
這是生成式模型在該領(lǐng)域的首次應(yīng)用,而且一年來在阿里媽媽的業(yè)務(wù)場景實(shí)操效果非常不錯。
因此賽題入選后,拿到主辦權(quán)的阿里媽媽特別設(shè)置了AIGB賽道(也成為國內(nèi)工業(yè)界今年唯一一家獲得NeurIPS比賽主辦權(quán)的組織)。
說起來,主辦Workshop、提報賽題入選,在NeurIPS這個level的頂會上夠可以了吧?
結(jié)果阿里媽媽還在Workshop上還放了一招彩蛋:
為了讓更多的研究者進(jìn)入這個領(lǐng)域并激發(fā)更多諸如AIGB這樣的算法誕生,開源了世界首個包含了大規(guī)模模擬競價系統(tǒng)和博弈數(shù)據(jù)集的Benchmark,即AuctionNet。
敲黑板,AuctionNet不僅適用于自動出價決策算法研究,還適用于大型博弈的廣泛的決策智能領(lǐng)域。強(qiáng)化學(xué)習(xí)、生成模型、運(yùn)籌學(xué)和機(jī)制設(shè)計等更廣泛領(lǐng)域的研究人員也能受益,一整個非常nice。
就庫庫一鍵三連唄?
從一個腦洞到一場workshop
OK,咱們先來厘清AIGB的概念。
展開來說,AIGB是一種基于Transformer、Diffusion Model等生成式模型的自動出價問題新的解決范式。
出價問題一般是廣告主很頭疼的事情,簡單理解就是他們得在平臺上通過競價的方式,進(jìn)行廣告投放、精準(zhǔn)營銷。
并且是盡可能在預(yù)期成本下達(dá)到最好效果那種。
在用AI大模型自動出價之前,整個出價領(lǐng)域業(yè)界其實(shí)已經(jīng)在用第三代辦法了,靠的是RL(強(qiáng)化學(xué)習(xí))。但這種方式也有不足,比如在自動出價這種長序列決策場景下,會出現(xiàn)訓(xùn)練誤差累積過多的問題。
與以往解決序列決策問題的RL思路不同,AIGB將Auto-Bidding視為一個策略生成問題。
也就是說,AIGB通過生成模型強(qiáng)大的特征關(guān)聯(lián)以及分布擬合能力,直接捕捉歷史Bidding數(shù)據(jù)集中優(yōu)化目標(biāo)和出價策略之間的相關(guān)性從而優(yōu)化策略。
相比于傳統(tǒng)的RL方法,AIGB避免了價值函數(shù)預(yù)估和自舉法所所造成的誤差,而且尤其擅長處理Bidding所面對的長序列稀疏回報的問題。
阿里媽媽決策智能技術(shù)團(tuán)隊(duì)負(fù)責(zé)人介紹,AIGB在實(shí)際在線廣告平臺預(yù)算AB測試中取得了顯著效果,并已在阿里媽媽廣告場景實(shí)現(xiàn)大規(guī)模商業(yè)化落地,商家經(jīng)營效果提升顯著。
更詳細(xì)的內(nèi)容大家可以去看看之前KDD 2024接收的《AIGB: Generative Auto-bidding via Conditional Diffusion Modeling》,這里不多贅述了。
昨天,阿里媽媽在NeurIPS 2024現(xiàn)場組織的workshop,就是圍繞一種典型情況的AIGB話題展開——大規(guī)模拍賣中的自動出價。
這場workshop邀請了來自Google Research、Amazon、Purdue University在內(nèi)的學(xué)界和工業(yè)界嘉賓來分享交流決策智能領(lǐng)域的最前沿技術(shù)。
據(jù)淘天集團(tuán)技術(shù)副總裁、算法技術(shù)負(fù)責(zé)人,阿里媽媽CTO鄭波透露,AIGB居然是從他的一個腦洞開始的。
鄭波表示,去年年初,阿里媽媽的技術(shù)同學(xué)們在生成式出價這個方向探索和實(shí)踐,并在業(yè)界首次提出了出價算法新范式:AIGB(AI- Generated Bidding),他相信 AIGB有潛力成為自動出價和大規(guī)模拍賣領(lǐng)域的下一代最先進(jìn)技術(shù)。
阿里媽媽首席算法架構(gòu)師、資深總監(jiān)璽羽則表示,自動出價是廣告最具特色的技術(shù)領(lǐng)域之一,一直以來都希望能吸引更多的從業(yè)者和非從業(yè)者關(guān)注這個領(lǐng)域。
阿里媽媽依托NeurIPS舉辦的這次workshop,為大家提供了一個交流的平臺。
而與會嘉賓中的大多數(shù),不僅對AIGB技術(shù)本身的前沿性和創(chuàng)新性給予了高度評價,還對其在各行各業(yè)中的廣泛應(yīng)用價值及未來潛力表示了非常充分的肯定與期待。
來自Google Reasearch的Dr. Zhao以《Auto-bidding in Online Advertising》為話題,簡明扼要分享了自己對于最新的自動出價技術(shù)的見見解。
“生成模型和大型模型促進(jìn)該領(lǐng)域的快速發(fā)展并帶來新的突破。“Dr. Zhao表達(dá)了自己的看法,”我可以看到將生成模型應(yīng)用于自動出價的各種潛在優(yōu)勢。生成模型可以幫助廣告商更好地了解他們的偏好,并幫助生成更復(fù)雜和更具適應(yīng)性的出價策略。“
全球1500多支隊(duì)伍角逐,會上放榜
這場workshop上也有“大規(guī)模拍賣中的自動出價”賽題參賽選手們和團(tuán)隊(duì)的閃耀時刻。
選手們基于不同的基礎(chǔ)生成模型,提出了一批不同于DiffBid(基于Diffusion Model的出價算法)的AIGB解決方案,迸發(fā)出諸多亮點(diǎn)。
賽題總共分為兩個賽道,分別是:
- AIGB賽道:利用生成式模型學(xué)習(xí)自動出價Agent。
- 通用賽道:含不確定性的自動出價。
AlGB Track Winner兩個團(tuán)隊(duì),KGAB Team和CleanDiffuser Team作為獲獎團(tuán)隊(duì)代表在workshop上做了pre~
參賽團(tuán)隊(duì)也有代表闡述了對AIGB的觀點(diǎn)及對未來的判斷。
一位來自國內(nèi)學(xué)界的助理教授表示自己非常肯定AIGB的價值,在他看來,AI-generated Bidding技術(shù)正迅速成為廣告投放與出價優(yōu)化領(lǐng)域的核心驅(qū)動力,“隨著廣告生態(tài)系統(tǒng)的復(fù)雜性和動態(tài)性不斷提高,傳統(tǒng)規(guī)則驅(qū)動的出價方法逐漸顯現(xiàn)局限,而基于人工智能的出價技術(shù)能夠通過實(shí)時數(shù)據(jù)處理、動態(tài)預(yù)測和自適應(yīng)策略制定,實(shí)現(xiàn)更高效和精準(zhǔn)的資源分配。”
基于自己的研究和學(xué)術(shù)視野,他很樂意地分享了一點(diǎn)自己已經(jīng)洞察的先機(jī):
未來的發(fā)展中,我認(rèn)為個性化出價策略,基于廣告主行為數(shù)據(jù)構(gòu)建高度定制化的出價模型會是一個比較有趣的方向。
多位來自于國內(nèi)頂級互聯(lián)網(wǎng)的算法專家談道,不論是基于Transformer還是Diffusion的探索都會促進(jìn)生成式技術(shù)在bidding方向的全面落地,相信隨著眾多從業(yè)者的探索與完善,AIGB技術(shù)會變得更加成熟并解決傳統(tǒng)方法所無法解決的問題。
其中一位算法專家表示,他所在的團(tuán)隊(duì)正探索AIGB模型的落地,旨在實(shí)現(xiàn)從復(fù)雜環(huán)境上下文出發(fā)的端到端智能出價,并已經(jīng)取得不錯的成果。
從業(yè)界人士了解到,比賽的成果與阿里媽媽去年提出的DiffBid在效果上旗鼓相當(dāng)。而AIGB范式下技術(shù)迭代很快,據(jù)阿里媽媽算法專家介紹,阿里媽媽在DiffBid基礎(chǔ)上,經(jīng)過近一年的努力又研發(fā)了新一代的出價算法,在自動出價比賽激戰(zhàn)正酣之時,已經(jīng)在雙十一期間悄然上線,拿到了顯著的效果。
官方統(tǒng)計數(shù)據(jù)顯示,本次比賽總報名人次共1861人,AIGB賽道948人(海外70人),通用賽道913人(海外90人),包括全球范圍的頂尖高校、研究機(jī)構(gòu)和科技、金融公司團(tuán)隊(duì),以及很多跨組織和個人名義參賽團(tuán)隊(duì)。
最后組成了793支AIGB賽道隊(duì)伍和729支通用賽道隊(duì)伍,共計1522支隊(duì)伍參與賽題角逐,報名參賽隊(duì)伍中包括北大、清華、哥大、UCSD、慕尼黑工業(yè)大學(xué)、南洋理工、首爾大學(xué)等全球知名高校團(tuán)隊(duì),以及微軟、騰訊、螞蟻集團(tuán)、快手、蝦皮、中國建設(shè)銀行、字節(jié)跳動、阿里巴巴等科技或金融公司團(tuán)隊(duì)。
還有很多跨組織團(tuán)隊(duì)和個人名義團(tuán)隊(duì)參賽。
淺劃一個令人羨慕的非重點(diǎn),2個賽道共12支隊(duì)伍都有賽事獎金拿,最高6000刀!
當(dāng)然了,因?yàn)槭前⒗飲寢屌e辦,所以優(yōu)勝者會有阿里巴巴的實(shí)習(xí)機(jī)會、校招綠色通道以及訪問學(xué)者資格。
“源神”啟動,正式開源自動出價決策領(lǐng)域的 Benchmark
最后聊聊Auto-Bidding in Large-Scale Auctions上一個比較驚喜的點(diǎn)——
“源神”啟動!
阿里媽媽宣布,計劃正式開源自動出價領(lǐng)域的Benchmark「AuctionNet」,包含48個不同Agent互相競價的軌跡,共有超過5億條記錄,占用80GB的存儲空間。
這是世界首個標(biāo)準(zhǔn)化的大規(guī)模競價模擬系統(tǒng)和大規(guī)模博弈數(shù)據(jù)集,相關(guān)成果已被NeurIPS 2024收錄為Spotlight論文(錄取率在3%左右)。
特別強(qiáng)調(diào)一下,AuctionNet不僅適用于廣告競拍中出價決策算法的研究,還適用于大規(guī)模博弈中決策的研究。
這是因?yàn)樽詣映鰞r屬于決策智能范疇,可以廣泛應(yīng)用在游戲、自動駕駛、市場營銷、推薦系統(tǒng)、金融量化投資等領(lǐng)域。
在來自Google Reasearch的Dr. Zhao看來,開源Benchmark的標(biāo)準(zhǔn)化評估和可重復(fù)性,將推動這一領(lǐng)域的推動學(xué)術(shù)研究和實(shí)際應(yīng)用的技術(shù)創(chuàng)新。
不僅如此,還將有助于協(xié)作和知識共享幫助該領(lǐng)域更多人受益。
講道理,阿里媽媽開源自動出價決策領(lǐng)域的Benchmark,真的為搭起一座多方共贏的橋梁砌上了最重要的第一塊磚。
畢竟時至今日,在線廣告依然扮演著互聯(lián)網(wǎng)經(jīng)濟(jì)中至關(guān)重要的角色:
統(tǒng)計數(shù)據(jù)顯示,2023年全球在線廣告市場規(guī)模超過了6000億美元;縱觀全球,Google、Meta、TikTok、Alibaba都有相應(yīng)的在線廣告平臺,就連AI 2.0時代弄潮兒OpenAI也在近日傳出考慮在產(chǎn)品中引入在線廣告的消息。
這個領(lǐng)域內(nèi),自動出價模式的出現(xiàn)打破了傳統(tǒng)廣告技術(shù)體系,成為驅(qū)動當(dāng)前在線廣告發(fā)展的核心動力。
但一切事情都不會完美無瑕。作為近年來工業(yè)界的研究焦點(diǎn),自動出價領(lǐng)域仍然存在許多頗具挑戰(zhàn)性、有價值的科研問題。
比如因?yàn)檗D(zhuǎn)化稀疏、轉(zhuǎn)化率預(yù)測不確定性等問題,仍然需要精心設(shè)計如何在投放終點(diǎn)恰當(dāng)?shù)貪M足成本約束;比如時過境遷,工業(yè)界的競拍環(huán)境已經(jīng)不再是傳統(tǒng)的單一坑位下的GSP拍賣機(jī)制,如何在更復(fù)雜的競拍環(huán)境中找到最優(yōu)的出價策略仍然是尚未解決的難題。
明面上,解決這些問題是在助推商業(yè)收益,但從深層次來說,更是可以推動相關(guān)技術(shù)領(lǐng)域的持續(xù)發(fā)展。
然而研究探討自動出價領(lǐng)域的難點(diǎn)不僅僅在技術(shù)本身,由于各平臺對數(shù)據(jù)的嚴(yán)格保護(hù),且缺乏和工業(yè)界比較接近的廣告競價環(huán)境,目前針對其高價值問題的研究主要集中在少數(shù)幾家機(jī)構(gòu)。
就,層層加碼,難上加難。
其中,阿里媽媽就是為數(shù)不多能夠?qū)L在自動出價領(lǐng)域大規(guī)模落地的公司之一,且一直以來都活躍推動自動出價技術(shù)發(fā)展,先后發(fā)布了多個算法的升級。
當(dāng)然了,當(dāng)RL不夠好用的時候,阿里媽媽敢站出來、愿意站出來,開源數(shù)據(jù)集,期待更多人參與研究,共同推動,優(yōu)勢也不僅僅在技術(shù)本身。
從行業(yè)江湖的視角來看,它是中國領(lǐng)先的營銷平臺、擁有數(shù)百萬的廣告主,并且超過80%的廣告主使用了自動出價服務(wù),它有完整的數(shù)據(jù)鏈路閉環(huán),從用戶點(diǎn)擊到下單過程路徑中的數(shù)據(jù)都能獲取到。
阿里媽媽技術(shù)同學(xué)介紹,為了讓更多研究者深入了解廣告平臺的運(yùn)作細(xì)節(jié),并參與廣告平臺最核心的自動出價算法的研究,團(tuán)隊(duì)建設(shè)了一個標(biāo)準(zhǔn)的廣告競價環(huán)境,并設(shè)置了多種貼近工業(yè)界真實(shí)場景的特性,包括多坑、多樣化的流量價值分布、轉(zhuǎn)化預(yù)估不確定性、稀疏轉(zhuǎn)化等。
一位阿里媽媽技術(shù)同學(xué)對量子位表示:“希望此Benchmark能為學(xué)界和工業(yè)界提供強(qiáng)有力的支持,也期待通過開源推動決策智能領(lǐng)域的AI技術(shù)和應(yīng)用快速向前發(fā)展。”
不得不多說兩句,開源的意義,從來都包含共享、協(xié)作、共同探索。
還包括一種自信,一種立足前沿頭部的自信,一種不懼挑戰(zhàn)的自信,一種自己就是“源頭活水”且愿意營造更好生態(tài)氛圍的自信。
從去年的DiffBid,到今年在雙十一中得到驗(yàn)證的新一代出價算法,阿里媽媽持續(xù)引領(lǐng)著行業(yè)的創(chuàng)新和變革。
正如在RL方法時代一樣,阿里媽媽又將在AIGB方法時代,以自動出價技術(shù)發(fā)展的領(lǐng)航者身份再次啟航。
GitHub鏈接:
https://github.com/alimama-tech/AuctionNet