成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

MotionLM:作為語言建模的多智能體運動預測

人工智能 新聞
本文將連續軌跡表示為離散運動tokens序列,并將多智能體運動預測作為該領域的語言建模任務。

本文經自動駕駛之心公眾號授權轉載,轉載請聯系出處。

原標題:MotionLM: Multi-Agent Motion Forecasting as Language Modeling

論文鏈接:https://arxiv.org/pdf/2309.16534.pdf

作者單位:Waymo

會議:ICCV 2023

論文思路:

對道路代理未來行為的可靠預測是自動駕駛車輛安全規劃的關鍵組成部分。在這里,本文將連續軌跡表示為離散運動tokens序列,并將多智能體運動預測作為該領域的語言建模任務。本文的模型 MotionLM 提供了幾個優點:首先,它不需要anchors或顯式潛變量(explicit latent variable)優化來學習多模態分布。相反,本文利用單一標準語言建模目標,最大化序列tokens的平均對數概率。其次,本文的方法繞過了 post-hoc 交互啟發法,其中個體代理軌跡生成是在交互評分之前進行的。相反,MotionLM 在單個自回歸解碼過程中生成交互式代理未來的聯合分布。此外,模型的順序分解可以實現時間上的因果條件的推出。所提出的方法在 Waymo Open Motion Dataset 上為多智能體運動預測建立了新的最先進性能,在交互式挑戰排行榜上排名第一。

主要貢獻:

本文將多智能體運動預測作為一種語言建模任務,在經過因果語言建模損失訓練的離散運動tokens上引入時間因果解碼器。

本文將模型中的采樣與簡單的 rollout 聚合方案配對,該方案有助于聯合軌跡的加權模式識別,在 Waymo Open Motion Dataset 交互預測挑戰中建立新的最先進性能(在排名聯合 mAP 指標上提高6% )。

本文對本文的方法進行了廣泛的消融實驗,并對它的時間因果條件預測進行了分析,這在很大程度上是目前的聯合預測模型所不支持的。

網絡設計:

本文的目標是以一種通用的方式對多智能體交互上的分布建模,這種分布可以應用于不同的下游任務,包括最低限度的、聯合的和條件預測。這需要一個有表現力的生成框架,能夠捕捉到駕駛場景中的多種形態。此外,本文在這里考慮保存時間依賴性; 即,在本文的模型中,推理遵循一個有向無環圖,每個節點的父節點在時間上較早,子節點在時間上較晚,這使得條件預測更接近于因果干預[34],因為它消除了某些虛假的相關性,否則就會導致不服從時間因果關系。本文觀察到,不保留時間依賴關系的聯合模型可能在預測實際agent反應方面的能力有限——這是規劃中的一個關鍵用途。為此,本文利用了未來解碼器的自回歸分解,其中代理的運動tokens有條件地依賴于所有先前采樣的tokens,并且軌跡按順序推出(rolled out)(圖2)。

圖1。本文的模型自回歸地為一組代理生成離散運動tokens序列,以產生一致的交互式軌跡預測。

圖2。MotionLM架構。

本文首先將與每個建模代理相關的異構場景特征(左)編碼為形狀R、N、·、H的場景嵌入。其中,R為首次推出(rollouts)的數量,N為聯合建模的代理數量,H為每次嵌入的維數。在推理過程中,為了并行采樣,本文在批量維度上重復嵌入R次。接下來,一個軌跡解碼器以一種時間因果的方式(中心)為多個代理推出(rolls out) T 個離散運動tokens。最后,通過使用非最大抑制初始化的k-means聚類的簡單聚合,可以恢復 rollouts 典型模式(右圖)。

圖3。展示了三個WOMD場景的前兩種預測聯合推出(joint rollout)模式。

顏色梯度表示從t = 0s到t = 8s的時間推移,聯合模式由綠色過渡到藍色,次聯合模式由橙色過渡到紫色的概率最大。觀察到三種類型的交互:相鄰車道中的智能體根據變道時間向變道智能體讓行(左),行人根據車輛的進度走在過往車輛后面(中),轉彎車輛要么給過路的騎車人讓路(最可能的模式),要么在騎車人接近之前轉彎(次要模式)(右)。

圖4。對于聯合推出(joint rollout)(左)、干預后因果貝葉斯網絡(中)和因果條件反射(右)的因果貝葉斯網絡表示。

實線表示時間上的因果相關性,而虛線表示因果信息流。沒有時間依賴約束的模型將支持因果條件作用,但不支持時間因果條件作用,這在試圖預測agent反應時可能是有問題的。

實驗結果:

引用:

Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534

原文鏈接:https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A

責任編輯:張燕妮 來源: 自動駕駛之心
相關推薦

2024-02-20 09:42:36

自動駕駛預測

2025-06-17 06:28:08

2025-06-30 05:30:00

2024-07-23 14:10:48

2023-08-15 14:18:19

智能研究

2024-10-15 17:28:05

2025-05-26 09:49:59

多模態智能體RAG

2023-08-28 06:52:29

2025-05-20 08:00:45

2024-01-18 09:40:00

智能模型

2025-04-16 00:00:00

谷歌MCP人工智能

2025-04-14 10:58:53

Agno多模態智能體LangGraph

2024-12-26 01:20:53

多模態大模型圖片

2025-02-26 10:17:43

2025-06-17 09:50:30

2015-08-17 17:02:10

黃蓋

2012-10-08 10:06:04

數據中心建造預測建模

2023-05-05 17:49:23

2023-08-05 13:45:46

模型AI

2025-04-07 02:00:00

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 九九久久99 | 成人做爰www免费看视频网站 | 日韩一区二区三区四区五区 | 一区二区三区四区在线 | 久久综合一区 | 色天堂影院 | 亚洲精品色 | 精品国产视频 | 中文字幕在线人 | 九九久久久 | 欧美一级黄带 | 久久久国产网站 | 欧美日韩国产一区二区三区 | 欧美理论片在线 | 国产成人网 | 国产精品亚洲成在人线 | 播放一级毛片 | 欧美一区二区三区在线观看视频 | www.成人久久 | 日韩精品免费一区二区在线观看 | 天堂成人av | 嫩草最新网址 | 亚洲一区二区三区在线观看免费 | 在线视频中文字幕 | 亚洲视频手机在线 | 日韩欧美一区二区三区免费观看 | 亚洲欧美日韩在线一区二区 | 手机在线观看 | 欧美精品乱码久久久久久按摩 | 亚洲精品在线视频 | 免费a级毛片在线播放 | 精品欧美一区免费观看α√ | 国产精品黄视频 | 欧美一区在线视频 | 日韩免费av一区二区 | 成人在线观看免费视频 | 91精品久久久久久久久 | 色资源在线 | 中文字幕乱码一区二区三区 | 亚洲高清在线观看 | 久久av资源网 |