在普渡大學數(shù)字孿生實驗室的最新成果中，研究人員引入了一種革命性的技術——利用大型語言模型（LLM）為自動駕駛汽車提供智能指令解析能力。

該技術的核心為Talk2Drive框架，旨在通過理解人類的自然語言來控制自動駕駛汽車，從而實現(xiàn)了一種前所未有的人車交互方式。

圖片

論文鏈接：https://arxiv.org/abs/2312.09397

項目網(wǎng)站：purduedigitaltwin.github.io/llm4ad

Talk2Drive框架通過其創(chuàng)新性的設計，實現(xiàn)了自動駕駛汽車與人類駕駛員之間的高效、直觀交互。該框架的運行流程涵蓋了從接收命令、處理與推理，到生成可執(zhí)行代碼，以及代碼的執(zhí)行和反饋收集幾個關鍵步驟。

首先，框架通過先進的語音識別技術接收和轉(zhuǎn)換人類的口頭命令為文本指令，這一步驟確保了人類的意圖被準確理解。

然后，結(jié)合云端的實時環(huán)境數(shù)據(jù)，包括天氣、交通狀況等，LLM能夠在處理命令時考慮到這些關鍵的上下文信息，確保生成的駕駛策略既安全又適應當前的環(huán)境條件。

圖片

LLM通過使用上下文學習和思維鏈提示，對命令進行推理，生成的代碼不僅包含了簡單的駕駛指令，還涉及復雜的駕駛行為和需要在車輛的低級控制器中調(diào)整的參數(shù)。這些參數(shù)的調(diào)整，如前瞻距離和速度，是基于對當前道路狀況和駕駛員需求的深入理解。

在安全性方面，Talk2Drive框架通過對生成代碼的格式和參數(shù)進行嚴格檢查，確保了自動駕駛行為的安全性。

，時長05:24

此外，記憶模塊的引入，允許系統(tǒng)記錄和學習駕駛員的偏好和反饋，為駕駛員提供更加個性化的駕駛體驗。

Talk2Drive框架的獨特之處在于它的高度個性化服務。

通過分析乘客的語言指令，如「請盡快送我到目的地，我不想讓朋友等太久」或「我感覺有些暈車，請減慢速度」，該框架能夠精確理解并滿足乘客的需求。每次的人車交互都會被記錄并用于優(yōu)化系統(tǒng)，使得它能夠?qū)W習乘客的偏好，并在未來提供更加定制化的駕駛體驗。

圖片

此外，實驗結(jié)果顯示，對不同駕駛風格的駕駛員，采用不同的LLM，采用Talk2Drive框架的自動駕駛汽車在實際道路測試中表現(xiàn)出色，能理解駕駛員不同晦澀程度的指令，有效降低了人為接管的需求，并且能夠適應不同的駕駛風格和場景。

這一成就不僅展示了大語言模型在自動駕駛領域的巨大潛力，也為未來的自動駕駛技術發(fā)展打開了新的道路。

圖片

對不同類型的駕駛員， 使用Talk2Drive 框架能顯著降低駕駛過程中的接管率。

隨著技術的不斷進步和優(yōu)化，Talk2Drive框架將能夠為自動駕駛汽車提供更加安全、舒適和個性化的駕駛體驗。這一突破性的研究不僅標志著自動駕駛與人機交互領域的融合與進步，也預示著一個以人為本、更加智能化的未來交通時代的到來。

研究團隊

普渡大學數(shù)字孿生實驗室致力于在大語言模型與自動駕駛的交叉領域中進行創(chuàng)新和探索。

歡迎全球?qū)Υ祟I域感興趣的研究者、工程師及行業(yè)同仁訪問我們的項目網(wǎng)站，共同推進自動駕駛技術的發(fā)展，探索未來交通的可能性。

圖片

參考資料：

https://arxiv.org/abs/2312.09397