自動(dòng)駕駛汽車面臨的一個(gè)核心挑戰(zhàn)是如何與人類合作。因此，在模擬環(huán)境中，將現(xiàn)實(shí)中的人類代理納入到自主駕駛系統(tǒng)的可擴(kuò)展訓(xùn)練和評(píng)估中至關(guān)重要。模擬代理通常是通過(guò)模仿大規(guī)模、高質(zhì)量的人類駕駛數(shù)據(jù)集來(lái)開(kāi)發(fā)的。然而，純粹的模仿學(xué)習(xí)代理在多代理閉環(huán)環(huán)境中執(zhí)行時(shí)經(jīng)驗(yàn)上具有較高的碰撞率。為了構(gòu)建在閉環(huán)設(shè)置中既逼真又有效的代理，研究人員提出了一種名為 Human-Regularized PPO（HR-PPO） 的多代理方法，其中代理通過(guò)與一個(gè)人類參考策略做自我對(duì)弈訓(xùn)練，并對(duì)偏離人類參考策略的行為施加了小的懲罰。與以往的方法相比，該方法以強(qiáng)化學(xué)習(xí)為主，僅利用了30分鐘的不完美人類示范數(shù)據(jù)。在大量的多代理交通場(chǎng)景的評(píng)估中，HR-PPO 代理在實(shí)現(xiàn)目標(biāo)方面非常有效，成功率達(dá)到 93%，越出道路的比率為 3.5%，碰撞率為 3%。與此同時(shí)，HR-PPO 代理以類似人類駕駛的方式行駛，在與人類駕駛協(xié)調(diào)的代理指標(biāo)上表現(xiàn)出相當(dāng)大的改進(jìn)，特別是在高度互動(dòng)的情景中。

當(dāng)前的駕駛模擬器提供了基本的交互代理 - 簡(jiǎn)單的車輛跟隨模型、基于規(guī)則的代理、記錄的人類駕駛?cè)罩净蚰７聦W(xué)習(xí)代理。這些模型無(wú)法創(chuàng)建具有挑戰(zhàn)性的協(xié)調(diào)場(chǎng)景，或者在閉環(huán)中具有高碰撞率。

為了構(gòu)建在閉環(huán)設(shè)置中既逼真又有效的代理，研究人員提出了Human-Regularized PPO (HR-PPO)，一種多代理方法，通過(guò)自我對(duì)弈訓(xùn)練，并對(duì)偏離人類參考策略的行為施加了小的懲罰。

方法

• 步驟1：模仿學(xué)習(xí)

通過(guò)對(duì)人類駕駛示范進(jìn)行模仿學(xué)習(xí)，獲取人類參考策略。

• 步驟2：引導(dǎo)自我對(duì)弈

代理在多代理設(shè)置中進(jìn)行訓(xùn)練，每個(gè)場(chǎng)景最多可容納50個(gè)代理。目標(biāo)函數(shù)如下：

實(shí)驗(yàn)結(jié)果

在大量的多代理交通場(chǎng)景中，研究人員發(fā)現(xiàn)可以同時(shí)實(shí)現(xiàn)效果和逼真度。HR-PPO 代理在四種不同逼真度指標(biāo)上實(shí)現(xiàn)了顯著的人類相似性改進(jìn)，同時(shí)達(dá)到了與 PPO 相似的性能水平。

HR-PPO 代理在衡量與人類駕駛協(xié)調(diào)的代理指標(biāo)上顯示出相當(dāng)大的改進(jìn)，特別是在需要代理之間協(xié)調(diào)的高度互動(dòng)場(chǎng)景中。在互動(dòng)場(chǎng)景中，HR-PPO 在 PPO 的基礎(chǔ)上提升了 20-40%。

有趣的是，它們甚至表現(xiàn)出比直接在代理的測(cè)試分布上訓(xùn)練的代理更好的性能。這表明，多代理訓(xùn)練可能比單一代理訓(xùn)練提供了額外的好處。

為什么 HR-PPO 代理與人類駕駛?cè)罩靖嫒菽兀?/h2>

• HR-PPO 代理的駕駛風(fēng)格類似于人類駕駛員，這使得它更容易適應(yīng)人類駕駛?cè)罩镜男袨椋?/li>

• HR-PPO 代理與其他車輛保持更多距離，從而降低了碰撞的風(fēng)險(xiǎn)。

譯自（有刪改）：https://sites.google.com/view/driving-partners