成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

下一代自動駕駛系統超全的系統時間同步方案設計

人工智能 無人駕駛 新聞
本文詳細的講解了下一代自動駕駛系統的各個控制單元的時間同步原理,并對同步過程中的各個模塊提出了精度要求,涉及局部網絡節點同步、全局網絡節點同步。

下一代自動駕駛系統需要采用多激光雷達、多毫米波雷達、多攝像頭等各類傳感器,傳感器從采集數據到處理到發送到域控制器內部,存在延時,且延時的時長不穩定。為了提高自動駕駛的傳感器融合、決策規劃和融合定位等性能,自動駕駛高級域控制器HPC與其關聯的傳感器均需要做時間同步,實際過程就是需要定義清楚傳感器輸入數據的時間戳信息(包括打時間戳的時刻及精度要求),同時也需要定義整體時間同步方案和同步精度要求。

概述

要講清楚時鐘同步原理需要首先解釋清楚兩種時鐘同步類型:數據時鐘和管理時鐘。首先,整體上是組合慣導提供的UTC時間通過PPS+GPRMC給時間同步服務器授時。該時間同步服務器將相應的時間信息通過PTP協議和中央網關,給各類傳感器數據采集主機授時。HPC則需要實現好內部SOC和MCU之間的時間同步過程。

圖片


HPC的SOC和MCU之間的數據面時間通過gPTP協議時間同步,其中SOC為主master;HPC的SOC和MCU之間的管理面時間通過HPC私有協議進行同步,SOC為主Master,通過以太鏈路進行同步。

SOC和MCU同步過程中,管理時鐘和數據時鐘都會做同步,數據面用gPTP協議,在其時間同步精度要求250微妙內,管理時鐘用私有協議,也通過以太網,精度是10ms。其內部的管理時間和數據面時間就需要對齊,HPC要保證數據時鐘的連續性,不允許有異常跳變。因為異常跳變會引起很嚴重的數據誤傳和誤解析。

每次域控制器冷啟動時,域控制器會嘗試與提供主時鐘的節點持續進行一定時間(該時間可以根據實際情況按需標定)的通信以進行初始同步。如果同步成功,則數據時鐘會采用當前管理時間,以同步獲取到的絕對時間;對應的驅動程序可以隨其啟動,并調用對應的應用軟件進行運算。如果同步不成功 ,域控制器會一直嘗試同步。

HPC與VDC的同步過程

整個同步分類主要包括中央域控制器與網關、各類傳感器及執行器之間的同步。HPC的絕對時間通常通過中央網關CGW作為整車所有控制器提供統一時間源,將整體的同步時間戳輸出給所有關聯的控制器端(如車身域控制器PDC、整車域控制器VDC、座艙域控制器CSC等)。在下一代自動駕駛系統架構中,整車域控制器VDC不僅承擔著控制整車執行器端運行的功能,還同時兼任著中央網關CGW的功能,承載著HPC與其他域控制器信息交互和協議轉化的功能。

如下圖表示了自動駕駛控制器HPC與其關聯域控制器的連接關系。

圖片

前述講到VDC可作為中央網關功能,因此以HPC為中心的控制器間同步過程著重在于HPC與VDC之間的同步過程。通過VDC的信息中轉可以實現各域控制器之間的同步及通信功能。各控制器主要通過以太網直連,采用基于以太網gPTP協議。HPC與VDC的同步過程需要考慮與HPC直連的GNSS輸入絕對時間為主時鐘,該時間誤差比較小(通常在10ms內)。考慮智駕大數據云端分析精度,及 gPTP協議精度通常要求在250微妙內,HPC和VDC定周期可采用其整數倍精度(如125毫秒)做同步。

HPC局部網絡節點的同步過程

HPC局部網絡節點同步過程是指其與傳感器之間的同步過程。在自動駕駛私有內部網絡均以域控制器為主節點Master,采用其相應的數據端時間做時間源。HPC通過局部內網單獨給傳感器(激光雷達、毫米波雷達、行車攝像頭、環視攝像頭和組合慣導等)提供統一時間源。過程中,分別通過以太網連接激光雷達、組合慣導(預留1PPS),同時通過CANFD/以太網連接毫米波雷達、超聲波盒子PDC,通過GSML/LVDS連接攝像頭(包含行車/環視攝像頭)。該類不同的網絡連接形式均作為從節點與網關做時間同步。

其中主要包含三大傳感器如下:

  • 視覺傳感器:以行車控制和泊車控制的攝像頭進行區分。

行車攝像頭主要包括前視攝像頭、側視攝像頭、后視攝像頭為代表,泊車攝像頭主要指環視攝像頭;采用集中式方案后的攝像頭通常不再是一體機,而是簡單的傳感器而已,輸入的是原始圖像。

HPC和攝像頭通過視頻數據線纜如GSML或LVDS進行數據傳輸,HPC利用其數據時鐘(即系統時間,非絕對時間)作為時間源,定時發送觸發信號Trigger Signal給攝像頭,攝像頭基于實時觸發信號調整曝光時刻。由于單相機內無法直接記錄對應的時間戳,因此使用多相機同步觸發的方式進行同步,并以記錄域控內的觸發信號的時刻作為圖像的初始時間戳。

攝像頭其成像中間(如下計算方式)時刻打時間戳,且時間精度要求在10ms內。Tmidtime成像中間=Ttrigger(觸發時刻)+1/2*Texposure(曝光時間);如上公式中曝光時間是固定的。

由于觸發時刻位于整幀圖像的曝光末尾,為了提高時間戳的精度,需要對曝光時長進行補償以獲取中間行曝光結束點時刻,來代表整幀圖像的曝光中間時刻;通常采用如下公式進行時間補償。

Tcompensate(補償時間)=每行長度×總行數/2

域控制器記錄時刻包括如下5個時刻:攝像頭成像中間時刻、圖像進感知模塊的時刻、圖像感知結果進融合模塊的時刻、感知融合結果發送時間、下游模塊接收時刻。

圖片


  • 激光雷達:當前主要利用的是半固態激光雷達。

HPC和激光雷達通常也是基于以太網gPTP協議結合千兆以太網直連,HPC為主節點Master,激光雷達為從節點Slave。HPC同步時間源采用的是絕對時間(即系統時間)作為數據時鐘,時間同步精度要求仍舊是250微妙內。HPC和激光雷達采用同步時間精度的整數倍周期(比如可以是125毫秒、也可以是250ms)做同步,激光雷達需要按照該同步過程實時更新時間。此外,激光雷達需要在發出每幀點云中每個點的時間作為傳感器打時間戳的時刻要求(精度要求為1ms內)。

同樣,域控制器需要基于激光雷達返回時間記錄激光點云發送點時刻(即激光雷達在接收到反射信號時可以記錄到每個點的時刻);輸入域控制器時間戳(通常此時激光雷達已帶有相應的時間信息,HPC則不用再打時間戳);激光感知模塊時間戳(一般則由激光雷達供應商進行原始點云信息處理,如果是集中式方案則由HPC中的SOC負責進行前端點云感知,并由專有的SOC進行感知后端融合);感知結果帶上時間戳發送給下游模塊接收;且此時需要打上最后一個時間戳。域控制器的數據時鐘針對激光點云感知而言主要用于感知算法設計(這類算法可以是車端,也可以是云端),而絕對時間主要涉及本地時間,主要用于數據記錄和存儲業務。

圖片


  • 毫米波雷達:主要指前毫米波雷達、角毫米波雷達。

通常前毫米波雷達單獨對信息進行同步,而角毫米波雷達群本身會存在一個主雷達對其所有的信息進行進一步過程同步。通常以上一代自動駕駛來說,毫米波雷達輸入數據通常采用的是目標級數據,而下一代域控制器采用集中式方案后,對于將3D毫米波雷達更新換代為4D毫米波雷達,即直接處理毫米波雷達點云的呼聲越來越高。這個過程中,毫米波雷達不再具備計算單元,而是簡單輸入點云數據。但由于毫米波雷達的微波信號處理仍舊存在較高的難度,對于下一代自動駕駛系統來說,很多OEM仍舊采用目標級數據進行直連,時間同步精度通常要求叫激光雷達更加寬泛些,通常為1ms以內。點云毫米波雷達發出和收到回波的中間時刻作為標記打上時間戳,要求精度1ms內。

同時,HPC和毫米波雷達通過設定1-2秒的周期間隔進行同步,該時間段內毫米波雷達實時更新對應的時間。同樣的,域控制器基于毫米波雷達返回時間支持記錄包含以下五個時刻的時間戳:

回波反射點生成時間戳、回波輸入至域控制器時間戳(當然對于目標級數據記錄,其毫米波雷達已帶時間戳信息,華為不再打時間戳);毫米波雷達輸出的目標物信息是由原始反射點聚類過濾得到,為了獲取更加精準的時間戳,通常需要獲得原始反射點生成時刻的時間戳,如下圖紅色部分。

圖片

感知結果發送專門SOC/MCU并與其他傳感器做大融合時間戳。同樣的,域控制器的數據時間(或本地時間)用于算法設計運行,而絕對時間用于數據記錄和存儲業務。

HPC需要對智能camera和radar的報文需額外打上對應報文進入時刻的時間戳,對數據進感知模塊時刻打時間戳,作為備份使用與毫米波雷達確認,尤其角雷達,通過時間同步信息才能確定角雷達是否可發出目標。

  • 組合慣導/獨立慣導系統

下一代自動駕駛系統中,不同的OEM對于慣導使用的類型有所不同,通常根據其自研能力分為組合慣導和獨立慣導兩種類型。由于組合慣導內置衛慣組合算法,根據實際應用情況,這里我們只針對較為簡單的組合慣導的直連進行說明。HPC作為主節點Master而組合慣導為從節點,通過100兆以太網與組合慣導直連。其中,以太網仍舊是基于gPTP協議進行的。HPC同步時間源仍舊采用數據時鐘(即系統時間,非絕對時間)進行同步。要求時間同步精度要求:250微妙內,同步周期為同步精度要求的整數倍時間間隔(如1毫秒或125毫秒)。其間,組合慣導根據RTK和IMU信息基于最近一次IMU采樣,打時間戳。其精度限制在1ms內。

此外,IMU的采樣時刻、進入HPC時刻、進入后端融合模塊這三個時刻均會被打上時間戳。

HPC外部網絡節點的時間同步過程

除開內部網路節點時間同步外,對于下一代自動駕駛系統來說,其與相關聯的執行器之間(如集成制動控制系統EPBi、電子轉向系統EPS、動力控制系統VCU)均存在大量外部信息交互。參考階段性集中控制方式,這類整車控制端口通常通過整車控制器VDC進行連接和同步控制。如前述,VDC實際亦可看成中央網關,除開對各類域控制器的信息轉發外,其還承擔著整個同步時間戳的定義和發送。因為對于整車系統,整個絕對時間是自動駕駛系統的域控制器HPC連接的GNSS/GPS所獲得的。

關聯系統通常是通過整車域控端口(VDC)進行單獨的時間同步控制,因此HPC和ESP、EPS、VCU之間通常是不存在直接的主從節點這類型的時間同步關系,而是在執行指令過程中直接將各自時間戳發送給VDC控制器,在執行過程中進行時間對齊即可。

HPC安全冗余控制過程中的時間同步過程

對于整個自動駕駛系統來說,在時間同步過程中仍舊需要考慮相應的失效控制邏輯。考慮到其內所包含的AI芯片SOC和邏輯芯片MCU所承載的不同的功能。通常在兩者出現故障的不同時刻會存在一定程度的功能降級。這類功能降級我們稱之為局部功能降級。局部功能降級期間,若部分SOC失效時,MCU通過晶振維護時間和傳感器做同步。期間,仍可接收Radar及其余SOC傳遞過來的攝像頭目標數據信息,并保持輸出時間戳的穩定。因此,可以說局部功能降級后系統在短時間內仍舊使用原時間戳做應對,MCU仍可保持原時間數據穩定(其時間同步過程可參照MCU中的管里面時鐘進行),支持功能的運行。因為短時間內誤差很小,所以該時間內不做時間同步風險也很小。

圖片


當然,如果整個HPC失效,則需要另外一個備份控制器(可以是另外一個低配版本的HPC,也可以是額外增加的智能攝像頭Smart Camera)進行安全控制。此過程中,則需要重新建立該備份控制器與對應傳感器之間的時間同步關系。

另外一種失效模式為供電失效引起的功能降級。這里需要說明,域控制器存在兩種睡眠模式:深度睡眠和淺度睡眠。該睡眠模式主要與是否掐斷整體供電有關。如果控制器處于深睡眠,則數據時鐘直接使用上一次下電時存儲的管理時鐘,不再進行重新計時。如果控制器處于淺睡眠,則直接利用本次下電的管理時鐘進行計時。相對于深度睡眠來說,淺睡眠同步的時鐘結果更加準確。當然無論睡眠深淺,該時間段內控制器時鐘始終是無效的,且各軟件均無法正常運行。當然,由于整個淺睡眠轉化到深睡眠的時間是可以自定義的(如12小時)。

總結

本文詳細的講解了下一代自動駕駛系統的各個控制單元的時間同步原理,并對同步過程中的各個模塊提出了精度要求,涉及局部網絡節點同步、全局網絡節點同步。其中,局部網絡節點同步主要是針對自動駕駛系統內部的傳感器與域控之間的同步關系。全局網絡節點同步主要是針對自動駕駛系統與外部關聯系統(如控制制動、轉向、動力、車門、車燈、網關等)進行的時間同步關系。

對于整體計算精度而言,局部網絡節點同步是至關重要的,因為涉及的傳感器單元比較多,需要各自針對自身實際情況打上對應的時間戳,并最終由域控進行總同步。全局網絡節點同步則實際參照各分域控與HPC之間的信息交互簡單的進行時間信息交換即可。這里需要注意的是,整體系統的絕對時間均來自于GNSS系統,通常可由HPC或CSC進行連接輸入。

責任編輯:張燕妮 來源: 焉知智能汽車
相關推薦

2023-01-02 12:08:36

自動駕駛

2023-12-16 13:16:00

模型AI自動駕駛

2024-04-15 11:40:37

自動駕駛端到端

2021-12-06 17:27:59

自動駕駛數據汽車

2014-05-09 13:18:54

iOS移動互聯網

2013-07-27 21:28:44

2021-12-03 09:09:15

自動駕駛數據汽車

2021-09-02 15:02:27

自動化網絡安全AI

2013-06-27 11:21:17

2019-01-03 14:21:51

CPUGPU系統

2010-04-19 09:03:39

Linux文件系統

2010-08-25 12:17:52

PON

2011-03-03 11:35:10

2009-04-08 15:36:46

LinuxLustre集群文件系統

2010-02-05 09:18:31

軟交換設備

2017-08-23 09:58:01

2020-09-27 17:27:58

邊緣計算云計算技術

2018-09-27 18:47:45

AIOpsDevOps

2013-05-10 09:47:31

日本開發超算機

2018-09-11 08:00:00

DevOpsAIOps機器學習
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲国产一区视频 | 日韩免费在线视频 | 亚洲视频在线免费观看 | 成人高清在线 | 久久成人18免费网站 | 亚洲天堂一区二区 | 在线永久看片免费的视频 | 97国产爽爽爽久久久 | 成人免费看电影 | 黄色亚洲| 色久影院| 午夜欧美a级理论片915影院 | 国产精品高清在线 | 精国产品一区二区三区四季综 | 午夜三级在线观看 | 午夜视频在线免费观看 | 国产精品久久久久久影视 | 欧美极品一区二区 | 欧美一级淫片007 | 色婷婷国产精品 | 午夜电影一区二区 | 亚洲欧洲一区 | 欧美亚洲国产一区二区三区 | 免费国产一区 | 国产一区二区在线免费 | 欧美成人二区 | 狠狠色综合欧美激情 | 久久国产精品99久久久大便 | 国产精品一区二区免费 | 精品永久 | 华人黄网站大全 | 中文字幕 在线观看 | 青青久久| 国产精品黄色 | 欧美一区二区三区小说 | 国产粉嫩尤物极品99综合精品 | 亚洲精品第一 | 黄色一级大片在线免费看产 | 亚洲一区二区三区免费观看 | 欧美激情一区二区三区 | av黄色在线 |