自動駕駛系統(tǒng)由環(huán)境感知、規(guī)劃、決策、控制等幾個模塊組成，其中環(huán)境感知需要用到諸如攝像頭、毫米波雷達、激光雷達等傳感設(shè)備來獲取周圍環(huán)境的信息。不同種的傳感器有著不同的優(yōu)勢與缺陷，為了使感知層獲得的信息更為豐富、準(zhǔn)確，通常需要將不同的傳感器進行融合。本文著重介紹多傳感器融合的概念與相關(guān)知識，不具體介紹技術(shù)細(xì)節(jié)。

　　自動駕駛系統(tǒng)需要考慮多方面的因素：天氣、光照條件、距離、維度及精度與系統(tǒng)級要求。除此之外，對于傳感器，成本可控、滿足車規(guī)要求也是十分重要的。

　　各種傳感器各有優(yōu)劣，一種傳感器無法適配所有場景，因此需要出色的傳感器融合技術(shù)。比如，攝像頭顏色細(xì)節(jié)豐富、紋理細(xì)節(jié)豐富，但缺乏深度信息，且易受光照的影響；LiDAR具有完整的3D信息，對距離感知能力強，但成本高，量產(chǎn)難度大，對雨水、灰塵敏感；RaDAR全天候工作，速度感知能力強，量產(chǎn)成熟，但高度和角度精度低，靜止障礙物感知能力弱。

　　區(qū)域0:常為車身感知盲區(qū)，主要用于慢速行駛的安全冗余以及泊車場景，優(yōu)先級高;

　　身在硅谷的A同學(xué)和身在北京的B同學(xué)約了北京時間明早9點，開一個簡短的會。

　　北京時間早上九點是時序。同學(xué)與手機之間存在閉環(huán)，同學(xué)通過鬧鐘等方式查詢時間是否到了北京時間早上九點；手機與網(wǎng)絡(luò)存在閉環(huán)，通過同步時間完成閉環(huán)；最后通過協(xié)作分工達到運行流暢（大的閉環(huán)）。

　　如此可以得知時序閉環(huán)的目的——讓所有的參與者都在同一個時序上運轉(zhuǎn)并持續(xù)維護時序的高精度運行。

　　每種電子設(shè)備都有各自的時鐘，起始時間均不相同，而且因晶振質(zhì)量的差異，頻率也不同。

　　通過以上兩種方式接入GNSS+IMU設(shè)備或者主機所屬的以太網(wǎng)即可。以上同步周期進行，可控制在微秒級精度。

　　對于camera，非定制相機模組不支持時鐘同步，定制相機可選擇支持。對于radar，非定制Radar不支持時鐘同步。對于超聲波雷達非定制超聲波雷達不支持時鐘同步。

　　優(yōu)點:系統(tǒng)精度更高，可將系統(tǒng)同步精度控制在Δ \DeltaΔt 5ms;

　　sensort為t時刻傳感器系統(tǒng)采集的信息，通常包含{gnsst, imagest, pointclouds.,-.};

　　objectst為t時刻環(huán)境中的目標(biāo)級障礙物，可用位置、速度、加速度、類別等屬性描述獨立個體;

　　scenariot為t時刻環(huán)境中的語義級別元素描述，通常不能獨立的障礙物形式表達，如施工區(qū)域、雨水場景等;

　　前融合(early fusion) :多模數(shù)據(jù)直接輸入模型，讓模型通過多模數(shù)據(jù)提升目標(biāo)檢測精度的融合方式。

　　以向量的形式表述時，對應(yīng)的向量為狀態(tài)向量