1、在無人駕駛技術實現時，往往采用多傳感器融合技術充分感知三維場景的全局上下文信息。多傳感器融合即融合多個不同種類的傳感器信息，以便得到更有價值的特征。同時，通過融合不同模態的互補信息，可以進一步提高檢測算法的可感知性、可靠性和魯棒性。由于融合策略的不同，多傳感器深度融合架構可大致分為早期融合和晚期融合兩大類。

　　2、早期融合指的是在用深度神經網絡進行特征提取前，輸入表示就已經結合多個模態的信息，即輸入表示融合了不同傳感器的數據，這往往是像素級別的融合。這種融合方式最常見的方法是對輸入信號進行簡單的連接操作，其利用了每個模態低水平特征之間的相關性和相互作用。

　　3、晚期融合則是融合來自不同傳感器分支的特征，這通常是特征級的融合。晚期融合使用單獨的子網為每個模態生成特征表示，并通常使用全連接層對所有單獨模態模型的編碼結果進行集成。由于晚期融合方法提取每個分支的網絡可以不同，因而可以更好地對每種模態數據進行建模，實現更大的靈活性。

　　4、現有的早期融合方案在數據輸入層進行融合操作，但一般認為不同傳感器的數據流所包含的信息在高層次維度上才能找到相關性，特別是無人駕駛技術所依賴的rgb圖像和點云數據，其原始數據相關性差，因此，使用早期融合方案直接融合兩種數據難度較大。而晚期融合方案中，不斷有新的融合思路出現，如今常用的就是基于幾何方式的融合思路，其利用精心設計的特征投影機制融合兩個模態的特征。這種融合機制下，信息通常從投影的二維或三維空間中每個特征周圍的局部鄰域聚集。雖然這些方法比僅直接特征相加或拼接效果更好，但我們觀察到，激光雷達點云數據相比于rgb圖像非常稀疏，融合十分有限，其架構設計中的局限性阻礙了它們在真實復雜動態場景中的性能。

　　5、無人車輛期望得到不同傳感器的互補信息，如何充分融合兩種模態的特征是無人駕駛道路車輛檢測的核心問題，但真實的三維場景中往往存在大量的復雜物體，并且由于不同模態對于同一個物體的描述通常不同，要準確融合對應物體的信息形成更有效的表征往往是十分困難的。同時整個三維場景信息量巨大，網絡提取到的特征并不是每個都是有效的。

　　1、本發明提供了一種基于多傳感器融合的道路車輛感知方法，可用于提高無人駕駛車輛的感知精確度。

　　4、步驟1，獲取用于道路車輛感知模型訓練的目標檢測數據，所述目標檢測數據包括攝像裝置采集的圖像數據和激光掃描儀采集的激光雷達點云數據；并將激光雷達點云數據轉換激光雷達鳥瞰圖；

　　6、所述道路車輛感知模型包括點級特征融合模塊和感興趣區域roi級特征融合模塊；

　　7、點級特征融合模塊包括圖像分支骨干網和激光雷達分支骨干網，圖像分支骨干網用于對圖像數據進行多尺度的圖像特征提取，得到若干不同尺度的第一中間特征圖，以及圖像分支骨干網的最終輸出特征圖；激光雷達分支骨干網用于對激光雷達鳥瞰圖進行多尺度的圖像特征提取，得到若干不同尺度的第二中間特征圖，以及激光雷達分支骨干網的最終輸出特征圖；其中，第一和第二中間特征圖的尺度數量相同，且同一級的第一中間特征圖和第二中間特征圖的特征圖維度一致；

　　8、第一級的第一和第二中間特征圖經基于注意力融合模塊后，得到第一級融合中間特征圖，第一級融合中間特征圖與第一級的第一中間特征圖相加后在圖像分支骨干網上繼續參與前向計算；第一級融合中間特征圖與第一級的第二中間特征圖相加后在激光雷達分支骨干網上繼參與前向計算；

　　9、且從第二級中間特征圖開始，圖像分支骨干網與激光雷達分支骨干網的同級中間特征圖通過基于transformer的融合模塊進行融合，得到當前級融合中間特征圖，再分別與當前級的第一、第二中間特征圖相加后，分別在兩骨干網上繼續參與前向計算；

　　Bsports必一體育

　　10、roi級特征融合模塊通過卷積層對圖像分支骨干網的最終輸出特征圖進行道路車輛檢測，得到若干3d候選框及其道路車輛識別結果，經得分閾值處理和非最大值抑制操作后，得到若干3d檢測框；將3d檢測框分別投影到激光雷達鳥瞰圖空間和圖像數據的二維圖像空間，再對通過roi特征提取分別得到圖像數據和激光雷達鳥瞰圖兩個模態的roi特征，拼接兩個模態的roi特征后輸入基于至少兩層全連接層的細化模塊中，以預測每個3d檢測框的細化修正，將細化修正結果和3d檢測框結合得到最終的道路車輛檢測結果；

　　11、基于目標檢測數據和對應的標簽數據訓練道路車輛感知模型時，模型總損失函數為為分類損失和回歸損失的總和，當滿足預置的訓練收斂條件時，得到基于多傳感器融合的道路車輛感知器，以用于無人駕駛車輛在行駛過程中的道路車輛感知。

　　13、本發明在采用雙流網絡的道路車輛感知模型中引入注意力機制和transformer結構聚合不同模態特征，使兩個模態特征互相增強，并使網絡學習全局依賴關系，在特征提取階段集成全局上下文信息。本發明利用transformer的自注意力機制，模型可以自然地同時進行模態內和模態間融合，并魯棒地捕獲圖像域和激光雷達域之間的潛在相互作用，從而顯著提高車輛檢測性能，改進了以往融合方法的局限性。本發明利用roi(region ofinterest)的再次融合，基于再次融合結果的精細化修正檢測結果，實現道路上車輛的精確感知。

　　2.如權利要求1所述的方法，其特征在于，圖像數據的顏色空間為rgb格式。

　　4.如權利要求1所述的方法，其特征在于，所述transformer的融合模塊具體為：

　　5.如權利要求1至4任一項所述的方法，其特征在于，模型總損失函數具體設置為：

　　本發明公開了一種基于多傳感器融合的道路車輛感知方法，屬于無人駕駛技術領域。本發明在采用雙流網絡的道路車輛感知模型中引入注意力機制和Transformer結構聚合不同模態特征，使兩個模態特征互相增強，并使網絡學習全局依賴關系，在特征提取階段集成全局上下文信息。本發明利用Transformer的自注意力機制，模型可以自然地同時進行模態內和模態間融合，并魯棒地捕獲圖像域和激光雷達域之間的潛在相互作用，從而顯著提高車輛檢測性能，改進了以往融合方法的局限性。本發明利用RoI的再次融合，基于再次融合結果的精細化修正檢測結果，實現道路上車輛的精確感知。

　　如您需求助技術專家，請點此查看客服電線.生物醫學材料及器械 3.聲發射檢測技術。

　　1.數字信號處理 2.傳感器技術及應用 3.機電一體化產品開發 4.機械工程測試技術 5.逆向工程技術研究