1、近年來,隨著自動駕駛技術的發展,多傳感器融合技術已成為自動駕駛領域中的重要研究方向。多傳感器融合技術可以將不同類型的傳感器數據進行融合,從而提高自動駕駛系統的準確性和魯棒性。其中,固態激光雷達是目前自動駕駛系統中最為重要的傳感器之一,其可以提供高分辨率和高精度的環境地圖。
2、相關技術中,由于自動駕駛的感知系統沒有確定的主傳感器,造成在特定場景下不同傳感器模塊的工作效果會出現不同的狀況,這會導致自動駕駛系統整體的安全性降低。
3、基于此,目前亟需一種智能車輛多傳感器系統的融合方法及裝置來解決上述技術問題。
1、本發明實施例提供了一種智能車輛多傳感器系統的融合方法及裝置,能夠有效降低集成成本,提高自動駕駛系統整體的安全性。
2、第一方面,本發明實施例提供了一種智能車輛多傳感器系統的融合方法,包括:
3、獲取自動駕駛系統的傳感器的采集數據;其中,所述采集數據包括圖像數據和定位數據,所述圖像數據包括固態激光雷達傳感器采集的第一數據和其余傳感器采集的第二數據,當所述第二數據與所述第一數據之間存在誤差時,利用所述第一數據對所述第二數據進行校正;
必一運動sport網頁版登錄
4、對所述定位數據、所述第一數據和所述第二數據均進行預處理,依次得到定位標準數據、第一標準數據和第二標準數據;
5、基于所述定位標準數據、所述第一標準數據和所述第二標準數據,確定汽車的融合位置信息;
6、基于所述第一標準數據和所述第二標準數據,確定所述汽車的融合識別信息;其中,所述融合識別信息包括原始識別信息、深度識別信息和精確識別信息;
8、優選地,所述對所述定位數據、所述第一數據和所述第二數據均進行預處理,依次得到定位標準數據、第一標準數據和第二標準數據,包括:
9、對所述定位數據、所述第一數據和所述第二數據均進行優化處理,依次得到定位優化數據、第一優化數據和第二優化數據;其中,所述優化處理包括丟幀補償處理、噪聲過濾處理和數據預測處理;
10、對所述定位優化數據進行第一標準化處理,得到定位標準數據;其中,所述第一標準化處理包括定位數據標準化和定位坐標系標準化;
11、對所述第一優化數據和所述第二優化數據均進行第二標準化處理,依次得到第一標準數據和第二標準數據;其中,所述第二標準化處理包括數據結構標準化、數據話題信息標準化和時間戳同步標準化。
12、優選地,所述基于所述定位標準數據、所述第一標準數據和所述第二標準數據,確定汽車的融合位置信息,包括:
13、基于視覺slam算法對所述第一標準數據和所述第二標準數據均進行處理,得到所述汽車的實時定位結果;
14、利用所述實時定位結果對所述定位標準數據進行校準,得到所述融合位置信息。
16、對所述第一標準數據的第一信息矩陣和所述第二標準數據的第二信息矩陣進行融合,得到融合信息矩陣;
17、對所述融合信息矩陣進行特征提取,并對提取結果進行識別,得到所述汽車的原始識別信息。
19、基于點云特征提取網絡對所述第一標準數據進行處理,得到第一特征矩陣;
20、基于輔助特征提取網絡對所述第二標準數據進行處理,得到第二特征矩陣;
21、對所述第一特征矩陣和所述第二特征矩陣進行融合處理,得到融合特征矩陣;
22、對所述融合特征矩陣進行特征提取,并對提取結果進行識別,得到所述汽車的深度識別信息。
24、對所述第一標準數據依次進行點云目標分割處理和點云目標辨識處理,得到第一識別結果;
26、對所述第一識別結果和所述第二識別結果進行目標融合處理,得到所述汽車的精確識別信息。
27、優選地,所述基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑,包括:
30、基于所述靜態場景信息和所述動態跟蹤預測模型,控制所述汽車的行駛路徑。
31、第二方面,本發明實施例還提供了一種智能車輛多傳感器系統的融合裝置,包括:
32、獲取單元,用于獲取自動駕駛系統的傳感器的采集數據;其中,所述采集數據包括圖像數據和定位數據,所述圖像數據包括固態激光雷達傳感器采集的第一數據和其余傳感器采集的第二數據,當所述第二數據與所述第一數據不同時,利用所述第一數據對所述第二數據進行校正;
33、處理單元,用于對所述定位數據、所述第一數據和所述第二數據均進行預處理,依次得到定位標準數據、第一標準數據和第二標準數據;
34、第一確定單元,用于基于所述定位標準數據、所述第一標準數據和所述第二標準數據,確定汽車的融合位置信息;
35、第二確定單元,用于基于所述第一標準數據和所述第二標準數據,確定所述汽車的融合識別信息;其中,所述融合識別信息包括原始識別信息、深度識別信息和精確識別信息;
36、控制單元,用于基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑。
37、第三方面,本發明實施例還提供了一種電子設備,包括存儲器和處理器,所述存儲器中存儲有計算機程序,所述處理器執行所述計算機程序時,實現本說明書任一實施例所述的方法。
38、第四方面,本發明實施例還提供了一種計算機可讀存儲介質,其上存儲有計算機程序,當所述計算機程序在計算機中執行時,令計算機執行本說明書任一實施例所述的方法。
39、本發明實施例提供了一種智能車輛多傳感器系統的融合方法及裝置,首先構建以固態激光雷達組作為主感知硬件的標準框架,并在框架中設置相互通信連接的數據預處理模塊、數據標準化模塊、信息識別模塊、定位模塊、感知融合模塊、靜態場景認知模塊和動態目標認知模塊,每個模塊依靠各自的功能模塊實現系統與系統之間的信息交互與傳遞,最后將目標識別、跟蹤、預測的結果以靜態、動態交通參與者信息的形式提供給自動駕駛車輛的決策系統以控制車輛做出安全穩定的動作。通過上述方法可以有效提高自動駕駛系統的準確性、魯棒性、安全性、可維護性和可升級性,同時降低自動駕駛系統的開發和集成成本,促進自動駕駛技術的發展。
2.根據權利要求1所述的方法,其特征在于,所述對所述定位數據、所述第一數據和所述第二數據均進行預處理,依次得到定位標準數據、第一標準數據和第二標準數據,包括:
必一運動sport網頁版登錄
3.根據權利要求2所述的方法,其特征在于,所述基于所述定位標準數據、所述第一標準數據和所述第二標準數據,確定汽車的融合位置信息,包括:
4.根據權利要求2所述的方法,其特征在于,所述原始識別信息具體是通過如下方式得到的:
5.根據權利要求2所述的方法,其特征在于,所述深度識別信息具體是通過如下方式得到的:
6.根據權利要求2所述的方法,其特征在于,所述精確識別信息具體是通過如下方式得到的:
7.根據權利要求2所述的方法,其特征在于,所述基于所述融合位置信息和所述融合識別信息,控制所述汽車的行駛路徑,包括:
9.一種電子設備,其特征在于,包括存儲器和處理器,所述存儲器中存儲有計算機程序,所述處理器執行所述計算機程序時,實現如權利要求1-7中任一項所述的方法。
10.一種計算機可讀存儲介質,其特征在于,其上存儲有計算機程序,當所述計算機程序在計算機中執行時,令計算機執行權利要求1-7中任一項所述的方法。
本發明提供了一種智能車輛多傳感器系統的融合方法及裝置,其中方法包括:獲取自動駕駛系統的傳感器的采集數據;其中,采集數據包括圖像數據和定位數據,圖像數據包括固態激光雷達傳感器采集的第一數據和其余傳感器采集的第二數據,利用第一數據對第二數據進行校正;對定位數據、第一數據和第二數據均進行預處理,依次得到定位標準數據、第一標準數據和第二標準數據;基于定位標準數據、第一標準數據和第二標準數據,確定汽車的融合位置信息;基于第一標準數據和第二標準數據,確定汽車的融合識別信息;基于融合位置信息和融合識別信息,控制汽車的行駛路徑。本方案能夠有效整合和管理多種傳感器的數據,使其更加可靠和精確。
楊世春,盧家懌,曹耀光,張博奧,馮鑫杰,孫玢,許靖云,張夢月,閆嘯宇,陳飛,周帆,彭朝霞
技術研發人員:楊世春,盧家懌,曹耀光,張博奧,馮鑫杰,孫玢,許靖云,張夢月,閆嘯宇,陳飛,周帆,彭朝霞
1.計算機視覺 2.無線.計算機仿線.網絡安全;物聯網安全 、大數據安全 2.安全態勢感知、輿情分析和控制 3.區塊鏈及應用