本發明涉及計算機視覺技術，尤其涉及一種多傳感器融合標定的方法及相關裝置。

　　1、多傳感器融合技術在提高無人駕駛和機器人導航中的環境感知能力方面得到了廣泛的應用。標定是多傳感器數據融合預處理的重要環節。無人駕駛多傳感器聯合標定的主要研究內容為求解多個傳感器坐標系的變換關系，將激光雷達和攝像頭等傳感器的數據統一到同一個坐標系，即車體坐標系下，得到車體周圍障礙物、道路標志等目標的融合數據。然而，大多數早期激光雷達相機校準方法使用特定的校準目標和復雜的手動設置來提取2d-3d對應特征以找到外部參數。這些方法是離線操作并且不適合于無人駕駛車輛的實時校準。隨著深度學習技術的發展，光探測和測距激光雷達和相機逐漸過時，基于深度學習的多傳感器融合標定具有更高精度、更好的適應不同環境和場景而且具有實施校準等功能。

　　2、常用的多傳感器融合標定的方法有：1)手動標定板法，該方法涉及在場景中放置一個已知尺寸和特征的標定板，同時采集相機圖像和激光雷達點云數據，通過檢測標定板上的特征點并將它們在相機圖像和激光雷達數據之間進行匹配，可以計算相機和激光雷達之間的外部參數，該方法可控制、易于實現，但依賴于手工標定板，需要大量人工操作，對標定板的放置和識別要求高，難以應對動態場景；2)特征點匹配法，該方法通過檢測場景中的特征點(如角點或線段)并將它們在相機圖像和激光雷達數據之間進行匹配，從而確定兩者之間的關系，通常使用ransac等算法來估計外部參數。該方法無需標定板，對場景結構要求相對低，但特征點的提取和匹配可能不穩定，需要解決特征點提取和匹配的對應關系問題；3)慣導傳感器法，該方法通過將慣導傳感器(imu)與相機和激光雷達傳感器一起使用，可以估計相機和激光雷達之間的相對位姿，這種方法通常涉及融合imu數據來糾正相機和激光雷達之間的誤差，比較適用于移動平臺，可以提高校準的穩定性，但是需要精確的imu數據，對于不同運動情況和振動較為敏感。

　　3、因此存在以下缺點：1)依賴于手工標定目標，現有方法通常依賴于放置在場景中的手工標定目標，如標定板或標志物。這些目標需要精確放置，容易受到環境變化和攝像機視角的影響；2)精度有限，現有方法可能無法提供高精度的校準，因為它們受到標定目標的精度限制以及相機和激光雷達測量誤差的影響。這可能導致校準結果的不穩定性和誤差積累；3)需要人工干預，目前一些方法可能需要大量人工干預和手動測量，包括目標放置、特征點提取和校準參數的調整。這會增加了校準的復雜性和耗時；4)適用性受限，一些傳統方法可能不適用于復雜的或動態的場景，因為它們無法處理場景中的運動物體或隨時間變化的場景；5)環境依賴性，傳統方法通常對環境變化敏感，如光照條件、場景結構的變化等，這可能會導致校準的不穩定性；6)大規模難以應用，在大規模的自動化系統中，如無人駕駛領域中，傳統方法可能不夠有效，因為它們難以自動化和擴展到大規模的數據集。

　　1、為了解決上述技術問題，本發明提出一種多傳感器融合標定的方法及相關裝置。在所述方法及相關裝置中，可以有效地融合和處理多種傳感器數據，實現端到端學習，并提取高級特征以完成標定任務。

　　4、獲取多傳感器數據并進行預處理，所述多傳感器數據來源于不同類型的傳感器分別采集同一場景的數據；

　　5、將多種傳感器數據輸入預設的cnn-dnn組合模型中進行訓練，獲得訓練結果，將訓練結果輸入到損失函數中進行損失計算，得到與真實地面值的損失值，基于損失值利用反向傳播算法對模型進行參數調優，直至達到迭代次數或損失值滿足預測要求，輸出訓練好的cnn-dnn組合模型；

　　6、將待融合的多傳感器數據輸入至訓練好的cnn-dnn組合模型中，進行多傳感器數據的實時標定。

　　9、優選地，所述cnn-dnn組合模型包括卷積神經網絡和深度神經網絡，其中，所述卷積神經網絡包括輸入層、卷積層、非線性激活層、池化層和全連接層，用于分別提取相機數據和激光雷達數據的特征并將每種數據的特征輸入至所述深度神經網絡中；所述深度神經網絡包括全連接層、非線性激活層、輸出層和損失函數，用于融合每種數據的特征并基于融合特征預測相機與激光雷達之間的外部參數。

　　16、其中，lr(dc,dl)是旋轉損失，lt(dc,dl)是平移損失；λ1和λ2分別表示旋轉和平移損失的損失權重；

　　19、其中，rgt和rpred是四元數的基礎真值和預測，da是兩個四元數的角距離；所述平移損失使用平滑的l1損失函數。

　　必一運動官網

　　20、基于上述內容，本發明還公開了一種基于深度學習的無人駕駛多傳感器融合標定的裝置，包括：數據處理模塊、訓練模塊和標定模塊，其中，

　　21、所述數據處理模塊，用于獲取多傳感器數據并進行預處理，所述多傳感器數據來源于不同類型的傳感器分別采集同一場景的數據；

　　22、所述訓練模塊，用于將多種傳感器數據輸入預設的cnn-dnn組合模型中進行訓練，獲得訓練結果，將訓練結果輸入到損失函數中進行損失計算，得到與真實地面值的損失值，基于損失值利用反向傳播算法對模型進行參數調優，直至達到迭代次數或損失值滿足預測要求，輸出訓練好的cnn-dnn組合模型；

　　23、所述標定模塊，用于將待融合的多傳感器數據輸入至訓練好的cnn-dnn組合模型中，進行多傳感器數據的實時標定。

　　24、基于上述內容，本發明還公開了一種計算機設備，其特征在于，包括：存儲器，用于存儲計算機程序；處理器，用于執行所述計算機程序時實現如上述任一所述的方法。

　　25、基于上述內容，本發明還公開了一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如上述任一所述的方法。

　　26、基于上述技術方案，本發明的有益效果是：本發明創新性地提出了利用深度學習來進行多傳感器融合標定的概念。利用卷積神經網絡(cnn)對相機和激光雷達產生的數據進行圖像處理、特征提取。該網絡可以學習到圖像的視覺特征，如角點、紋理、物體輪廓等。cnn也可以用來自動檢測激光雷達掃描點云中的特征，如地平面、物體邊緣、拐角等。然后再將相機和激光雷達的這些數據融合在一起，以提供更豐富的特征表示，有助于在標定過程中進行視覺和激光數據的互補。深度神經網絡(dnn)可用于訓練相機和激光雷達之間的參數，融合相機和激光雷達的參數。最后將訓練結果輸入到損失函數中進行損失計算，得到的損失值使用反向傳播進行模型訓練，從而提高模型性能。將圖像和激光雷達數據整合為一個共同的特征表示。cnn用于處理傳感器數據的特征提取，而dnn則用于特征融合和參數標定，這兩種神經網絡結構的組合可以更好地應對相機和激光雷達數據的融合標定問題，提供準確的標定結果。