一文詳解目前最火的多傳感器融合技術(shù)
在自動(dòng)駕駛的感知領(lǐng)域中，基于單個(gè)傳感器的感知往往具有著信息不足，特定環(huán)境下無(wú)法穩(wěn)定適用，價(jià)格成本等等的顧慮，這也就造成了目前市面上大多數(shù)自動(dòng)駕駛企業(yè)都會(huì)為一輛自動(dòng)駕駛汽車配備數(shù)量、種類繁多的傳感器，為的便是充分利用上每個(gè)傳感器的特點(diǎn)以及適用場(chǎng)景，在可控成本的基礎(chǔ)上最大程度地保證自動(dòng)駕駛功能的安全性。這也就造就了多傳感器融合技術(shù)成為了目前廠商需求量最大的崗位之一，能夠熟知各類傳感器的特點(diǎn)以及使用，并且能夠?qū)崿F(xiàn)信息完美融合不丟失的技術(shù)，將給未來(lái)的自動(dòng)駕駛落地帶來(lái)可能。本文就詳細(xì)解讀一下目前市面上最火的多傳感器融合技術(shù)，以及其如何能幫助自動(dòng)駕駛車輛完成各類復(fù)雜的感知任務(wù)。
進(jìn)行自動(dòng)分析和綜合，以完成所需的決策和估計(jì)而進(jìn)行的信息處理過程。和人的感知相似，不同的傳感器擁有其他傳感器不可替代的作用，當(dāng)各種傳感器進(jìn)行多層次，多空間的信息互補(bǔ)和優(yōu)化組合處理，最終產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋。
（2）對(duì)傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時(shí)間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個(gè)直接的屬性說(shuō)明）進(jìn)行特征提取的變換，提取代表觀測(cè)數(shù)據(jù)的特征矢量Yi；
（3）對(duì)特征矢量Yi進(jìn)行模式識(shí)別處理（如聚類算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標(biāo)屬性判決的統(tǒng)計(jì)模式識(shí)別法等），完成各傳感器關(guān)于目標(biāo)的說(shuō)明；
（5）利用融合算法將目標(biāo)的各傳感器數(shù)據(jù)進(jìn)行合成，得到該目標(biāo)的一致性解釋與描述。
多傳感器融合的技術(shù)以及工程化落地難度無(wú)疑是復(fù)雜的，那么為何眾多自動(dòng)駕駛公司依然趨之若鶩，想要攻克實(shí)現(xiàn)路途中的一個(gè)個(gè)難題？這是因?yàn)槎鄠鞲衅魅诤峡梢院芎玫貞?yīng)用上每個(gè)傳感器自身的優(yōu)勢(shì)，統(tǒng)一之后為下游輸出一個(gè)更加穩(wěn)定、全面的感知信息，讓下游規(guī)控模塊能夠根據(jù)這些精確穩(wěn)定的結(jié)果實(shí)現(xiàn)車輛最終的安全駕駛。
一方面可以實(shí)現(xiàn)信息的冗余。對(duì)于環(huán)境的某個(gè)特征，可以通過多個(gè)傳感器（或者單個(gè)傳感器的多個(gè)不同時(shí)刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過融合處理，可以從中提取出更加準(zhǔn)確和可靠的信息。與此同時(shí)，信息的冗余性可以提高系統(tǒng)的穩(wěn)定性，從而能夠避免因單個(gè)傳感器失效而對(duì)整個(gè)系統(tǒng)所造成的影響。
第二，完成信息的互補(bǔ)性。不同種類的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對(duì)象是不同的環(huán)境特征，它們彼此之間具有互補(bǔ)性。如果定義一個(gè)由所有特征構(gòu)成的坐標(biāo)空間，那么每個(gè)傳感器所提供的信息只屬于整個(gè)空間的一個(gè)子空間，和其他傳感器形成的空間相互獨(dú)立。
第三，保證信息處理的及時(shí)性。各傳感器的處理過程相互獨(dú)立，整個(gè)處理過程可以采用并行導(dǎo)熱處理機(jī)制，從而使系統(tǒng)具有更快的處理速度，提供更加及時(shí)的處理結(jié)果。
最后，也是可以實(shí)現(xiàn)信息處理的低成本性。我們知道自動(dòng)駕駛車輛的成本是非常高的，其中重要一項(xiàng)便是來(lái)源于傳感器的價(jià)格。多個(gè)低成本傳感器可以花費(fèi)更少的代價(jià)來(lái)得到相當(dāng)于單個(gè)高成本傳感器所能得到的信息量，另一方面，如果不將單個(gè)傳感器所提供的信息用來(lái)實(shí)現(xiàn)其他功能，這無(wú)疑是資源的浪費(fèi)，無(wú)法充分利用起每個(gè)傳感器的價(jià)值。
融合分為前融合和后融合，主要是依據(jù)傳感器信息在整個(gè)融合流程中的位置劃分，前融合包括數(shù)據(jù)集融合，特征集融合，后融合指的是目標(biāo)集融合，判斷一個(gè)融合系統(tǒng)是前融合還是后融合，主要看該系統(tǒng)中有幾個(gè)感知算法。前融合只有一個(gè)感知算法，而后融合有幾個(gè)傳感器，就有幾個(gè)感知算法。
后端融合算法又被稱為松耦合算法，本質(zhì)上是對(duì)融合后的多維綜合數(shù)據(jù)進(jìn)行感知，如下圖所示，后端融合算法是松散的，在出結(jié)果之前，所有的傳感器都是獨(dú)立的，不存在傳感器與傳感器的約束。每個(gè)傳感器各自獨(dú)立處理生成的目標(biāo)數(shù)據(jù)；比如激光雷達(dá)處理后得到點(diǎn)云目標(biāo)屬性，攝像頭處理后得到圖像目標(biāo)，然后經(jīng)過坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)系下的目標(biāo)屬性，毫米波雷達(dá)直接獲得目標(biāo)的速度、距離信息；當(dāng)所有傳感器完成目標(biāo)數(shù)據(jù)處理后（如目標(biāo)檢測(cè)、速度預(yù)測(cè)），再使用一些傳統(tǒng)方法來(lái)融合所有傳感器的結(jié)果，得到最終的目標(biāo)信息
本質(zhì)上就是每個(gè)傳感器作為一部分融合成一個(gè)單一的傳感器，從整體上來(lái)考慮信息，這樣做的好處是在前端時(shí)候即可融合數(shù)據(jù)，讓這些數(shù)據(jù)具有關(guān)聯(lián)性，例如當(dāng)VSLAM在平地行走時(shí)，缺少Z軸方向上的激勵(lì)，這是時(shí)通過里程計(jì)等傳感器的前端融合可以較好地避免系統(tǒng)的衰減。通過在空間、時(shí)間同步的前提下，將傳感器數(shù)據(jù)融合在一起，然后進(jìn)行處理，得到一個(gè)具有多維綜合屬性的結(jié)果層目標(biāo)。比如將攝像頭、激光雷達(dá)、毫米比雷達(dá)數(shù)據(jù)進(jìn)行融合，就可以得到一個(gè)既有顏色信息、形狀信息、又有運(yùn)動(dòng)信息的目標(biāo)（即融合了圖像RGB、Lidar三維信息、毫米波距離速度信息）。
在自動(dòng)駕駛領(lǐng)域，無(wú)論是哪一類型的技術(shù)，都是在幫助車輛的決策系統(tǒng)獲取車輛運(yùn)行過程中的數(shù)據(jù)，但是感知領(lǐng)域中每一種傳感器都存在著不確定性，比如激光雷達(dá)和攝像頭會(huì)受到極端天氣的影響，毫米波雷達(dá)對(duì)靜態(tài)物體感知不準(zhǔn)等等。正是因?yàn)檫@個(gè)原因，導(dǎo)致在自動(dòng)駕駛技術(shù)在環(huán)境感知環(huán)節(jié)依賴于多傳感器的數(shù)據(jù)融合，這樣才能讓不同的傳感器在不同的環(huán)境下發(fā)揮自身的最大作用，也為下游的決策規(guī)劃模塊可以提供最為穩(wěn)定與準(zhǔn)確的結(jié)果。
