當(dāng)前位置：

自動駕駛感知系統(tǒng)

在自動駕駛賽道中，感知的目的是為了模仿人眼采集相關(guān)信息，為后續(xù)做決策提供必要的信息。根據(jù)所做決策的任務(wù)不同，感知可以包括很多子任務(wù)：如車道線檢測、3D目標(biāo)檢測、障礙物檢測、紅綠燈檢測等等；再根據(jù)感知預(yù)測出的結(jié)果，完成決策；**根據(jù)決策結(jié)果執(zhí)行相應(yīng)的操作（如變道、超車等）；

2024-04-18 17:21:57

感知是什么？如何進(jìn)行感知？

由于感知是為了模仿人眼獲取周圍的環(huán)境信息，那就必然需要用到傳感器來完成信息的采集工作；目前在自動駕駛領(lǐng)域中用到的傳感器包括：攝像頭（camera）、激光雷達(dá)（lidar）、毫米波雷達(dá)（radar）等；

可以看到傳感器的種類眾多且成本參差不齊，所以如何使用這些傳感器進(jìn)行感知任務(wù)，各個自動駕駛廠商都有各自的解決方案；

純視覺的感知方案

目前Tesla是純視覺感知方案的典型**；

純視覺感知方案的優(yōu)缺點也很明顯：優(yōu)點：價格成本很低；缺點：攝像頭采集到的圖片是2D的，缺少深度信息，深度信息需要靠算法學(xué)習(xí)得到，缺少魯棒性；

多傳感器融合的感知方案

目前大多數(shù)廠商采用的都是多傳感器融合的解決方案；其優(yōu)缺點是：優(yōu)點：能夠充分利用不同工作原理的傳感器，提升對不同場景下的整體感知精度，也可以在某種傳感器出現(xiàn)失效時，其他傳感器可以作為冗余備份，提高系統(tǒng)的魯棒性；缺點：由于采用多種傳感器價格相比純視覺高很多；

多傳感器融合的感知方案

傳感器后融合

所謂后融合，是指各傳感器針對目標(biāo)物體單獨進(jìn)行深度學(xué)習(xí)模型推理，從而各自輸出帶有傳感器自身屬性的結(jié)果；每種傳感器的識別結(jié)果輸入到融合模塊，融合模塊對各傳感器在不同場景下的識別結(jié)果，設(shè)置不同的置信度，最終根據(jù)融合策略進(jìn)行決策。

整體流程圖如下：

優(yōu)點：不同的傳感器都**進(jìn)行目標(biāo)識別，解耦性好，且各傳感器可以互為冗余備份；同時后融合方案便于做標(biāo)準(zhǔn)的模塊化開發(fā)，把接口封裝好，提供給主機(jī)廠“即插即用”；對于主機(jī)廠來說，每種傳感器的識別結(jié)果輸入到融合模塊，融合模塊對各傳感器在不同場景下的識別結(jié)果，設(shè)置不同的置信度，最終根據(jù)融合策略進(jìn)行決策。

缺點：存在“時間上的感知不連續(xù)”及“空間上的感知碎片化”

空間上的感知碎片化

由于車身四周的lidar、camera角度的安裝問題，多個傳感器實體無法實現(xiàn)空間域內(nèi)的連續(xù)覆蓋和統(tǒng)一識別，導(dǎo)致攝像頭只捕捉到了目標(biāo)的一小部分，無法根據(jù)殘缺的信息作出正確的檢測結(jié)果，從而使得后續(xù)的融合效果無法保證。

時間上的感知不連續(xù)

攝像頭采集到的結(jié)果是以幀為單位的，常用的感知方法是把連續(xù)單幀的檢測結(jié)果串聯(lián)起來，類似后融合的策略，無法充分利用時序上的有用信息。

傳感器前融合

所謂前融合，是將各個傳感器采集到的數(shù)據(jù)匯總到一起，經(jīng)過數(shù)據(jù)同步后，對這些原始數(shù)據(jù)進(jìn)行融合。

整體流程圖如下：

優(yōu)點：讓數(shù)據(jù)更早的做融合，使數(shù)據(jù)更有關(guān)聯(lián)性；比如把激光雷達(dá)的點云數(shù)據(jù)和攝像頭的像素級數(shù)據(jù)進(jìn)行融合，數(shù)據(jù)的損失也會比較少。

缺點：由于不同傳感器獲取的數(shù)據(jù)（攝像圖獲取的像素數(shù)據(jù)以及激光雷達(dá)獲取的點云數(shù)據(jù)），其坐標(biāo)系是不同的；視覺數(shù)據(jù)是2D空間，而激光雷達(dá)的點云數(shù)據(jù)是3D空間。所以在異構(gòu)數(shù)據(jù)的融合時，有兩種途徑：途徑一：在圖像空間利用點云數(shù)據(jù)提供深度信息；途徑二：在點云空間利用視覺數(shù)據(jù)提供語義特征，進(jìn)行點云染色或特征渲染；

所以為了保證將不同坐標(biāo)系下的數(shù)據(jù)（像素數(shù)據(jù)、點云數(shù)據(jù)）轉(zhuǎn)換到同一坐標(biāo)系下進(jìn)行數(shù)據(jù)融合方便后續(xù)的感知任務(wù)，BEV（Bird Eye View）視角下的感知逐漸受到廣泛的關(guān)注。

傳感器中融合

所謂中融合，就是先將各個傳感器采集到的數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)的特征，再對神經(jīng)網(wǎng)絡(luò)提取到的多種傳感器特征進(jìn)行特征級的融合，從而更有可能得到**感知結(jié)果。對異構(gòu)數(shù)據(jù)提取到的特征在BEV空間進(jìn)行特征級的融合，一來數(shù)據(jù)損失少，二來算力消耗也較少（相對于前融合），所以針對BEV視角下的感知任務(wù)，采用中融合的策略比較多。

BEV視角下的感知任務(wù)范式

將攝像頭數(shù)據(jù)（2D圖片）輸入到特征提取網(wǎng)絡(luò)中完成多個攝像頭數(shù)據(jù)的特征提??；
將所有攝像頭數(shù)據(jù)提取到的特征通過網(wǎng)絡(luò)學(xué)習(xí)的方式映射到BEV空間下；
在BEV空間下，進(jìn)行異構(gòu)數(shù)據(jù)的融合，將圖像數(shù)據(jù)在BEV空間下映射的特征與激光雷達(dá)點云特征進(jìn)行融合；（可選，如BEVFormer*用6個攝像頭構(gòu)建BEV空間特征）
進(jìn)行時序融合，融合前幾個時刻的特征，增強(qiáng)感知能力；（個人認(rèn)為：引入時序特征后可以在一定程度上解決遮擋問題）
根據(jù)獲得到BEV特征，用于下游任務(wù)；（車道線檢測、障礙物檢測、3D目標(biāo)檢測等子任務(wù)，相當(dāng)于整個模型是一個多任務(wù)學(xué)習(xí)模型）

BEV視角下的感知具有的優(yōu)勢

跨攝像頭融合和異構(gòu)數(shù)據(jù)融合更容易實現(xiàn)

跨攝像頭融合或者異構(gòu)數(shù)據(jù)進(jìn)行融合時，由于不同數(shù)據(jù)其表示的坐標(biāo)系不同，需要用很多后處理規(guī)則去關(guān)聯(lián)不同傳感器的感知結(jié)果，流程非常復(fù)雜。在BEV空間內(nèi)做融合后，通過網(wǎng)絡(luò)自主學(xué)習(xí)映射規(guī)則，產(chǎn)生BEV特征用于感知下游任務(wù)，算法實現(xiàn)更加簡單，并且BEV空間內(nèi)視覺感知到的物體大小和朝向也都能直接得到表達(dá)。