感知是指無(wú)人駕駛系統(tǒng)從環(huán)境中收集信息并從中提取相關(guān)知識(shí)的能力。其中，環(huán)境感知特指對(duì)于環(huán)境的場(chǎng)景理解能力，例如障礙物的位置，道路標(biāo)志、標(biāo)記的檢測(cè)，行人車(chē)輛的檢測(cè)等數(shù)據(jù)的語(yǔ)義分類(lèi)。 而定位是指相對(duì)于環(huán)境的位置，車(chē)輛需要根據(jù)傳感器得到的數(shù)據(jù)直到自己此時(shí)此刻位于地圖的哪個(gè)位置，因此認(rèn)為定位也是感知的一部分。

規(guī)劃是無(wú)人車(chē)為了某一目標(biāo)而做出一些有目的性的決策的過(guò)程，對(duì)于無(wú)人駕駛車(chē)輛而言，這個(gè)目標(biāo)通常是指從出發(fā)地到達(dá)目的地，同時(shí)避免障礙物，并且不斷優(yōu)化駕駛軌跡和行為以保證乘客的安全舒適。規(guī)劃層通常又被細(xì)分為任務(wù)規(guī)劃，行為規(guī)劃和動(dòng)作規(guī)劃三層。

控制則是控制理論的內(nèi)容，包括如何控制無(wú)人車(chē)，給出精準(zhǔn)的命令和指令使得車(chē)輛準(zhǔn)確地按照規(guī)劃好的路線行進(jìn)的能力。

本文重點(diǎn)闡述感知，感知就像是人類(lèi)的感官，了解世界、認(rèn)知世界，而車(chē)輛感知環(huán)境需要不同類(lèi)別的傳感器，通過(guò)這些傳感器的信息，獲得障礙物的位置、速度以及可能的行為，獲得可行駛區(qū)域，交通規(guī)則等，感知領(lǐng)域采用的傳感器有激光雷達(dá)、單目攝像頭、雙目攝像頭、深度相機(jī)、毫米波雷達(dá)等等。下面簡(jiǎn)要介紹幾類(lèi)傳感器和其特性。

首先介紹激光雷達(dá)，激光雷達(dá)是一類(lèi)使用激光進(jìn)行探測(cè)和測(cè)距的設(shè)備，它能夠每秒鐘向環(huán)境發(fā)送數(shù)百萬(wàn)光脈沖，它的內(nèi)部是一種旋轉(zhuǎn)的結(jié)構(gòu)，這使得激光雷達(dá)能夠?qū)崟r(shí)的建立起周?chē)h(huán)境的3維地圖。通常來(lái)說(shuō)，激光雷達(dá)以10Hz左右的速度對(duì)周?chē)h(huán)境進(jìn)行旋轉(zhuǎn)掃描，其掃描一次的結(jié)果為密集的點(diǎn)構(gòu)成的3維圖，每個(gè)點(diǎn)具備（x,y,z）信息，這個(gè)圖被稱(chēng)為點(diǎn)云圖（Point Cloud Graph）。激光雷達(dá)因其可靠性目前仍是無(wú)人駕駛系統(tǒng)中最重要的傳感器，然而，在現(xiàn)實(shí)使用中，激光雷達(dá)并不是完美的，往往存在點(diǎn)云過(guò)于稀疏，甚至丟失部分點(diǎn)的問(wèn)題，對(duì)于不規(guī)則的物體表面，使用激光雷達(dá)很難辨別其模式，在諸如大雨天氣這類(lèi)情況下，激光雷達(dá)也無(wú)法使用。為了理解點(diǎn)云信息，通常來(lái)說(shuō)，我們對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行兩步操作：分割和分類(lèi)。其中，分割是為了將點(diǎn)云圖中離散的點(diǎn)聚類(lèi)成若干個(gè)整體，而分類(lèi)則是區(qū)分出這些整體屬于哪一個(gè)類(lèi)別（比如說(shuō)行人，車(chē)輛以及障礙物）。點(diǎn)云的分割聚類(lèi)有眾多方法，不在這里一一展開(kāi)，但是點(diǎn)云的處理以及合理的算法都會(huì)對(duì)最終的結(jié)果產(chǎn)生很大的影響。

單目攝像頭獲得的是二位圖像信息，缺失了三維世界中的深度信息，保留了顏色信息，是密集矩陣，在圖像上用像素點(diǎn)描繪物體，基本類(lèi)型是采用RGB三通道表達(dá)并且呈現(xiàn)出顏色。

雙目攝像頭需要有兩個(gè)攝像機(jī)之間的變換矩陣，這樣的結(jié)構(gòu)更加類(lèi)似于人類(lèi)的雙眼，通過(guò)兩個(gè)視角可以恢復(fù)物體在三維世界當(dāng)中的深度信息，但是每個(gè)時(shí)刻兩個(gè)相機(jī)的計(jì)算量是很大的。

深度相機(jī)能夠?qū)崟r(shí)地測(cè)量每個(gè)像素點(diǎn)的距離。但是,由于這種發(fā)射--接受的測(cè)量方式,使得它使用范圍比較受限。用紅外進(jìn)行深度值測(cè)量的 RGB-D 相機(jī),容易受到日光或其他傳感器發(fā)射的紅外光干擾,因此不能在室外使用,同時(shí)使用多個(gè)時(shí)也會(huì)相互干擾。對(duì)于透射材質(zhì)的物體,因?yàn)榻邮懿坏椒瓷涔?所以無(wú)法測(cè)量這些點(diǎn)的位置。此外,深度相機(jī)在成本、功耗方面,都有一些劣勢(shì)。

毫米波雷達(dá)分為遠(yuǎn)距離雷達(dá)（LRR）和近距離雷達(dá)（SRR），由于毫米波在大氣中衰減弱，所以可以探測(cè)感知到更遠(yuǎn)的距離，其中遠(yuǎn)距離雷達(dá)可以實(shí)現(xiàn)超過(guò)200m的感知與探測(cè)。毫米波雷達(dá)的多項(xiàng)優(yōu)勢(shì)，使其目前在汽車(chē)防撞傳感器中占比較大。與激光雷達(dá)返回的數(shù)據(jù)坐標(biāo)不同，其返回的是物體點(diǎn)的距離角度信息。

下表展示了幾種傳感器的差別和不同環(huán)境下感知效果的優(yōu)劣。表中提及的Ultrosonic是超聲波測(cè)距儀，常見(jiàn)于私家車(chē)輛的倒車(chē)系統(tǒng)，HD-map是人們常說(shuō)的高清地圖，在無(wú)人駕駛領(lǐng)域也是重要的組成部分，此處加入分析并不公平，因?yàn)镠D-map不是傳感器，它無(wú)法進(jìn)行動(dòng)態(tài)物體的感知，甚至靜態(tài)目標(biāo)的更新也是HD-map無(wú)法判斷的，在這里它只是環(huán)境的一種綜合表現(xiàn)形式，它的獲取需要相機(jī)、雷達(dá)等其他傳感器。

不同傳感器之間的原理和優(yōu)缺點(diǎn)分析

從表中可知，無(wú)人駕駛感知中的傳感器，不是舍此即彼的關(guān)系，而是需要多種傳感器共同感知環(huán)境，獲得更加可靠的數(shù)據(jù)，因此多傳感器融合在無(wú)人駕駛當(dāng)中必不可少，在多傳感器融合下進(jìn)行無(wú)人駕駛感知，可以有效結(jié)合各個(gè)傳感器的優(yōu)勢(shì)，或得更加可靠的數(shù)據(jù)，得到更加廣泛的使用環(huán)境。視覺(jué)配合毫米波雷達(dá)，視覺(jué)配合激光雷達(dá)、深度相機(jī)配合毫米波雷達(dá)、激光雷達(dá)配合毫米波雷達(dá)等等，都成為研究人員嘗試的方案。同時(shí)經(jīng)過(guò)研究人員的驗(yàn)證，結(jié)合好的融合算法，多傳感器的融合結(jié)果往往都強(qiáng)于某一類(lèi)傳感器的單探測(cè)結(jié)果。因此，無(wú)人駕駛感知中的多傳感器融合方法是值得探尋和研究的。

在這些傳感器中，相機(jī)和激光是研究者熱衷的兩種傳感器，兩者輸出數(shù)據(jù)也大相徑庭，在眾多研究者的文章中，有關(guān)它們的算法最多，涉及這兩者的融合算法也是研究熱點(diǎn)，在實(shí)際應(yīng)用車(chē)輛中也常見(jiàn)這兩種傳感器，甚至涉及它們的融合算法。因此本文會(huì)選擇激光雷達(dá)和攝像機(jī)這兩種傳感器作為實(shí)驗(yàn)傳感器，同時(shí)選擇目標(biāo)級(jí)融合。

在傳感器融合理論中，根據(jù)融合中心的位置劃分?jǐn)?shù)據(jù)集融合、特征級(jí)融合（即目標(biāo)級(jí)）以及決策級(jí)融合，數(shù)據(jù)級(jí)融合會(huì)把傳感器采集的原始數(shù)據(jù)直接送入融合中心進(jìn)行計(jì)算，這樣的結(jié)果損失是最小的，但是計(jì)算量是最大的，RoadStar公司曾提出將兩種傳感器數(shù)據(jù)直接作為輸入送進(jìn)神經(jīng)網(wǎng)絡(luò)框架的方法，但是目前找到的相關(guān)成果有限。特征級(jí)融合是傳感器得到結(jié)果在決策時(shí)考慮融合，這種誤差最大，但是計(jì)算量最小。無(wú)人駕駛中普遍采用特征級(jí)融合，即每個(gè)處理單元預(yù)處理檢測(cè)目標(biāo)，融合中心給出目標(biāo)結(jié)果。