感知是指無人駕駛系統(tǒng)從環(huán)境中收集信息并從中提取相關(guān)知識的能力。其中,環(huán)境感知特指對于環(huán)境的場景理解能力,例如障礙物的位置,道路標(biāo)志、標(biāo)記的檢測,行人車輛的檢測等數(shù)據(jù)的語義分類。 而定位是指相對于環(huán)境的位置,車輛需要根據(jù)傳感器得到的數(shù)據(jù)直到自己此時此刻位于地圖的哪個位置,因此認為定位也是感知的一部分。
規(guī)劃是無人車為了某一目標(biāo)而做出一些有目的性的決策的過程,對于無人駕駛車輛而言,這個目標(biāo)通常是指從出發(fā)地到達目的地,同時避免障礙物,并且不斷優(yōu)化駕駛軌跡和行為以保證乘客的安全舒適。規(guī)劃層通常又被細分為任務(wù)規(guī)劃,行為規(guī)劃和動作規(guī)劃三層。
控制則是控制理論的內(nèi)容,包括如何控制無人車,給出精準(zhǔn)的命令和指令使得車輛準(zhǔn)確地按照規(guī)劃好的路線行進的能力。
本文重點闡述感知,感知就像是人類的感官,了解世界、認知世界,而車輛感知環(huán)境需要不同類別的傳感器,通過這些傳感器的信息,獲得障礙物的位置、速度以及可能的行為,獲得可行駛區(qū)域,交通規(guī)則等,感知領(lǐng)域采用的傳感器有激光雷達、單目攝像頭、雙目攝像頭、深度相機、毫米波雷達等等。下面簡要介紹幾類傳感器和其特性。
首先介紹激光雷達,激光雷達是一類使用激光進行探測和測距的設(shè)備,它能夠每秒鐘向環(huán)境發(fā)送數(shù)百萬光脈沖,它的內(nèi)部是一種旋轉(zhuǎn)的結(jié)構(gòu),這使得激光雷達能夠?qū)崟r的建立起周圍環(huán)境的3維地圖。通常來說,激光雷達以10Hz左右的速度對周圍環(huán)境進行旋轉(zhuǎn)掃描,其掃描一次的結(jié)果為密集的點構(gòu)成的3維圖,每個點具備(x,y,z)信息,這個圖被稱為點云圖(Point Cloud Graph)。激光雷達因其可靠性目前仍是無人駕駛系統(tǒng)中最重要的傳感器,然而,在現(xiàn)實使用中,激光雷達并不是完美的,往往存在點云過于稀疏,甚至丟失部分點的問題,對于不規(guī)則的物體表面,使用激光雷達很難辨別其模式,在諸如大雨天氣這類情況下,激光雷達也無法使用。為了理解點云信息,通常來說,我們對點云數(shù)據(jù)進行兩步操作:分割和分類。其中,分割是為了將點云圖中離散的點聚類成若干個整體,而分類則是區(qū)分出這些整體屬于哪一個類別(比如說行人,車輛以及障礙物)。點云的分割聚類有眾多方法,不在這里一一展開,但是點云的處理以及合理的算法都會對最終的結(jié)果產(chǎn)生很大的影響。
單目攝像頭獲得的是二位圖像信息,缺失了三維世界中的深度信息,保留了顏色信息,是密集矩陣,在圖像上用像素點描繪物體,基本類型是采用RGB三通道表達并且呈現(xiàn)出顏色。
雙目攝像頭需要有兩個攝像機之間的變換矩陣,這樣的結(jié)構(gòu)更加類似于人類的雙眼,通過兩個視角可以恢復(fù)物體在三維世界當(dāng)中的深度信息,但是每個時刻兩個相機的計算量是很大的。
深度相機能夠?qū)崟r地測量每個像素點的距離。但是,由于這種發(fā)射--接受的測量方式,使得它使用范圍比較受限。用紅外進行深度值測量的 RGB-D 相機,容易受到日光或其他傳感器發(fā)射的紅外光干擾,因此不能在室外使用,同時使用多個時也會相互干擾。對于透射材質(zhì)的物體,因為接受不到反射光,所以無法測量這些點的位置。此外,深度相機在成本、功耗方面,都有一些劣勢。
毫米波雷達分為遠距離雷達(LRR)和近距離雷達(SRR),由于毫米波在大氣中衰減弱,所以可以探測感知到更遠的距離,其中遠距離雷達可以實現(xiàn)超過200m的感知與探測。毫米波雷達的多項優(yōu)勢,使其目前在汽車防撞傳感器中占比較大。與激光雷達返回的數(shù)據(jù)坐標(biāo)不同,其返回的是物體點的距離角度信息。
下表展示了幾種傳感器的差別和不同環(huán)境下感知效果的優(yōu)劣。表中提及的Ultrosonic是超聲波測距儀,常見于私家車輛的倒車系統(tǒng),HD-map是人們常說的高清地圖,在無人駕駛領(lǐng)域也是重要的組成部分,此處加入分析并不公平,因為HD-map不是傳感器,它無法進行動態(tài)物體的感知,甚至靜態(tài)目標(biāo)的更新也是HD-map無法判斷的,在這里它只是環(huán)境的一種綜合表現(xiàn)形式,它的獲取需要相機、雷達等其他傳感器。
不同傳感器之間的原理和優(yōu)缺點分析
傳感器 | 原理 | 優(yōu)點 | 缺點 |
Lidar | 主動式,ToF | 測距準(zhǔn) | 稀疏,感知范圍近 |
Camera | 被動式 | 稠密感知,范圍遠 | 測距不準(zhǔn) |
Radar | 主動式,多普勒頻移測速 | 測距,測速準(zhǔn) | 噪點多,非金屬障礙物召回低,無法進行識別 |
Ultrosonic | 主動式 | 近距離測距 | 位置感知粗糙,只有近距離判別能力 |
HD-map | 提前感知靜態(tài)元素 | 可以無差錯精細感知,減輕線上感知負擔(dān) | 增加了HD-map和和定位的依賴 |
RGB-D | 接受器同時接收可見光和激光 | 原始就是4D數(shù)據(jù) | 感知范圍近 |
從表中可知,無人駕駛感知中的傳感器,不是舍此即彼的關(guān)系,而是需要多種傳感器共同感知環(huán)境,獲得更加可靠的數(shù)據(jù),因此多傳感器融合在無人駕駛當(dāng)中必不可少,在多傳感器融合下進行無人駕駛感知,可以有效結(jié)合各個傳感器的優(yōu)勢,或得更加可靠的數(shù)據(jù),得到更加廣泛的使用環(huán)境。視覺配合毫米波雷達,視覺配合激光雷達、深度相機配合毫米波雷達、激光雷達配合毫米波雷達等等,都成為研究人員嘗試的方案。同時經(jīng)過研究人員的驗證,結(jié)合好的融合算法,多傳感器的融合結(jié)果往往都強于某一類傳感器的單探測結(jié)果。因此,無人駕駛感知中的多傳感器融合方法是值得探尋和研究的。
在這些傳感器中,相機和激光是研究者熱衷的兩種傳感器,兩者輸出數(shù)據(jù)也大相徑庭,在眾多研究者的文章中,有關(guān)它們的算法最多,涉及這兩者的融合算法也是研究熱點,在實際應(yīng)用車輛中也常見這兩種傳感器,甚至涉及它們的融合算法。因此本文會選擇激光雷達和攝像機這兩種傳感器作為實驗傳感器,同時選擇目標(biāo)級融合。
在傳感器融合理論中,根據(jù)融合中心的位置劃分數(shù)據(jù)集融合、特征級融合(即目標(biāo)級)以及決策級融合,數(shù)據(jù)級融合會把傳感器采集的原始數(shù)據(jù)直接送入融合中心進行計算,這樣的結(jié)果損失是最小的,但是計算量是最大的,RoadStar公司曾提出將兩種傳感器數(shù)據(jù)直接作為輸入送進神經(jīng)網(wǎng)絡(luò)框架的方法,但是目前找到的相關(guān)成果有限。特征級融合是傳感器得到結(jié)果在決策時考慮融合,這種誤差最大,但是計算量最小。無人駕駛中普遍采用特征級融合,即每個處理單元預(yù)處理檢測目標(biāo),融合中心給出目標(biāo)結(jié)果。