寫(xiě)在前面&筆者的個(gè)人理解

在自動(dòng)駕駛系統(tǒng)當(dāng)中，感知任務(wù)是整個(gè)自駕系統(tǒng)中至關(guān)重要的組成部分。感知任務(wù)的主要目標(biāo)是使自動(dòng)駕駛車(chē)輛能夠理解和感知周?chē)沫h(huán)境元素，如行駛在路上的車(chē)輛、路旁的行人、行駛過(guò)程中遇到的障礙物、路上的交通標(biāo)誌等，從而幫助下游模組做出正確合理的決策和行為。在一輛具備自動(dòng)駕駛功能的車(chē)輛中，通常會(huì)配備不同類(lèi)型的信息採(cǎi)集感測(cè)器，如環(huán)視相機(jī)感測(cè)器、雷射雷達(dá)感測(cè)器以及毫米波雷達(dá)感測(cè)器等等，從而確保自動(dòng)駕駛車(chē)輛能夠準(zhǔn)確感知和理解周?chē)h(huán)境要素，使自動(dòng)駕駛車(chē)輛在自主行駛的過(guò)程中能夠做出正確的決斷。

目前，基於純影像的視覺(jué)感知方法相對(duì)於基於雷射雷達(dá)的感知演算法具有更低的硬體成本和部署成本，因此受到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。已經(jīng)湧現(xiàn)了許多出色的視覺(jué)感知演算法，用於實(shí)現(xiàn)3D目標(biāo)感知任務(wù)和BEV場(chǎng)景下的語(yǔ)義分割任務(wù)。雖然現(xiàn)有的3D目標(biāo)感知演算法在偵測(cè)效能方面已經(jīng)取得了顯著進(jìn)展，但在實(shí)際應(yīng)用中仍存在一些問(wèn)題逐漸顯露出來(lái)：

• 原有的3D目標(biāo)感知演算法無(wú)法很好的解決資料集中存在的長(zhǎng)尾問(wèn)題，以及真實(shí)世界中存在但是當(dāng)前訓(xùn)練資料集中可能沒(méi)有標(biāo)註的物體（如：行駛道路上的大石塊，翻倒的車(chē)輛等等）
• #有的3D目標(biāo)感知演算法通常會(huì)直接輸出一個(gè)粗糙的3D立體邊界框而無(wú)法準(zhǔn)確描述任意形狀的目標(biāo)物體，對(duì)物體形狀和幾何結(jié)構(gòu)的表達(dá)還不夠細(xì)粒度。雖然這種輸出結(jié)果框可以滿足大多數(shù)的物體場(chǎng)景，但是像有連接的公車(chē)或具有很長(zhǎng)挖鉤的建築車(chē)輛，當(dāng)前3D感知演算法就無(wú)法給出準(zhǔn)確和清楚的描述了

基於上述提到的相關(guān)問(wèn)題，柵格佔(zhàn)用網(wǎng)路（Occupancy Network）感知演算法被提出。本質(zhì)上而言，Occupancy Network感知演算法是基於3D空間場(chǎng)景的語(yǔ)意分割任務(wù)。基於純視覺(jué)的Occupancy Network感知演算法會(huì)將目前的3D空間劃分成一個(gè)個(gè)的3D體素網(wǎng)格，透過(guò)自動(dòng)駕駛車(chē)輛配備的環(huán)景相機(jī)感測(cè)器將所擷取的環(huán)視圖像送入網(wǎng)路模型中，經(jīng)過(guò)演算法模型的處理和預(yù)測(cè)，輸出當(dāng)前空間中每個(gè)3D體素網(wǎng)格的佔(zhàn)用狀態(tài)以及可能包含的目標(biāo)語(yǔ)義類(lèi)別，從而實(shí)現(xiàn)對(duì)於當(dāng)前3D空間場(chǎng)景的全面感知。

近年來(lái)，基於Occupancy Network的感知演算法因其更好的感知優(yōu)勢(shì)而受到了研究者們的廣泛關(guān)注，目前已經(jīng)湧現(xiàn)出了很多優(yōu)秀的工作用於提升該類(lèi)演算法的檢測(cè)性能，這些論文的大概思路方向?yàn)椋禾岢龈郁敯舻奶蒯缣崛》椒ā?D特徵向3D特徵的坐標(biāo)變換方式、更加複雜的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)以及如何更加準(zhǔn)確的生成Occupancy真值標(biāo)註幫助模型學(xué)習(xí)等等。然而許多現(xiàn)有的Occupancy Network感知方法在模型預(yù)測(cè)推理的過(guò)程中都存在著嚴(yán)重的計(jì)算開(kāi)銷(xiāo)，使得這些演算法很難滿足自動(dòng)駕駛即時(shí)感知的要求，很難上車(chē)部署。

我們提出了一種創(chuàng)新的Occupancy Network預(yù)測(cè)方法，與目前的領(lǐng)先感知演算法相比，我們的FastOcc演算法具有即時(shí)的推理速度和優(yōu)異的檢測(cè)性能。透過(guò)下圖可以直觀地比較我們提出的演算法與其他演算法在效能和推理速度上的差異。

FastOcc演算法和其他SOTA演算法的精確度和推理速度比較

論文連結(jié)：https://arxiv.org/pdf/2403.02710.pdf

#網(wǎng)路模型的整體架構(gòu)&細(xì)節(jié)梳理

為了提高Occupancy Network感知演算法的推理速度，我們分別從輸入影像的解析度、特徵提取主幹網(wǎng)路、視角轉(zhuǎn)換的方式以及柵格預(yù)測(cè)頭結(jié)構(gòu)四個(gè)部分進(jìn)行了實(shí)驗(yàn)，透過(guò)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，柵格預(yù)測(cè)頭中的三維卷積或反捲積具有很大的耗時(shí)最佳化空間。基於此，我們?cè)O(shè)計(jì)了FastOcc演算法的網(wǎng)路結(jié)構(gòu)，如下圖所示。

FastOcc演算法網(wǎng)路結(jié)構(gòu)圖

整體而言，所提出的FastOcc演算法包含三個(gè)子模組，分別是Image Feature Extraction用於多尺度特徵擷取、View Transformation用於視角轉(zhuǎn)換、Occupancy Prediction Head用於實(shí)現(xiàn)感知輸出，接下來(lái)我們會(huì)分別介紹這三個(gè)部分的細(xì)節(jié)。

圖像特徵提?。↖mage Feature Extraction）

對(duì)於提出的FastOcc演算法而言，網(wǎng)路輸入依舊是採(cǎi)集到的環(huán)視圖像，這裡我們採(cǎi)用了ResNet的網(wǎng)路結(jié)構(gòu)完成環(huán)視圖像的特徵提取過(guò)程。同時(shí)，我們也利用了FPN特徵金字塔結(jié)構(gòu)用於聚合主幹網(wǎng)路輸出的多尺度影像特徵。為了後續(xù)的表達(dá)方便，這裡我們將輸入影像表示為，經(jīng)過(guò)特徵擷取後的特徵表示為。

視角轉(zhuǎn)換（View Transformation）

視角轉(zhuǎn)換模組的主要作用就是完成2D影像特徵轉(zhuǎn)換到3D空間特徵的過(guò)程，同時(shí)為了降低演算法模型的開(kāi)銷(xiāo)，通常轉(zhuǎn)換到3D空間的特徵會(huì)進(jìn)行粗糙的表達(dá)，這裡為了方便表示，我們將轉(zhuǎn)換到3D空間的特徵標(biāo)記為，其中代表嵌入特徵向量的維度，代表感知空間的長(zhǎng)度、寬度和高度。在目前的感知演算法當(dāng)中，主流的視角轉(zhuǎn)換過(guò)程包括兩類(lèi)：

• 一類(lèi)是以BEVFormer為代表的Backward的座標(biāo)變換方法。這類(lèi)方法通常是先在3D空間產(chǎn)生體素Query，然後利用Cross-view Attention的方式將3D空間的體素Query與2D影像特徵進(jìn)行交互，完成最終的3D體素特徵的建構(gòu)。
• 一類(lèi)是以LSS為代表的Forward的座標(biāo)變換方法。這類(lèi)方法會(huì)利用網(wǎng)路中的深度估計(jì)網(wǎng)路來(lái)同時(shí)估計(jì)每個(gè)特徵像素位置的語(yǔ)意特徵資訊和離散深度機(jī)率，透過(guò)外積運(yùn)算建構(gòu)出語(yǔ)義視錐特徵，最終利用VoxelPooling層實(shí)現(xiàn)最終的3D體素特徵的構(gòu)建。

考慮到LSS演算法具有更好的推理速度和效率，在本文中，我們採(cǎi)用了LSS演算法作為我們的視角轉(zhuǎn)換模組。同時(shí)，考慮到每個(gè)像素位置的離散深度都是估計(jì)出來(lái)的，其不確定性一定程度上會(huì)限制模型最終的感知性能。因此，在我們的具體實(shí)現(xiàn)中，我們利用點(diǎn)雲(yún)資訊來(lái)進(jìn)行深度方向上的監(jiān)督，以實(shí)現(xiàn)更好的感知結(jié)果。

柵格預(yù)測(cè)頭（Occupancy Prediction Head）

#在上圖展示的網(wǎng)路結(jié)構(gòu)圖中，柵格預(yù)測(cè)頭也包含三個(gè)子部分，分別是BEV特徵提取、影像特徵插值取樣、特徵整合。接下來(lái)，我們將逐一介紹三部分的方法的細(xì)節(jié)。

BEV特徵提取

目前，大多數(shù)的Occupancy Network演算法都是對(duì)視角轉(zhuǎn)換模組所得到的3D體素特徵進(jìn)行處理。而處理的形式一般是三維的全卷積網(wǎng)絡(luò)。具體而言，對(duì)於三維全卷積網(wǎng)路的任一層，其對(duì)輸入的三維體素特徵進(jìn)行卷積所需的計(jì)算量如下：

其中，和分別代表輸入特徵和輸出特徵的通道數(shù)量，代表特徵圖空間大小。相較於直接在3D空間中處理體素特徵，我們採(cǎi)用了輕量級(jí)的2D BEV特徵卷積模組。具體而言，對(duì)於視角轉(zhuǎn)換模組的輸出體素特徵，我們首先將高度資訊和語(yǔ)義特徵進(jìn)行融合得到2D的BEV特徵，其次利用2D全卷積網(wǎng)絡(luò)進(jìn)行特徵提取得到BEV特徵，該2D過(guò)程的特徵提取過(guò)程的計(jì)算量可以表述成如下的形式

透過(guò)3D和2D處理過(guò)程的計(jì)算量比較可以看出，透過(guò)利用輕量化的2D BEV特徵卷積模組來(lái)取代原有的3D體素特徵提取可以大大減少模型的計(jì)算量。同時(shí)，兩類(lèi)處理過(guò)程的視覺(jué)化流程圖如下圖所示：

#2D FCN和3D FCN網(wǎng)路結(jié)構(gòu)的視覺(jué)化情況

#圖片特徵插值採(cǎi)樣

為了減少柵格預(yù)測(cè)頭模組的計(jì)算量，我們將視角轉(zhuǎn)換模組輸出的3D體素特徵的高度進(jìn)行壓縮，並利用2D的BEV卷積模組進(jìn)行特徵提取。但為了增加缺失的Z軸高度特徵資訊並秉持著減少模型計(jì)算量的想法出發(fā)，我們提出了影像特徵插值取樣方法。

具體而言，我們首先根據(jù)需要感知的範(fàn)圍設(shè)定對(duì)應(yīng)的三維體素空間，並將其分配到ego座標(biāo)系下，記作。其次，利用相機(jī)的外參和內(nèi)參座標(biāo)變換矩陣，將ego座標(biāo)系下的座標(biāo)點(diǎn)投影到影像座標(biāo)系，用於擷取對(duì)應(yīng)位置的影像特徵。

其中，和分別代表相機(jī)的內(nèi)參和外參座標(biāo)變換矩陣，代表ego座標(biāo)系下的空間點(diǎn)投影到影像座標(biāo)系下的位置。在得到對(duì)應(yīng)的影像座標(biāo)後，我們將超過(guò)影像範(fàn)圍或具有負(fù)深度的座標(biāo)點(diǎn)過(guò)濾掉。然後，我們採(cǎi)用雙線性?xún)?nèi)插運(yùn)算根據(jù)投影後的座標(biāo)位置取得對(duì)應(yīng)的影像語(yǔ)意特徵，並對(duì)所有相機(jī)影像收集到的特徵取平均值，得到最終的插值取樣結(jié)果。

特徵集成

為了將得到的平面BEV特徵與插值採(cǎi)樣得到的3D體素特徵進(jìn)行集成，我們首先利用上採(cǎi)樣操作將BEV特徵的空間尺寸和3D體素特徵的空間尺寸進(jìn)行對(duì)齊，並且沿著Z軸方向執(zhí)行repeat操作，操作後得到的特徵我們記作。然後我們將以及影像特徵插值採(cǎi)樣得到的特徵進(jìn)行Concat並透過(guò)一個(gè)卷積層進(jìn)行整合得到最終的體素特徵。

上述提到的影像特徵插值取樣和特徵整合過(guò)程整體可以用下圖進(jìn)行表示：

影像特徵插值取樣以及特徵整合過(guò)程

除此之外，為了進(jìn)一步確保經(jīng)過(guò)BEV特徵提取模組輸出的BEV特徵包含有足夠的特徵資訊用於完成後續(xù)的感知過(guò)程，我們採(cǎi)用了一個(gè)額外的監(jiān)督方法，即利用一個(gè)語(yǔ)義分割頭來(lái)先語(yǔ)意分割任務(wù)，並利用Occupancy的真值來(lái)建構(gòu)語(yǔ)意分割的真值標(biāo)籤完成整個(gè)的監(jiān)督過(guò)程。

實(shí)驗(yàn)結(jié)果&評(píng)估指標(biāo)

定量分析部分

首先展示我們提出的FastOcc演算法在Occ3D-nuScenes資料集上和其他SOTA演算法的比較情況，各個(gè)演算法的具體指標(biāo)見(jiàn)下表所示

#各個(gè)演算法指標(biāo)的在Occ3D-nuScenes資料集上的比較

透過(guò)表格上的結(jié)果可以看出，我們提出的FastOcc演算法相比於其他的演算法而言，在大多數(shù)的類(lèi)別上都更加的具有優(yōu)勢(shì)，同時(shí)總的mIoU指標(biāo)也實(shí)現(xiàn)了SOTA的效果。

除此之外，我們也比較了不同的視角轉(zhuǎn)換方式以及柵格預(yù)測(cè)頭當(dāng)中所使用的解碼特徵的模組對(duì)於感知性能以及推理耗時(shí)的影響（實(shí)驗(yàn)數(shù)據(jù)均基於輸入圖像解析度為640×1600，主幹網(wǎng)路採(cǎi)用的是ResNet-101網(wǎng)路），相關(guān)的實(shí)驗(yàn)結(jié)果比較如下表所示

不同視角轉(zhuǎn)換以及柵格預(yù)測(cè)頭的精度和推理耗時(shí)對(duì)比

SurroundOcc演算法採(cǎi)用了多尺度的Cross-view Attention視角轉(zhuǎn)換方式以及3D卷積來(lái)實(shí)現(xiàn)3D體素特徵的提取，具有最高的推理耗時(shí)。我們將原有的Cross-view Attention視角轉(zhuǎn)換方式換成LSS的轉(zhuǎn)換方式之後，mIoU精度有所提升，同時(shí)耗時(shí)也降低了。在此基礎(chǔ)上，將原有的3D卷積換成3D FCN結(jié)構(gòu)，可以進(jìn)一步的增加精度，但是推理耗時(shí)也明顯增加。最後我們選擇採(cǎi)樣LSS的座標(biāo)轉(zhuǎn)換方式以及2D FCN結(jié)構(gòu)來(lái)實(shí)現(xiàn)偵測(cè)效能和推理耗時(shí)之間的平衡。

此外，我們也驗(yàn)證了我們提出的基於BEV特徵的語(yǔ)義分割監(jiān)督任務(wù)以及影像特徵插值取樣的有效性，具體的消融實(shí)驗(yàn)結(jié)果見(jiàn)下表所示：

不同模組的消融實(shí)驗(yàn)對(duì)比情況

此外，我們還做了模型上的scale實(shí)驗(yàn)，透過(guò)控制主幹網(wǎng)路的大小以及輸入影像的分辨率，從而建構(gòu)了一組Occupancy Network感知演算法模型（FastOcc、FastOcc-Small、FastOcc-Tiny），具體配置請(qǐng)參考下表：

##不同主幹網(wǎng)路與解析度配置下的模型能力對(duì)比

定性分析部分

下圖展示了我們提出的FastOcc演算法模型與SurroundOcc演算法模型的可視化結(jié)果對(duì)比情況，可以明顯的看到，提出的FastOcc演算法模型以更合理的方式填補(bǔ)了周?chē)沫h(huán)境元素，並且實(shí)現(xiàn)了更準(zhǔn)確的行駛車(chē)輛以及樹(shù)木的感知。

FastOcc演算法與SurroundOcc演算法的視覺(jué)化結(jié)果對(duì)比情況

結(jié)論

在本文中，針對(duì)現(xiàn)有的Occupancy Network演算法模型偵測(cè)耗時(shí)長(zhǎng)，難以上車(chē)部署的問(wèn)題，我們提出了FastOcc演算法模型。透過(guò)將原有的處理3D體素的3D卷積模組以2D卷積進(jìn)行替代，極大地縮短了推理耗時(shí)，並且和其他演算法相比實(shí)現(xiàn)了SOTA的感知結(jié)果。