寫在前面&筆者的個(gè)人總結(jié)

鳥瞰圖(Bird eye's view, BEV)檢測是一種通過融合多個(gè)環(huán)視攝像頭來進(jìn)行檢測的方法。目前算法大部分算法都是在相同數(shù)據(jù)集訓(xùn)練并且評測，這導(dǎo)致了這些算法過擬合于不變的相機(jī)內(nèi)參（相機(jī)類型）和外參（相機(jī)擺放方式）。本文提出了一種基于隱式渲染的BEV檢測框架，能夠解決未知域的物體檢測問題。該框架通隱式渲染來建立物體3D位置和單個(gè)視圖的透視位置關(guān)系,這可以用來糾正透視偏差。此方法在領(lǐng)域泛化（DG）和無監(jiān)督領(lǐng)域適應(yīng)（UDA）方面取得了顯著的性能提升。該方法首次嘗試了只用虛擬數(shù)據(jù)集上進(jìn)行訓(xùn)練在真實(shí)場景下進(jìn)行評測BEV檢測,可以打破虛實(shí)之間的壁壘完成閉環(huán)測試。

• 論文鏈接：https://arxiv.org/pdf/2310.11346.pdf
• 代碼鏈接：https://github.com/EnVision-Research/Generalizable-BEV

BEV檢測域泛化問題背景

多相機(jī)檢測是指利用多臺(tái)攝像機(jī)對三維空間中的物體進(jìn)行檢測和定位的任務(wù)。通過結(jié)合來自不同視點(diǎn)的信息，多攝像頭3D目標(biāo)檢測可以提供更準(zhǔn)確和魯棒的目標(biāo)檢測結(jié)果，特別是在某些視點(diǎn)的目標(biāo)可能被遮擋或部分可見的情況下。近年來，鳥瞰圖檢測(Bird eye's view, BEV)方法在多相機(jī)檢測任務(wù)中得到了極大的關(guān)注。盡管這些方法在多相機(jī)信息融合方面具有優(yōu)勢，但當(dāng)測試環(huán)境與訓(xùn)練環(huán)境存在顯著差異時(shí)，這些方法的性能可能會(huì)嚴(yán)重下降。

目前，大多數(shù)BEV檢測算法都是在相同的數(shù)據(jù)集上進(jìn)行訓(xùn)練和評估，這導(dǎo)致這些算法對相機(jī)內(nèi)外參數(shù)和城市道路條件的變化過于敏感，過擬合問題嚴(yán)重。然而，在實(shí)際應(yīng)用中，BEV檢測算法常常需要適應(yīng)不同的新車型和新攝像頭，這導(dǎo)致這些算法失效。因此，研究BEV檢測的泛化性非常重要。 此外，閉環(huán)仿真對于無人駕駛也非常重要，但目前只能在虛擬引擎（如Carla）中進(jìn)行評估。因此，有必要解決虛擬引擎和真實(shí)場景之間的域差異問題

域泛化(domain generalization, DG)和無監(jiān)督域自適應(yīng)(unsupervised domain adaptation, UDA)是緩解分布偏移的兩個(gè)有前途的方向。DG方法經(jīng)常解耦和消除特定于領(lǐng)域的特征，從而提高不可見領(lǐng)域的泛化性能。對于UDA，最近的方法通過生成偽標(biāo)簽或潛在特征分布對齊來緩解域偏移。然而，如果不使用來自不同視點(diǎn)、相機(jī)參數(shù)和環(huán)境的數(shù)據(jù)，純視覺感知學(xué)習(xí)與視角和環(huán)境無關(guān)的特征是非常具有挑戰(zhàn)性的。

觀察表明單視角(相機(jī)平面)的2D檢測往往比多視角的3D目標(biāo)檢測具有更強(qiáng)的泛化能力，如圖所示。一些研究已經(jīng)探索了將2D檢測整合到BEV檢測中，例如將2D信息融合到3D檢測器中或建立2D-3D一致性。二維信息融合是一種基于學(xué)習(xí)的方法，而不是一種機(jī)制建模方法，并且仍然受到域遷移的嚴(yán)重影響?，F(xiàn)有的2D-3D一致性方法是將3D結(jié)果投影到二維平面上并建立一致性。這種約束可能損害目標(biāo)域中的語義信息，而不是修改目標(biāo)域的幾何信息。此外，這種2D-3D一致性方法使得所有檢測頭的統(tǒng)一方法具有挑戰(zhàn)性。

本論文的的貢獻(xiàn)總結(jié)

1. 本論文提出了一種基于視角去偏的廣義BEV檢測框架，該框架不僅可以幫助模型學(xué)習(xí)源域中的視角和上下文不變特征，還可以利用二維檢測器進(jìn)一步糾正目標(biāo)域中的虛假幾何特征。
2. 本文首次嘗試在BEV檢測上研究無監(jiān)督域自適應(yīng)，并建立了一個(gè)基準(zhǔn)。在UDA和DG協(xié)議上都取得了最先進(jìn)的結(jié)果。
3. 本文首次探索了在沒有真實(shí)場景注釋的虛擬引擎上進(jìn)行訓(xùn)練，以實(shí)現(xiàn)真實(shí)世界的BEV檢測任務(wù)。

BEV檢測域泛化問題定義

問題定義

研究主要圍繞增強(qiáng)BEV檢測的泛化。為了實(shí)現(xiàn)這一目標(biāo)，本文探索了兩個(gè)廣泛具有實(shí)際應(yīng)用價(jià)值的協(xié)議，即域泛化(domain generalization, DG)和無監(jiān)督域自適應(yīng)(unsupervised domain adaptation, UDA)：

BEV檢測的域泛化(DG)：在已有的數(shù)據(jù)集（源域）訓(xùn)練一個(gè)BEV檢測算法，提升在具有在未知數(shù)據(jù)集（目標(biāo)域）的檢測性能。例如，在特定車輛或者場景下訓(xùn)練一個(gè)BEV檢測模型，能夠直接泛化到各種不同的車輛和場景。

BEV偵測的無監(jiān)督域自適應(yīng)(UDA)：在已有的資料集（來源域）訓(xùn)練一個(gè)BEV偵測演算法，並且利用目標(biāo)域的無標(biāo)籤資料來提高偵測效能。例如，在一個(gè)新的車輛或城市，只需要收集一些無監(jiān)督數(shù)據(jù)就可以提高模型在新車和新環(huán)境的性能。值得一提的是DG和UDA的唯一差異是是否可以利用目標(biāo)域的未標(biāo)記資料。

視角偏差定義

為了檢測物體的未知L=[x,y,z]，大部分BEV檢測會(huì)有關(guān)鍵的兩部（1）獲取不同視角的影像特徵；（2）融合這些影像特徵到BEV空間並且得到最後的預(yù)測結(jié)果：

上面公式描述，域偏差可能來自特徵提取階段或BEV融合階段。然後本文進(jìn)行了在附錄進(jìn)行了推到，得到了最後3D預(yù)測結(jié)果投影到2D結(jié)果的視角偏差為：

其中k_u, b_u, k_v和b_v與BEV編碼器的域偏移有關(guān)， d(u,v)為模型的最終預(yù)測深度資訊。 c_u和c_v表示相機(jī)光學(xué)中心在uv影像平面上的座標(biāo)。上面等式提供了幾個(gè)重要的推論:(1)最終位置偏移的存在會(huì)導(dǎo)致視角偏差，這表明最佳化視角偏差有助於緩解域偏移。 (2)即使是相機(jī)光心射線上的點(diǎn)在單一視角成像平面上的位置也會(huì)發(fā)生移位。

直觀地說，域偏移改變了BEV特徵的位置，這是由於訓(xùn)練資料視點(diǎn)和相機(jī)參數(shù)有限而產(chǎn)生的過度擬合。為了緩解這個(gè)問題，從BEV特徵中重新渲染新的視圖影像是至關(guān)重要的，從而使網(wǎng)路能夠?qū)W習(xí)與視角和環(huán)境無關(guān)的特徵。有鑑於此，本研究旨在解決不同渲染視點(diǎn)相關(guān)的視角偏差，以提高模型的泛化能力

#詳解PD-BEV演算法

PD-BEV共分為三個(gè)部分：語意渲染，源域去偏見和目標(biāo)域去偏見如圖1所示。語意渲染是闡述如如何透過BEV特徵建立2D和3D的透視關(guān)係。源域去偏見是描述在源域如何透過語意渲染來提高模型泛化能力。目標(biāo)域去偏見是描述在目標(biāo)域利用無標(biāo)住的資料透過語意渲染來提高模型泛化能力。

語意渲染

由於許多演算法會(huì)將BEV體積壓縮成二維特徵，因此我們首先使用BEV解碼器將BEV特徵轉(zhuǎn)換為一個(gè)體積：

上面的公式其實(shí)就是對BEV平面進(jìn)行了提升，增加了一個(gè)高度維度。然後透過相機(jī)的內(nèi)外參數(shù)就可以在這個(gè)Volume採樣成為一個(gè)2D的特徵圖，然後這個(gè)2D特徵圖和相機(jī)內(nèi)外參數(shù)送到一個(gè)RenderNet裡面來預(yù)測對應(yīng)視角的heatmap和物體的屬性。透過這樣的類似Nerf的操作就可以建立起2D和3D的橋樑。

源域去偏誤

要提高模型的泛化效能，有幾個(gè)關(guān)鍵點(diǎn)需要在源域進(jìn)行改進(jìn)。首先，可以利用源域的3D框來監(jiān)控新渲染視圖的熱圖和屬性，以減少視角偏差。其次，可以利用歸一化深度資訊來幫助影像編碼器更好地學(xué)習(xí)幾何資訊。這些改進(jìn)措施將有助於提高模型的泛化性能

視角語義監(jiān)督：基於語義渲染，熱圖和屬性從不同的角度渲染(RenderNet的輸出)。同時(shí)，隨機(jī)採樣一個(gè)相機(jī)內(nèi)外參數(shù)，將物體的方框從3D座標(biāo)利用這些內(nèi)外參數(shù)投射到二維相機(jī)平面內(nèi)。然後對投影後的2Dbox與渲染的結(jié)果使用Focal loss和L1 loss進(jìn)行約束：

#透過此操作，可以減少對相機(jī)內(nèi)外參數(shù)的過度擬合，並提高對新視角的穩(wěn)健性。值得一提的是，這篇論文將監(jiān)督學(xué)習(xí)從RGB影像轉(zhuǎn)換為物件中心的熱圖，以避免在無人駕駛領(lǐng)域中缺乏新視角RGB監(jiān)督的缺點(diǎn)

##幾何監(jiān)督：提供明確的深度資訊可以有效地提高多相機(jī)3D目標(biāo)偵測的效能。然而，網(wǎng)路預(yù)測的深度傾向於過度擬合內(nèi)在參數(shù)。因此，這篇論文借鑒了一種虛擬深度的方式：

其中BCE()表示二元交叉熵?fù)p失，D_{pre}表示DepthNet的預(yù)測深度。 f_u和f_v分別為像平面的u和v焦距，U為常數(shù)。值得注意的是，這裡的深度是使用3D框而不是點(diǎn)雲(yún)提供的前景深度資訊。透過這樣做，DepthNet更有可能專注於前景物體的深度。最後，當(dāng)使用實(shí)際深度資訊將語意特徵提升到BEV平面時(shí)，將虛擬深度轉(zhuǎn)換回實(shí)際深度。

目標(biāo)域去偏誤

在目標(biāo)域就沒有標(biāo)註了，所以就不能用3D box監(jiān)督來提升模型的泛化能力了。所以這篇論文闡述說，2D檢測的結(jié)果比起3D結(jié)果更加穩(wěn)健。所以這篇論文利用在源域中的2D預(yù)訓(xùn)練的偵測器作為渲染後的視角的監(jiān)督，也利用了偽標(biāo)籤的機(jī)制：

這個(gè)操作可以有效地利用精確的二維偵測來校正BEV空間中的前景目標(biāo)位置，這是一種目標(biāo)域的無監(jiān)督正規(guī)化。為了進(jìn)一步增強(qiáng)二維預(yù)測的校正能力，採用偽方法增強(qiáng)預(yù)測熱圖的置信度。這篇論文在3.2和補(bǔ)充資料裡給出了數(shù)學(xué)證明說明了3D結(jié)果在2D投影誤差的原因。以及闡述了為什麼透過這種方式可以去偏見，詳細(xì)的可以參考原文。

整體的監(jiān)督

儘管在本文中添加了一些網(wǎng)路以幫助訓(xùn)練，但這些網(wǎng)路在推理過程中是不必要的。換句話說，本文的方法適用於大多數(shù)BEV檢測方法學(xué)習(xí)透視不變特徵的情況。為了測試我們的框架有效性，我們選擇使用BEVDepth進(jìn)行評估。在源域上使用BEVDepth的原始損失作為主要的三維檢測監(jiān)督?？傊菟惴ǖ淖罱K損失是：

跨域?qū)嶒?yàn)結(jié)果

表格1展示了不同方法在領(lǐng)域中泛化（DG）和無監(jiān)督領(lǐng)域適應(yīng)（UDA ）協(xié)議下的效果比較。其中，Target-Free表示DG協(xié)議，Pseudo Label、Coral和AD是一些常見的UDA方法。從圖表中可以看出，這些方法在目標(biāo)域上都取得了顯著的改善。這顯示語意渲染作為一個(gè)橋樑可以幫助學(xué)習(xí)針對域移位的透視不變特徵。此外，這些方法並沒有犧牲源域的效能，甚至在大多數(shù)情況下還有一些改進(jìn)。需要特別提到的是，DeepAccident是基於Carla虛擬引擎開發(fā)的，經(jīng)過在DeepAccident上的訓(xùn)練後，演算法取得了令人滿意的泛化能力。此外，也測試了其他BEV檢測方法，但在沒有特殊設(shè)計(jì)的情況下，它們的泛化性能非常差。為了進(jìn)一步驗(yàn)證利用目標(biāo)域無監(jiān)督資料集的能力，也建立了一個(gè)UDA基準(zhǔn)，並在DG-BEV上應(yīng)用了UDA方法（包括Pseudo Label、Coral和AD）。實(shí)驗(yàn)證明，這些方法在性能上有顯著的提升。隱式渲染充分利用具有更好泛化性能的二維探測器來校正三維探測器的虛假幾何資訊。此外，發(fā)現(xiàn)大多數(shù)演算法傾向於降低源域的效能，而本文方法相對溫和。值得一提的是，AD和Coral在從虛擬資料集轉(zhuǎn)移到真實(shí)資料集時(shí)表現(xiàn)出顯著的改進(jìn)，但在真實(shí)測試中卻表現(xiàn)出效能下降。這是因?yàn)檫@兩種演算法是為解決風(fēng)格變化而設(shè)計(jì)的，但在樣式變化很小的場景中，它們可能會(huì)破壞語義資訊。至於Pseudo Label演算法，它可以透過在一些相對較好的目標(biāo)域中增加置信度來提高模型的泛化效能，但盲目地增加目標(biāo)域中的置信度實(shí)際上會(huì)使模型變得更差。實(shí)驗(yàn)結(jié)果證明了本文演算法在DG和UDA方面取得了顯著的性能提升

#在三個(gè)關(guān)鍵組件上的消融實(shí)驗(yàn)結(jié)果展示在表格2中：2D檢測器預(yù)訓(xùn)練（DPT）、源域去偏（SDB）和目標(biāo)域去偏（TDB）。實(shí)驗(yàn)結(jié)果表明，每個(gè)組件都取得了改進(jìn)，其中SDB和TDB表現(xiàn)出相對顯著的效果

#表格3展示了演算法演算法可以遷移到BEVFormer和FB- OCC演算法上。因?yàn)檫@個(gè)演算法是只需要對影像特徵和BEV特徵加上額外的操作，所以可以對有BEV特徵的演算法都有提升作用。

圖5展示了偵測到的未標(biāo)記物件。第一行是標(biāo)籤的3D框，第二行是演算法的偵測結(jié)果。藍(lán)色框表示演算法可以偵測到一些未標(biāo)記的框。這表明方法在目標(biāo)域甚至可以檢測到?jīng)]有標(biāo)記的樣本，例如過遠(yuǎn)或街道兩側(cè)建築內(nèi)的車輛。

總結(jié)

本文提出了一種基于透視去偏的通用多攝像頭3D物體檢測框架，能夠解決未知領(lǐng)域的物體檢測問題。該框架通過將3D檢測結(jié)果投影到2D相機(jī)平面，并糾正透視偏差，實(shí)現(xiàn)一致和準(zhǔn)確的檢測。此外，該框架還引入了透視去偏策略，通過渲染不同視角的圖像來增強(qiáng)模型的魯棒性。實(shí)驗(yàn)結(jié)果表明，該方法在領(lǐng)域泛化和無監(jiān)督領(lǐng)域適應(yīng)方面取得了顯著的性能提升。此外，該方法還可以在虛擬數(shù)據(jù)集上進(jìn)行訓(xùn)練，無需真實(shí)場景標(biāo)注，為實(shí)時(shí)應(yīng)用和大規(guī)模部署提供了便利。這些亮點(diǎn)展示了該方法在解決多攝像頭3D物體檢測中的挑戰(zhàn)和潛力。這篇論文嘗試?yán)肗erf的思路來提高BEV的泛化能力，同時(shí)可以利用有標(biāo)簽的源域數(shù)據(jù)和無標(biāo)簽的目標(biāo)域數(shù)據(jù)。此外，嘗試了Sim2Real的實(shí)驗(yàn)范式，這對于無人駕駛閉環(huán)具有潛在價(jià)值。從定性和定量結(jié)果都有很好的結(jié)果，并且開源了代碼值得看一看

原文鏈接：https://mp.weixin.qq.com/s/GRLu_JW6qZ_nQ9sLiE0p2g

以上是NeRF在BEV泛化效能方面的突破：首個(gè)跨域開源程式碼成功實(shí)現(xiàn)Sim2Real的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！