自動駕駛場景中的長尾問題怎麼解決？
Jun 02, 2024 pm 02:44 PM
昨天面試被問到了是否做過長尾相關(guān)的問題，所以就想著簡單總結(jié)一下。
自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況，即發(fā)生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設(shè)計域的主要原因之一。自動駕駛的底層架構(gòu)和大部分技術(shù)問題已經(jīng)解決，剩下的5%的長尾問題，逐漸成了限制自動駕駛發(fā)展的關(guān)鍵。這些問題包括各種零碎的場景、極端的情況和無法預(yù)測的人類行為。
自動駕駛中的邊緣場景
"長尾"是指自動駕駛汽車（AV）中的邊緣情況，邊緣情況是發(fā)生機率較低的可能場景。這些罕見的事件因為出現(xiàn)率較低且比較特殊，因此在資料集中經(jīng)常被遺漏。 雖然人類天生擅長處理邊緣情況，但人工智慧卻不是這樣?？赡芤疬吘増鼍暗囊蛩赜校河型黄鸬目ㄜ嚮虍愋诬囕v、車輛急轉(zhuǎn)彎、在擁擠的人群中行駛、亂穿馬路的行人、極端天氣或極差光照條件、打傘的人，人在車後搬箱子、樹倒在路中央等等。
例子：
- 放透明薄膜在車前，透明物體是否可以被識別，車輛是否會減速
- 雷射雷達公司Aeye做了一個挑戰(zhàn)，自動駕駛?cè)绾翁幚硪粋€漂浮在路中央的氣球。 L4級無人駕駛汽車往往偏向避免碰撞，在這種情況下,它們會採取規(guī)避動作或踩剎車，來避免不必要的事故。而氣球是個軟性的物體，可以直接無障礙的通過。
解決長尾問題的方法
合成資料是個大概念，而感知資料(nerf, camera/sensor sim)只是其中一個比較出眾的分支。在業(yè)界，合成資料在longtail behavior sim早已成為標(biāo)準(zhǔn)答案。合成數(shù)據(jù)，或說sparse signal upsampling是解決長尾問題的第一性解法之一。長尾能力是模型泛化能力與資料內(nèi)含資訊量的乘積。
特斯拉解決方案：
用合成資料（synthetic data）產(chǎn)生邊緣場景來擴充資料集
資料引擎的原理：首先，檢測現(xiàn)有模型中的不準(zhǔn)確之處，隨後將此類案例添加到其單元測試中。它還收集更多類似案例的數(shù)據(jù)來重新訓(xùn)練模型。這種迭代方法允許它捕捉盡可能多的邊緣情況。製作邊緣案例的主要挑戰(zhàn)是收集和標(biāo)註邊緣情況的成本比較高，再一個就是收集行為有可能非常危險甚至無法實現(xiàn)。
NVIDIA解決方案：
NVIDIA最近提出了一種名為「模仿訓(xùn)練」的策略方法（下圖）。在這種方法中，真實世界中的系統(tǒng)故障案例在模擬環(huán)境中被重現(xiàn)，然後將它們用作自動駕駛汽車的訓(xùn)練資料。重複此循環(huán)，直到模型的效能收斂。 這種方法的目標(biāo)是透過不斷模擬故障場景來提高自動駕駛系統(tǒng)的穩(wěn)健性。模擬訓(xùn)練使得開發(fā)者能夠更好地了解和解決現(xiàn)實世界中不同的故障情況。此外，它還可以快速產(chǎn)生大量的訓(xùn)練數(shù)據(jù)，以便改善模型的效能。 透過重複這個循環(huán)，
以下實際場景中由於卡車高度過高（上）、車輛凸出部分遮擋後車（下）導(dǎo)致模型輸出時車框遺失，成為邊緣場景，透過NVIDIA改進後的模型可以在此邊緣情況下產(chǎn)生正確的邊界框。
一些思考：
Q：合成資料是否有價值？
A: 這裡的價值分為兩種， 第一種是測試有效性， 即在生成的場景中測試是否能發(fā)現(xiàn)探測演算法中的一些不足， 第二種是訓(xùn)練有效性， 即產(chǎn)生的場景用於演算法的訓(xùn)練是否也能夠有效提升效能。
Q: 如何使用虛擬資料提升效能？虛擬資料真的有必要加入訓(xùn)練集中去嗎？加進去了是否會產(chǎn)生效能回退？
A: 這些問題都很難回答， 於是產(chǎn)生了許多不一樣的提升訓(xùn)練精準(zhǔn)度的方案:
- 混合訓(xùn)練:在真實數(shù)據(jù)中添加不同比例的虛擬數(shù)據(jù)， 以求性能提升，
- Transfer Learning:使用真實數(shù)據(jù)預(yù)訓(xùn)練好的模型，然後Freeze 某些layer， 再新增混合資料進行訓(xùn)練。
- Imitation Learning: 針對性設(shè)計一些模型失誤的場景， 並由此產(chǎn)生一些數(shù)據(jù)，進而逐步提升模型的性能， 這一點也是非常自然的。在實際的數(shù)據(jù)收集和模型訓(xùn)練中， 也是針對性採集一些補充數(shù)據(jù)， 進而提升性能。
一些擴充：
為了徹底評估 AI 系統(tǒng)的穩(wěn)健性，單元測試必須包括一般情況和邊緣情況。然而，某些邊緣案例可能無法從現(xiàn)有的真實世界資料集中獲得。為此，人工智慧從業(yè)者可以使用合成數(shù)據(jù)進行測試。
一個例子是ParallelEye-CS，這是用於測試自動駕駛汽車視覺智慧的合成資料集。與使用真實世界資料相比，創(chuàng)建合成資料的好處是可以對每個影像的場景進行多維度控制。
合成資料將作為生產(chǎn) AV 模型中邊緣情況的可行解決方案。它用邊緣案例補充現(xiàn)實世界的資料集，確保 AV 即使在異常事件下也能保持穩(wěn)健。它也比真實世界的數(shù)據(jù)更具可擴展性，更不容易出錯，而且更便宜。
以上是自動駕駛場景中的長尾問題怎麼解決？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
為何在自動駕駛方面Gaussian Splatting如此受歡迎，開始放棄NeRF？
Jan 17, 2024 pm 02:57 PM
寫在前面&筆者的個人理解三維Gaussiansplatting（3DGS）是近年來在顯式輻射場和電腦圖形學(xué)領(lǐng)域出現(xiàn)的一種變革性技術(shù)。這種創(chuàng)新方法的特點是使用了數(shù)百萬個3D高斯，這與神經(jīng)輻射場（NeRF）方法有很大的不同，後者主要使用隱式的基於座標(biāo)的模型將空間座標(biāo)映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法，不僅保證了即時渲染能力，而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規(guī)則改變者。為此我們首次系統(tǒng)性地概述了3DGS領(lǐng)域的最新發(fā)展與關(guān)
自動駕駛場景中的長尾問題怎麼解決？
Jun 02, 2024 pm 02:44 PM
昨天面試被問到了是否做過長尾相關(guān)的問題，所以就想著簡單總結(jié)一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況，即發(fā)生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設(shè)計域的主要原因之一。自動駕駛的底層架構(gòu)和大部分技術(shù)問題已經(jīng)解決，剩下的5%的長尾問題，逐漸成了限制自動駕駛發(fā)展的關(guān)鍵。這些問題包括各種零碎的場景、極端的情況和無法預(yù)測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車（AV）中的邊緣情況，邊緣情況是發(fā)生機率較低的可能場景。這些罕見的事件
SIMPL：用於自動駕駛的簡單高效的多智能體運動預(yù)測基準(zhǔn)
Feb 20, 2024 am 11:48 AM
原文標(biāo)題：SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結(jié)：https://arxiv.org/pdf/2402.02519.pdf程式碼連結(jié)：https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法：本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預(yù)測基線（SIMPL）。與傳統(tǒng)的以代理為中心(agent-cent
選擇相機還是光達？實現(xiàn)穩(wěn)健的三維目標(biāo)檢測的最新綜述
Jan 26, 2024 am 11:18 AM
0.寫在前面&&個人理解自動駕駛系統(tǒng)依賴先進的感知、決策和控制技術(shù)，透過使用各種感測器（如相機、光達、雷達等）來感知周圍環(huán)境，並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標(biāo)誌、檢測和追蹤其他車輛、預(yù)測行人行為等，從而安全地操作和適應(yīng)複雜的交通環(huán)境。這項技術(shù)目前引起了廣泛的關(guān)注，並認(rèn)為是未來交通領(lǐng)域的重要發(fā)展領(lǐng)域之一。但是，讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發(fā)生的事情。這需要自動駕駛系統(tǒng)中的三維物體偵測演算法可以準(zhǔn)確地感知和描述周圍環(huán)境中的物體，包括它們的位置、
Sparse4D v3來了！推進端到端3D偵測與追蹤
Nov 24, 2023 am 11:21 AM
新標(biāo)題：Sparse4Dv3：推進端到端的3D檢測和追蹤技術(shù)論文連結(jié)：https://arxiv.org/pdf/2311.11722.pdf需要重新寫的內(nèi)容是：程式碼連結(jié)：https://github.com/linxuewu/ Sparse4D重寫的內(nèi)容：作者所屬單位為地平線公司論文想法：在自動駕駛感知系統(tǒng)中，3D偵測與追蹤是兩項基本任務(wù)。本文基於Sparse4D框架更深入研究了這個領(lǐng)域。本文引入了兩個輔助訓(xùn)練任務(wù)（時序?qū)嵗ルs訊-TemporalInstanceDenoising和品質(zhì)估計-Q
FisheyeDetNet：首個以魚眼相機為基礎(chǔ)的目標(biāo)偵測演算法
Apr 26, 2024 am 11:37 AM
目標(biāo)偵測在自動駕駛系統(tǒng)當(dāng)中是一個比較成熟的問題，其中行人偵測是最早得以部署演算法之一。在多數(shù)論文當(dāng)中已經(jīng)進行了非常全面的研究。然而，利用魚眼相機進行環(huán)視的距離感知相對來說研究較少。由於徑向畸變大，標(biāo)準(zhǔn)的邊界框表示在魚眼相機當(dāng)中很難實施。為了緩解上述描述，我們探索了擴展邊界框、橢圓、通用多邊形設(shè)計為極座標(biāo)/角度表示，並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優(yōu)於其他模型，並同時在用於自動駕駛的Valeo魚眼相機資料集上實現(xiàn)了49.5%的mAP
自動駕駛與軌跡預(yù)測看這篇就夠了！
Feb 28, 2024 pm 07:20 PM
軌跡預(yù)測在自動駕駛中承擔(dān)著重要的角色，自動駕駛軌跡預(yù)測是指透過分析車輛行駛過程中的各種數(shù)據(jù)，預(yù)測車輛未來的行駛軌跡。作為自動駕駛的核心模組，軌跡預(yù)測的品質(zhì)對於下游的規(guī)劃控制至關(guān)重要。軌跡預(yù)測任務(wù)技術(shù)堆疊豐富，需熟悉自動駕駛動/靜態(tài)感知、高精地圖、車道線、神經(jīng)網(wǎng)路架構(gòu)（CNN&GNN&Transformer）技能等，入門難度很高！許多粉絲期望能夠盡快上手軌跡預(yù)測，少踩坑，今天就為大家盤點下軌跡預(yù)測常見的一些問題和入門學(xué)習(xí)方法！入門相關(guān)知識1.預(yù)習(xí)的論文有沒有切入順序？ A：先看survey，p
聊聊端到端與下一代自動駕駛系統(tǒng)，以及端到端自動駕駛的一些迷思？
Apr 15, 2024 pm 04:13 PM
最近一個月由於眾所周知的一些原因，非常密集地和業(yè)界的各種老師同學(xué)進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會，整理當(dāng)下這個時刻的一些想法和觀點，供大家參考和討論。如何定義端到端的自動駕駛系統(tǒng)，應(yīng)該期望端到端解決什麼問題？依照最傳統(tǒng)的定義，端到端的系統(tǒng)指的是一套系統(tǒng)，輸入感測器的原始訊息，直接輸出任務(wù)關(guān)心的變數(shù)。例如，在影像辨識中，CNN相對於傳統(tǒng)的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛?cè)蝿?wù)中，輸入各種感測器的資料（相機/LiDAR
