論文名稱：LimSim : A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving
專案首頁：https://pjlab-adg.github.io/ limsim_plus/
模擬器簡介
隨著多模態(tài)大語言模型（(M)LLM）在人工智慧領(lǐng)域掀起研究熱潮，在自動駕駛技術(shù)的應(yīng)用逐漸成為關(guān)注的焦點。這些模型透過強大的廣義理解和邏輯推理能力，為建立安全可靠的自動駕駛系統(tǒng)提供了有力支持。雖然已有閉迴路模擬平臺如HighwayEnv、CARLA和NuPlan等，能夠驗證LLM在自動駕駛中的表現(xiàn)，但使用者通常需要自行適配這些平臺，這不僅提高了使用門檻，也限制了LLM能力的深入挖掘。
為了克服這個挑戰(zhàn)，上海人工智慧實驗室的智慧交通平臺組推出了**LimSim **，這是一款專為(M)LLM設(shè)計的自動駕駛閉環(huán)模擬平臺。 LimSim 的推出，旨在為自動駕駛領(lǐng)域的研究者提供一個更適宜的環(huán)境，以全面探索LLM在自動駕駛技術(shù)中的潛力。該平臺能夠提取並處理來自SUMO和CARLA等模擬環(huán)境的場景訊息，將其轉(zhuǎn)換為LLM所需的多種輸入形式，包括影像資訊、場景認(rèn)知和任務(wù)描述。此外，LimSim 還具備運動原語轉(zhuǎn)換功能，能根據(jù)LLM的決策快速產(chǎn)生適當(dāng)?shù)男熊囓壽E，實現(xiàn)閉迴路模擬。更重要的是，LimSim 為LLM創(chuàng)造了一個持續(xù)學(xué)習(xí)的環(huán)境，透過評估決策結(jié)果並提供回饋，幫助LLM不斷優(yōu)化駕駛策略，提高Driver Agent的駕駛性能。
模擬器特點
LimSim 在自動駕駛模擬領(lǐng)域具有顯著特點，為(M)LLM驅(qū)動的Driver Agent提供了理想的閉迴路模擬和持續(xù)學(xué)習(xí)環(huán)境。
- LimSim 支援多種駕駛場景的模擬，如十字路口、匝道和環(huán)島等，確保Driver Agent能夠在各種複雜路況下接受挑戰(zhàn)。這種多樣化的場景設(shè)定有助於LLM獲取更豐富的駕駛經(jīng)驗，並提高其在真實環(huán)境中的適應(yīng)能力。
- LimSim 支援多種模態(tài)輸入的大語言模型。 LimSim 不僅提供基於規(guī)則的場景資訊生成，同時可以與CARLA聯(lián)調(diào)，能夠提供豐富的視覺輸入，滿足(M)LLM在自動駕駛中的視覺感知需求。
- LimSim 著重持續(xù)學(xué)習(xí)能力。 LimSim 整合了評估、反思和記憶等模組，幫助(M)LLM在模擬過程中不斷累積經(jīng)驗，優(yōu)化決策策略。
建立屬於自己的Driver Agent
#LimSim 為使用者提供了豐富的接口，可以滿足Driver Agent的客製化需求，提高了LimSim 開發(fā)的靈活性，並且降低了使用門檻。
- Prompt建構(gòu)
- LimSim 支援使用者自訂prompt，從而改變輸入給(M)LLM的文字訊息，包括角色設(shè)定、任務(wù)要求、場景描述等資訊。
- LimSim 提供了基於json格式的場景描述模板，支援使用者零碼進行prompt的修改，無需考慮資訊擷取的具體實作。
- 決策評估模組
- #LimSim 提供了對(M)LLM決策結(jié)果進行評估的baseline，使用者可以透過改變權(quán)重參數(shù)來調(diào)節(jié)評估偏好。
- 框架的靈活性
- #LimSim 支援使用者為(M)LLM新增自訂的工具庫，例如感知工具、數(shù)值處理工具等等。
快速上手
- Step 0:安裝SUMO（Version≥v1.15.0, ?ubuntu）
sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc
- Step 1：下載LimSim 原始碼壓縮包，解壓縮後切換到正確分支
git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus
- Step 2:安裝依賴(要求裝有conda)
cd LimSimconda env create -f environment.yml
- Step 3: ?執(zhí)行模擬
- 單獨執(zhí)行模擬
python ExampleModel.py
- 使用LLM進行自動駕駛
export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py
- 使用VLM進行自動駕駛
# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py更多內(nèi)容請查看LimSim 的github：https:// github.com/PJLab-ADG/LimSim/tree/LimSim_plus，如有其他疑問請在GitHub的Issues中提出或直接郵件與我們聯(lián)繫！ 歡迎學(xué)術(shù)界和工業(yè)界小夥伴共同開發(fā)LimSim ，共建開源生態(tài)！
以上是LimSim++：多模態(tài)大模型在自動駕駛中的新舞臺的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
Windows 11 上的智慧型應(yīng)用程式控制：如何開啟或關(guān)閉它
Jun 06, 2023 pm 11:10 PM
智慧型應(yīng)用程式控制是Windows11中非常有用的工具，可幫助保護你的電腦免受可能損害資料的未經(jīng)授權(quán)的應(yīng)用程式（如勒索軟體或間諜軟體）的侵害。本文將解釋什麼是智慧型應(yīng)用程式控制、它是如何運作的，以及如何在Windows11中開啟或關(guān)閉它。什麼是Windows11中的智慧型應(yīng)用控制？智慧型應(yīng)用程式控制（SAC）是Windows1122H2更新中引入的新安全功能。它與MicrosoftDefender或第三方防毒軟體一起運行，以阻止可能不必要的應(yīng)用，這些應(yīng)用程式可能會減慢設(shè)備速度、顯示意外廣告或執(zhí)行其他意外操作。智慧應(yīng)用
五官亂飛，張嘴、瞪眼、挑眉，AI都能模仿到位，影片詐騙要防不住了
Dec 14, 2023 pm 11:30 PM
好強大的AI模仿能力，真的防不住，完全防不住?，F(xiàn)在AI的發(fā)展已經(jīng)達到這種程度了嗎？你前腳讓自己的五官亂飛，後腳，一模一樣的表情就被復(fù)現(xiàn)出來，瞪眼、挑眉、噘嘴，不管多麼誇張的表情，都模仿的非常到位。加大難度，讓眉毛挑的再高些，眼睛睜的再大些，甚至連嘴型都是歪的，虛擬人物頭像也能完美復(fù)現(xiàn)表情。當(dāng)你在左邊調(diào)整參數(shù)時，右邊的虛擬頭像也會相應(yīng)地改變動作給嘴巴、眼睛一個特寫，模仿的不能說完全相同，只能說表情一模一樣（最右邊）。這項研究來自慕尼黑工業(yè)大學(xué)等機構(gòu)，他們提出了GaussianAvatars，這種
行人軌跡預(yù)測有哪些有效的方法和普遍的Base方法？頂會論文分享！
Oct 17, 2023 am 11:13 AM
軌跡預(yù)測近兩年風(fēng)頭正猛，但大都聚焦於車輛軌跡預(yù)測方向，自動駕駛之心今天就為大家分享頂會NeurIPS上關(guān)於行人軌跡預(yù)測的演算法—SHENet，在受限場景中人類的移動模式通常在一定程度上符合有限的規(guī)律?；哆@個假設(shè)，SHENet透過學(xué)習(xí)隱含的場景規(guī)律來預(yù)測一個人的未來軌跡。文章已經(jīng)授權(quán)自動駕駛之心原創(chuàng)！作者的個人理解由於人類運動的隨機性和主觀性，目前預(yù)測一個人的未來軌跡仍然是一個具有挑戰(zhàn)性的問題。然而，由於場景限制（例如平面圖、道路和障礙物）以及人與人或人與物體的互動性，在受限場景中人類的移動模式通
華為將在智慧穿戴領(lǐng)域推出玄璣感知系統(tǒng) 可根據(jù)心率評估用戶情緒狀態(tài)
Aug 29, 2024 pm 03:30 PM
近日，華為宣布將於9月推出搭載玄璣感知系統(tǒng)的全新智慧穿戴新品，預(yù)計為華為的最新智慧手錶。該新品將整合先進的情緒健康監(jiān)測功能，玄璣感知系統(tǒng)以其六大特性——準(zhǔn)確性、全面性、快速性、靈活性、開放性和延展性——為用戶提供全方位的健康評估。系統(tǒng)採用超感知模組，優(yōu)化了多通道光路架構(gòu)技術(shù)，大幅提升了心率、血氧和呼吸速率等基礎(chǔ)指標(biāo)的監(jiān)測精度。此外，玄璣感知系統(tǒng)也拓展了以心率資料為基礎(chǔ)的情緒狀態(tài)研究，不僅限於生理指標(biāo)，還能評估使用者的情緒狀態(tài)和壓力水平，並支持超過60項運動健康指標(biāo)監(jiān)測，涵蓋心血管、呼吸、神經(jīng)、內(nèi)分泌、
LimSim++：多模態(tài)大模型在自動駕駛中的新舞臺
Mar 12, 2024 pm 03:10 PM
論文名稱：LimSim++:AClosed-LoopPlatformforDeployingMultimodalLLMsinAutonomousDriving專案首頁：https://pjlab-adg.github.io/limsim_plus/模擬器簡介隨著多模態(tài)大語言模型（(M)LLM）在人工智慧領(lǐng)域研究熱潮，人工智慧領(lǐng)域研究熱潮，人工智慧領(lǐng)域研究熱潮其在自動駕駛技術(shù)的應(yīng)用逐漸成為關(guān)注的焦點。這些模型透過強大的廣義理解和邏輯推理能力，為建立安全可靠的自動駕駛系統(tǒng)提供了有力支持。雖然已有閉迴路模擬平臺如HighwayEnv、CA
MotionLM：多智能體運動預(yù)測的語言建模技術(shù)
Oct 13, 2023 pm 12:09 PM
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請洽出處。原標(biāo)題：MotionLM:Multi-AgentMotionForecastingasLanguageModeling論文連結(jié)：https://arxiv.org/pdf/2309.16534.pdf作者單位：Waymo會議：ICCV2023論文想法：對於自動駕駛車輛安全規(guī)劃來說，可靠地預(yù)測道路代理未來行為是至關(guān)重要的。本研究將連續(xù)軌跡表示為離散運動令牌序列，並將多智能體運動預(yù)測視為語言建模任務(wù)。我們提出的模型MotionLM有以下幾個優(yōu)點：首
GR-1傅利葉智慧通用人形機器人即將開始預(yù)售！
Sep 27, 2023 pm 08:41 PM
身高1.65米，體重55公斤，全身44個自由度，能夠快速行走、敏捷避障、穩(wěn)健上下坡、抗衝擊幹?jǐn)_的人形機器人，現(xiàn)在可以帶回家了！傅利葉智慧的通用人形機器人GR-1已開啟預(yù)售機器人大講堂傅利葉智慧FourierGR-1通用人形機器人現(xiàn)已開放預(yù)售。 GR-1擁有高度仿生的軀幹構(gòu)型和擬人化的運動控制，全身44個自由度，具備行走、避障、越障、上下坡、抗干擾、適應(yīng)不同路面等運動能力，是通用人工智慧的理想載體。官網(wǎng)預(yù)售頁：www.fftai.cn/order#FourierGR-1#傅利葉智能需要改寫的內(nèi)
一文讀懂智慧汽車滑板底盤
May 24, 2023 pm 12:01 PM
01什麼是滑板底盤所謂滑板式底盤，即將電池、電動傳動系統(tǒng)、懸吊、煞車等零件提前整合在底盤上，實現(xiàn)車身和底盤的分離,設(shè)計解耦。基於這類平臺，車企可以大幅降低前期研發(fā)和測試成本，同時快速回應(yīng)市場需求打造不同的車款。尤其是無人駕駛時代，車內(nèi)的佈局不再是以駕駛為中心，而是會注重空間屬性，有了滑板式底盤，可以為上部車艙的開發(fā)提供更多的可能。如上圖，當(dāng)然我們看滑板底盤，不要上來就被「噢，就是非承載車身啊」的第一印象框住。當(dāng)年沒有電動車，所以沒有幾百公斤的電池包，沒有能取消轉(zhuǎn)向柱的線傳轉(zhuǎn)向系統(tǒng)，沒有線傳煞車系
