国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

目錄
寫在前面&筆者的個(gè)人理解
三維重建與新視圖合成入門
3D資料表示
#資料集
三維重建與NVS技術(shù)
GAUSSIAN SPLATTING的基礎(chǔ)
STATE OF ART
FUNCTIONAL ADVANCEMENTS
動(dòng)態(tài)及變形
OPTIMIZATION AND SPEED
RENDERING AND SHADING METHODS
COMPRESSION
應(yīng)用程式與案例研究
AVATARS
網(wǎng)格擷取與物理
編輯
討論
比較
挑戰(zhàn)與限制
未來(lái)方向
結(jié)論
首頁(yè) 科技週邊 人工智慧 不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

Jun 02, 2024 pm 06:57 PM
科技 3d

寫在前面&筆者的個(gè)人理解

基於圖像的3D重建是一項(xiàng)具有挑戰(zhàn)性的任務(wù),涉及從一組輸入圖像推斷目標(biāo)或場(chǎng)景的3D形狀。基於學(xué)習(xí)的方法因其直接估計(jì)3D形狀的能力而受到關(guān)注。這篇綜述論文的重點(diǎn)是最先進(jìn)的3D重建技術(shù),包括產(chǎn)生新穎的、看不見的視野。概述了高斯飛濺方法的最新發(fā)展,包括輸入類型、模型結(jié)構(gòu)、輸出表示和訓(xùn)練策略。也討論了尚未解決的挑戰(zhàn)和未來(lái)的方向。鑑於該領(lǐng)域的快速進(jìn)展以及增強(qiáng)3D重建方法的眾多機(jī)會(huì),對(duì)演算法進(jìn)行全面檢查似乎至關(guān)重要。因此,本研究對(duì)高斯散射的最新進(jìn)展進(jìn)行了全面的概述。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

(大拇指往上滑,點(diǎn)擊最上方的卡片追蹤我,整個(gè)操作只會(huì)花你1.328 秒,然後帶走未來(lái)、所有、免費(fèi)的乾貨,萬(wàn)一有內(nèi)容對(duì)您有幫助呢~)

三維重建與新視圖合成入門

3D重建和NVS是電腦圖形學(xué)中兩個(gè)密切相關(guān)的領(lǐng)域,旨在捕捉和渲染物理場(chǎng)景的逼真3D表示。 3D重建涉及從通常從不同視點(diǎn)捕獲的一系列2D影像中提取幾何和外觀資訊。儘管有許多用於3D掃描的技術(shù),但這種對(duì)不同2D影像的捕捉是收集關(guān)於3D環(huán)境的資訊的非常簡(jiǎn)單且計(jì)算成本低廉的方式。然後,這些資訊可以用於創(chuàng)建場(chǎng)景的3D模型,該3D模型可用於各種目的,例如虛擬實(shí)境(VR)應(yīng)用、擴(kuò)增實(shí)境(AR)覆蓋或電腦輔助設(shè)計(jì)(CAD)建模。

另一方面,NVS專注於從先前取得的3D模型產(chǎn)生場(chǎng)景的新2D視圖。這允許從任何期望的視點(diǎn)創(chuàng)建場(chǎng)景的逼真圖像,即使原始圖像不是從該角度拍攝的。深度學(xué)習(xí)的最新進(jìn)展導(dǎo)致了3D重建和NVS的顯著改進(jìn)。深度學(xué)習(xí)模型可用於有效地從影像中提取3D幾何結(jié)構(gòu)和外觀,此類模型也可用於從3D模型中產(chǎn)生逼真的新穎視圖。因此,這些技術(shù)在各種應(yīng)用中越來(lái)越受歡迎,預(yù)計(jì)它們?cè)谖磥?lái)將發(fā)揮更重要的作用。

本節(jié)將介紹如何儲(chǔ)存或表示3D數(shù)據(jù),然後介紹用於該任務(wù)的最常用的公開數(shù)據(jù)集,然後將擴(kuò)展各種演算法,主要關(guān)注高斯飛濺。

3D資料表示

三維資料的複雜空間性質(zhì),包括體積維度,提供了目標(biāo)和環(huán)境的詳細(xì)表示。這對(duì)於在各個(gè)研究領(lǐng)域創(chuàng)建沉浸式模擬和精確模型至關(guān)重要。三維資料的多維結(jié)構(gòu)允許結(jié)合深度、寬度和高度,從而在建築設(shè)計(jì)和醫(yī)學(xué)成像技術(shù)等學(xué)科中取得重大進(jìn)展。

資料表示的選擇在眾多3D深度學(xué)習(xí)系統(tǒng)的設(shè)計(jì)中扮演著至關(guān)重要的角色。點(diǎn)雲(yún)缺乏網(wǎng)格狀結(jié)構(gòu),通常無(wú)法直接進(jìn)行卷積。另一方面,以網(wǎng)格狀結(jié)構(gòu)為特徵的體素表示通常會(huì)產(chǎn)生高的計(jì)算記憶體需求。

3D表示的演變伴隨著3D資料或模型的儲(chǔ)存方式。最常用的3D資料表示可以分為傳統(tǒng)方法和新穎方法。

Traditional Approaches:

  • Point cloud
  • Mesh
  • Voxel

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

Novel Approaches:

  • Neural Network/Multi layer perceptron (MLP)
  • Gaussian Splats

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

#資料集

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

三維重建與NVS技術(shù)

為了評(píng)估該領(lǐng)域的當(dāng)前進(jìn)展,進(jìn)行了一項(xiàng)文獻(xiàn)研究,確定並仔細(xì)審查了相關(guān)的學(xué)術(shù)著作。分析特別集中在兩個(gè)關(guān)鍵領(lǐng)域:三維重建和NVS。從多個(gè)相機(jī)影像進(jìn)行3D體積重建的發(fā)展跨越了幾十年,在電腦圖形、機(jī)器人和醫(yī)學(xué)影像中有著不同的應(yīng)用。下一部分將探討該技術(shù)的現(xiàn)狀。

攝影測(cè)量:自1980年代以來(lái),出現(xiàn)了先進(jìn)的攝影測(cè)量和立體視覺(jué)技術(shù),自動(dòng)辨識(shí)立體影像對(duì)中的對(duì)應(yīng)點(diǎn)。攝影測(cè)量是一種將攝影和電腦視覺(jué)結(jié)合來(lái)產(chǎn)生物件或場(chǎng)景的3D模型的方法。它需要從各種角度捕捉影像,利用Agisoft Metashape等軟體來(lái)估計(jì)相機(jī)位置並產(chǎn)生點(diǎn)雲(yún)。該點(diǎn)雲(yún)隨後被轉(zhuǎn)換為有紋理的3D網(wǎng)格,從而能夠創(chuàng)建重建目標(biāo)或場(chǎng)景的詳細(xì)和照片級(jí)真實(shí)感視覺(jué)化。

Structure from motion:在20世紀(jì)90年代,SFM技術(shù)獲得了突出地位,能夠從2D影像序列中重建3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)。 SFM是從一組2D影像中估計(jì)場(chǎng)景的3D結(jié)構(gòu)的過(guò)程。 SFM需要影像之間的點(diǎn)相關(guān)性。透過(guò)匹配特徵或追蹤多個(gè)影像中的點(diǎn)來(lái)找到對(duì)應(yīng)的點(diǎn),並進(jìn)行三角測(cè)量以找到3D位置。

深度學(xué)習(xí):近年來(lái),深度學(xué)習(xí)技術(shù),特別是卷積神經(jīng)網(wǎng)路(CNNs)得到了融合?;渡疃葘W(xué)習(xí)的方法在三維重建中加快了步伐。最值得注意的是3D佔(zhàn)用網(wǎng)絡(luò),這是一種為3D場(chǎng)景理解和重建而設(shè)計(jì)的神經(jīng)網(wǎng)路架構(gòu)。它透過(guò)將3D空間劃分為小的體積單元或體素來(lái)操作,每個(gè)體素表示它是包含目標(biāo)還是為空空間。這些網(wǎng)路使用深度學(xué)習(xí)技術(shù),如3D卷積神經(jīng)網(wǎng)絡(luò),來(lái)預(yù)測(cè)體素佔(zhàn)用率,使其對(duì)機(jī)器人、自動(dòng)駕駛汽車、擴(kuò)增實(shí)境和3D場(chǎng)景重建等應(yīng)用具有價(jià)值。這些網(wǎng)路在很大程度上依賴卷積和變換器。它們對(duì)於避免碰撞、路徑規(guī)劃和與物理世界的即時(shí)互動(dòng)等任務(wù)至關(guān)重要。此外,3D佔(zhàn)用網(wǎng)路可以估計(jì)不確定性,但在處理動(dòng)態(tài)或複雜場(chǎng)景時(shí)可能存在計(jì)算限制。神經(jīng)網(wǎng)路架構(gòu)的進(jìn)步不斷提高其準(zhǔn)確性和效率。

神經(jīng)輻射場(chǎng):NeRF於2020年推出,它將神經(jīng)網(wǎng)路與經(jīng)典的三維重建原理相結(jié)合,在電腦視覺(jué)和圖形學(xué)中引起了顯著關(guān)注。它透過(guò)建模體積函數(shù)、透過(guò)神經(jīng)網(wǎng)路預(yù)測(cè)顏色和密度來(lái)重建詳細(xì)的3D場(chǎng)景。 NeRFs在電腦圖形學(xué)和虛擬實(shí)境中得到了廣泛應(yīng)用。最近,NeRF透過(guò)廣泛的研究提高了準(zhǔn)確性和效率。最近的研究也探討了NeRF在水下場(chǎng)景中的適用性。雖然提供3D場(chǎng)景幾何的穩(wěn)健表示,但計(jì)算需求等挑戰(zhàn)仍然存在。未來(lái)的NeRF研究需要專注於可解釋性、即時(shí)渲染、新穎的應(yīng)用程式和可擴(kuò)展性,為虛擬實(shí)境、遊戲和機(jī)器人技術(shù)開闢道路。

高斯散射:最後,在2023年,3D高斯散射作為一種新的即時(shí)3D渲染技術(shù)出現(xiàn)了。在下一節(jié)中,將詳細(xì)討論這種方法。

GAUSSIAN SPLATTING的基礎(chǔ)

高斯飛濺使用許多3D高斯或粒子來(lái)描繪3D場(chǎng)景,每個(gè)高斯或粒子都配有位置、方向、比例、不透明度和顏色資訊。若要渲染這些粒子,請(qǐng)將其轉(zhuǎn)換為二維空間,並對(duì)其進(jìn)行策略性組織以實(shí)現(xiàn)最佳渲染。

圖4顯示了高斯飛濺演算法的體系結(jié)構(gòu)。在原始演算法中,採(cǎi)取了以下步驟:

  • Structure from motion
  • #Convert to gaussian splats
  • Training
  • #Differentiable Gaussian rasterization

STATE OF ART

在接下來(lái)的兩節(jié)中,將探索高斯飛濺的各種應(yīng)用和進(jìn)步,深入研究其在自動(dòng)駕駛、化身、壓縮、擴(kuò)散、動(dòng)力學(xué)和變形、編輯、基於文字的生成、網(wǎng)格提取和物理、正則化和優(yōu)化、渲染、稀疏表示以及同時(shí)定位和映射(SLAM)等領(lǐng)域的不同實(shí)現(xiàn)。將對(duì)每個(gè)子類別進(jìn)行檢查,以深入了解高斯飛濺方法在應(yīng)對(duì)特定挑戰(zhàn)和在這些不同領(lǐng)域取得顯著進(jìn)展方面的多用途。圖5顯示了所有方法的完整清單。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

FUNCTIONAL ADVANCEMENTS

本節(jié)檢視了自首次引入高斯飛濺演算法以來(lái)在功能能力方面取得的進(jìn)展。

動(dòng)態(tài)及變形

與一般的高斯飛濺相比,其中3D協(xié)方差矩陣的所有參數(shù)僅取決於輸入影像,在這種情況下,為了捕捉飛濺隨時(shí)間的動(dòng)態(tài),有些參數(shù)取決於時(shí)間或時(shí)間步長(zhǎng)。例如,位置取決於時(shí)間步長(zhǎng)或幀。該位置可以由下一幀以時(shí)間一致的方式更新。還可以學(xué)習(xí)一些潛在的編碼,這些編碼可以用於在渲染期間的每個(gè)時(shí)間步長(zhǎng)中編輯或傳播高斯,以實(shí)現(xiàn)某些效果,如化身中的表情變化,以及向非剛體施加力。圖6顯示了一些基於動(dòng)力學(xué)和變形的方法。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

動(dòng)態(tài)和可變形模型可以很容易地透過(guò)原始高斯飛濺表示的輕微修改來(lái)表示:

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

Motion and Tracking

大多數(shù)與動(dòng)態(tài)高斯飛濺相關(guān)的工作都擴(kuò)展到跨時(shí)間步長(zhǎng)的3D高斯運(yùn)動(dòng)跟蹤,而不是每個(gè)時(shí)間步長(zhǎng)都有一個(gè)單獨(dú)的飛濺。 Katsumata等人提出了位置的傅立葉近似和旋轉(zhuǎn)四元數(shù)的線性近似。

Luiten等人的論文介紹了一種在動(dòng)態(tài)場(chǎng)景中捕獲所有3D點(diǎn)的全6個(gè)自由度的方法。通過(guò)結(jié)合局部剛度約束,動(dòng)態(tài)3D高斯表示一致的空間旋轉(zhuǎn),實(shí)現(xiàn)了密集的6自由度跟蹤和重建,而無(wú)需對(duì)應(yīng)或流輸入。該方法在2D跟蹤中優(yōu)于PIP,實(shí)現(xiàn)了10倍低的中值軌跡誤差、更高的軌跡精度和100%的生存率。這種通用的表示方式有助于4維視頻編輯、第一人稱視圖合成和動(dòng)態(tài)場(chǎng)景生成等應(yīng)用。

Lin等人介紹了一種新的雙域變形模型(DDDM),該模型被明確設(shè)計(jì)為對(duì)每個(gè)高斯點(diǎn)的屬性變形進(jìn)行建模。該模型使用頻域的傅立葉級(jí)數(shù)擬合和時(shí)域的多項(xiàng)式擬合來(lái)捕獲與時(shí)間相關(guān)的殘差。DDDM擅長(zhǎng)處理復(fù)雜視頻場(chǎng)景中的變形,無(wú)需為每幀訓(xùn)練單獨(dú)的3D高斯飛濺(3D-GS)模型。值得注意的是,離散高斯點(diǎn)顯式變形建模保證了快速訓(xùn)練和4D場(chǎng)景渲染,類似于用于靜態(tài)3D重建的原始3D-GS。這種方法具有顯著的效率提高,與3D-GS建模相比,訓(xùn)練速度幾乎快了5倍。然而,在最終渲染中,在保持高保真度薄結(jié)構(gòu)方面存在增強(qiáng)的機(jī)會(huì)。

Expression or Emotion variation and Editable in Avatars

Shao等人介紹了GaussianPlanes,這是一種通過(guò)在三維空間和時(shí)間中基于平面的分解實(shí)現(xiàn)的4D表示,提高了4D編輯的有效性。此外,Control4D利用4D生成器優(yōu)化不一致照片的連續(xù)創(chuàng)建空間,從而獲得更好的一致性和質(zhì)量。所提出的方法使用GaussianPlanes來(lái)訓(xùn)練4D肖像場(chǎng)景的隱式表示,然后使用高斯渲染將其渲染為潛在特征和RGB圖像。基于生成對(duì)抗性網(wǎng)絡(luò)(GAN)的生成器和基于2D擴(kuò)散的編輯器對(duì)數(shù)據(jù)集進(jìn)行細(xì)化,并生成真實(shí)和虛假圖像進(jìn)行區(qū)分。判別結(jié)果有助于生成器和鑒別器的迭代更新。然而,由于依賴于具有流量表示的規(guī)范高斯點(diǎn)云,該方法在處理快速和廣泛的非剛性運(yùn)動(dòng)方面面臨挑戰(zhàn)。該方法受ControlNet的約束,將編輯限制在粗略級(jí)別,并阻止精確的表達(dá)或動(dòng)作編輯。此外,編輯過(guò)程需要迭代優(yōu)化,缺少一個(gè)單一步驟的解決方案。

Non-Rigid or deformable objects

隱式神經(jīng)表示在動(dòng)態(tài)場(chǎng)景重建和渲染中帶來(lái)了重大變革。然而,當(dāng)代動(dòng)態(tài)神經(jīng)渲染方法在捕捉復(fù)雜細(xì)節(jié)和實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景實(shí)時(shí)渲染方面遇到了挑戰(zhàn)。

為了應(yīng)對(duì)這些挑戰(zhàn),Yang等人提出了用于高保真單目動(dòng)態(tài)場(chǎng)景重建的可變形3D高斯。提出了一種新的可變形3D-GS方法。該方法利用了在具有變形場(chǎng)的規(guī)范空間中學(xué)習(xí)的3D高斯,該變形場(chǎng)專門為單目動(dòng)態(tài)場(chǎng)景設(shè)計(jì)。該方法引入了一種為真實(shí)世界的單目動(dòng)態(tài)場(chǎng)景量身定制的退火平滑訓(xùn)練(AST)機(jī)制,有效地解決了錯(cuò)誤姿勢(shì)對(duì)時(shí)間插值任務(wù)的影響,而不引入額外的訓(xùn)練開銷。通過(guò)使用差分高斯光柵化器,可變形的3D高斯不僅提高了渲染質(zhì)量,而且實(shí)現(xiàn)了實(shí)時(shí)速度,在這兩個(gè)方面都超過(guò)了現(xiàn)有的方法。該方法被證明非常適合于諸如NVS之類的任務(wù),并且由于其基于點(diǎn)的性質(zhì)而為后期生產(chǎn)任務(wù)提供了多功能性。實(shí)驗(yàn)結(jié)果強(qiáng)調(diào)了該方法優(yōu)越的渲染效果和實(shí)時(shí)性,證實(shí)了其在動(dòng)態(tài)場(chǎng)景建模中的有效性。

DIFFUSION

擴(kuò)散和高斯飛濺是一種從文本描述/提示生成3D目標(biāo)的強(qiáng)大技術(shù)。它結(jié)合了兩種不同方法的優(yōu)點(diǎn):擴(kuò)散模型和高斯散射。擴(kuò)散模型是一種神經(jīng)網(wǎng)絡(luò),可以學(xué)習(xí)從有噪聲的輸入中生成圖像。通過(guò)向模型提供一系列越來(lái)越干凈的圖像,模型學(xué)會(huì)扭轉(zhuǎn)圖像損壞的過(guò)程,最終從完全隨機(jī)的輸入中生成干凈的圖像。這可以用于從文本描述生成圖像,因?yàn)槟P涂梢詫W(xué)習(xí)將單詞與相應(yīng)的視覺(jué)特征相關(guān)聯(lián)。具有擴(kuò)散和高斯飛濺的文本到3D管道的工作原理是首先使用擴(kuò)散模型從文本描述生成初始3D點(diǎn)云。然后使用高斯散射將點(diǎn)云轉(zhuǎn)換為一組高斯球體。最后,對(duì)高斯球體進(jìn)行渲染,以生成目標(biāo)的3D圖像。

Text based generation

Yi等人的工作介紹了Gaussian Dreamer,這是一種文本到3D的方法,透過(guò)高斯分裂無(wú)縫連接3D和2D擴(kuò)散模型,確保3D一致性和複雜的細(xì)節(jié)生成。圖7顯示了所提出的生成影像的模型。為了進(jìn)一步豐富內(nèi)容,引入了噪音點(diǎn)增長(zhǎng)和顏色擾動(dòng)來(lái)補(bǔ)充初始化的3D高斯。此方法的特點(diǎn)是簡(jiǎn)單有效,在單一GPU上15分鐘內(nèi)產(chǎn)生3D實(shí)例,與先前的方法相比,速度優(yōu)越。產(chǎn)生的三維實(shí)例可以直接即時(shí)渲染,突顯了此方法的實(shí)用性。整體框架包括使用3D擴(kuò)散模型先驗(yàn)進(jìn)行初始化,並使用2D擴(kuò)散模型進(jìn)行最佳化,透過(guò)利用兩個(gè)擴(kuò)散模型的優(yōu)勢(shì),能夠從文字提示創(chuàng)建高品質(zhì)和多樣化的3D資產(chǎn)。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

Chen等人提出了基於高斯散射的文本到3D生成(GSGEN),這是一種利用3D高斯作為表示的文本到三維生成方法。透過(guò)利用幾何先驗(yàn),強(qiáng)調(diào)高斯散點(diǎn)在文本到三維生成的獨(dú)特優(yōu)勢(shì)。兩階段優(yōu)化策略結(jié)合了二維和三維擴(kuò)散的聯(lián)合指導(dǎo),在幾何優(yōu)化中形成連貫的粗糙結(jié)構(gòu),然後在基於緊湊性的外觀細(xì)化中緻密化。

Denoising and Optimisation

李等人的GaussianDiffusion框架代表了一種新穎的文本到三維方法,利用高斯飛濺和Langevin動(dòng)力學(xué)擴(kuò)散模型來(lái)加速渲染並實(shí)現(xiàn)無(wú)與倫比的真實(shí)感。結(jié)構(gòu)化雜訊的引入解決了多視圖幾何挑戰(zhàn),而變分高斯散射模型則緩解了收斂問(wèn)題和偽影。雖然目前的結(jié)果顯示真實(shí)性有所提高,但正在進(jìn)行的研究旨在細(xì)化變分高斯引入的模糊度和霧度,以進(jìn)一步增強(qiáng)。

楊等人對(duì)現(xiàn)有的擴(kuò)散先驗(yàn)進(jìn)行了徹底的檢查,提出了一個(gè)統(tǒng)一的框架,透過(guò)優(yōu)化去噪分?jǐn)?shù)來(lái)改進(jìn)這些先驗(yàn)。該方法的多功能性擴(kuò)展到各種用例,始終如一地提供實(shí)質(zhì)的效能增強(qiáng)。在實(shí)驗(yàn)評(píng)估中,我們的方法取得了前所未有的性能,超過(guò)了當(dāng)代的方法。儘管它在細(xì)化3D生成的紋理方面取得了成功,但在增強(qiáng)生成的3D模型的幾何結(jié)構(gòu)方面仍有改進(jìn)的空間。

OPTIMIZATION AND SPEED

本小節(jié)將討論研究人員為更快的訓(xùn)練和/或推理速度而開發(fā)的技術(shù)。在Chung等人的研究中,引入了一種方法來(lái)優(yōu)化高斯散射,以使用有限數(shù)量的圖像進(jìn)行3D場(chǎng)景表示,同時(shí)緩解過(guò)度擬合問(wèn)題。以高斯散點(diǎn)表示3D場(chǎng)景的傳統(tǒng)方法可能導(dǎo)致過(guò)擬合,特別是當(dāng)可用影像有限時(shí)。該技術(shù)使用來(lái)自預(yù)先訓(xùn)練的單目深度估計(jì)模型的深度圖作為幾何指南,並與來(lái)自SFM管道的稀疏特徵點(diǎn)對(duì)齊。這些有助於優(yōu)化3D高斯散射,減少浮動(dòng)偽影並確保幾何相干性。所提出的深度引導(dǎo)優(yōu)化策略在LLFF資料集上進(jìn)行了測(cè)試,與僅使用影像相比,顯示了改進(jìn)的幾何結(jié)構(gòu)。研究包括引入提前停止策略和深度圖的平滑項(xiàng),這兩項(xiàng)都有助於提高效能。然而,也承認(rèn)存在局限性,例如依賴單目深度估計(jì)模型的準(zhǔn)確性以及依賴COLMAP的性能。建議未來(lái)的工作探索相互依存的估計(jì)深度,並解決深度估計(jì)困難地區(qū)的挑戰(zhàn),例如無(wú)紋理平原或天空。

傅等人介紹了COLMAP Free 3D Gaussian Splatting(CF-3DGS),這是一種新的端到端框架,用於從序列圖像中同時(shí)進(jìn)行相機(jī)姿態(tài)估計(jì)和NVS,解決了以前方法中相機(jī)運(yùn)動(dòng)量大和訓(xùn)練持續(xù)時(shí)間長(zhǎng)帶來(lái)的挑戰(zhàn)。與NeRF的隱式表示不同,CF-3DGS利用顯式點(diǎn)雲(yún)來(lái)表示場(chǎng)景。此方法依序處理輸入幀,逐步擴(kuò)展3D高斯以重建整個(gè)場(chǎng)景,在具有挑戰(zhàn)性的場(chǎng)景(如360°視訊)上展示了增強(qiáng)的效能和穩(wěn)健性。此方法以順序的方式共同優(yōu)化相機(jī)姿勢(shì)和3D-GS,使其特別適合視訊串流或有序的影像擷取。高斯飛濺的使用能夠?qū)崿F(xiàn)快速的訓(xùn)練和推理速度,展示了這種方法相對(duì)於先前方法的優(yōu)勢(shì)。在證明有效性的同時(shí),人們承認(rèn),順序優(yōu)化將應(yīng)用程式主要限制在有序的圖像集合上,這為在未來(lái)的研究中探索無(wú)序圖像集合的擴(kuò)展留下了空間。

RENDERING AND SHADING METHODS

Yu等人在3D-GS中觀察到,特別是當(dāng)改變?nèi)勇蕰r(shí),NVS中會(huì)出現(xiàn)偽影。引入的解決方案包括結(jié)合3D平滑濾波器來(lái)調(diào)節(jié)3D高斯基元的最大頻率,從而解決分佈外渲染中的偽影。此外,2D膨脹濾波器被2D Mip濾波器取代,以解決混疊和膨脹問(wèn)題。對(duì)基準(zhǔn)資料集的評(píng)估證明了Mip Splatting的有效性,尤其是在修改採(cǎi)樣率時(shí)。所提出的修改是原則性的、直截了當(dāng)?shù)模枰獙?duì)原始3D-GS程式碼進(jìn)行最小的更改。然而,也存在公認(rèn)的局限性,例如高斯濾波器近似引入的誤差和訓(xùn)練開銷的輕微增加。該研究將Mip Splatting作為一種具有競(jìng)爭(zhēng)力的解決方案,展示了其與最先進(jìn)的方法的性能相當(dāng),以及在分發(fā)外場(chǎng)景中的卓越泛化能力,展示了它在實(shí)現(xiàn)任意規(guī)模的無(wú)別名渲染方面的潛力。

Gao等人提出了一種新的3D點(diǎn)雲(yún)渲染方法,該方法能夠從多視圖影像中分解材質(zhì)和照明。該框架支援以可區(qū)分的方式對(duì)場(chǎng)景進(jìn)行編輯、光線追蹤和即時(shí)重新照明。場(chǎng)景中的每個(gè)點(diǎn)都由「可重新照明」的3D高斯表示,攜帶有關(guān)其法線方向、雙向反射分佈函數(shù)(BRDF)等材料特性以及來(lái)自不同方向的入射光的資訊。為了精確的照明估計(jì),入射光被分為全局和局部分量,並考慮基於視角的可見性。場(chǎng)景最佳化利用3D高斯飛濺,而基於物理的可微分渲染處理BRDF和照明分解。一種創(chuàng)新的基於點(diǎn)的光線追蹤方法利用邊界體層次結(jié)構(gòu),在即時(shí)渲染過(guò)程中實(shí)現(xiàn)了高效的可見性烘焙和逼真的陰影。實(shí)驗(yàn)表明,與現(xiàn)有方法相比,BRDF估計(jì)值和視圖渲染效果更好。然而,對(duì)於沒(méi)有明確邊界和優(yōu)化過(guò)程中需要目標(biāo)遮罩的場(chǎng)景,仍存在挑戰(zhàn)。未來(lái)的工作可以探索整合多視圖立體(MVS)線索,以提高透過(guò)3D高斯散射產(chǎn)生的點(diǎn)雲(yún)的幾何精度。這種「可靠的3D高斯」管道展示了很有前途的即時(shí)渲染功能,並透過(guò)基於點(diǎn)雲(yún)的方法為革命性地基於網(wǎng)格的圖形打開了大門,該方法允許重新照明、編輯和光線追蹤。

COMPRESSION

Fan等人介紹了一種用於壓縮渲染中使用的3D高斯表示的新技術(shù)。他們的方法根據(jù)其重要性識(shí)別並刪除冗餘高斯,類似於網(wǎng)路修剪,確保對(duì)視覺(jué)品質(zhì)的影響最小。利用知識(shí)提取和偽視圖增強(qiáng),LightGaussian將訊息傳遞到具有較少球面諧波的較低複雜度表示,從而進(jìn)一步減少冗餘。此外,一種稱為VecTree量化的混合方案透過(guò)量化屬性值來(lái)最佳化表示,從而在精度沒(méi)有顯著損失的情況下實(shí)現(xiàn)更小的尺寸。與標(biāo)準(zhǔn)方法相比,LightGaussian實(shí)現(xiàn)了超過(guò)15倍的平均壓縮比,在Mip NeRF 360和Tanks&Temples等資料集上,渲染速度從139 FPS顯著提高到215 FPS。所涉及的關(guān)鍵步驟是計(jì)算全局顯著性、修剪高斯、用偽視圖提取知識(shí)以及使用VecTree量化屬性??偟膩?lái)說(shuō),LightGaussian為將基於大點(diǎn)的表示轉(zhuǎn)換為緊湊格式提供了一個(gè)突破性的解決方案,從而顯著減少了資料冗餘,並大幅提高了渲染效率。

應(yīng)用程式與案例研究

本節(jié)深入探討了自2023年7月高斯飛濺演算法問(wèn)世以來(lái),該演算法在應(yīng)用方面的顯著進(jìn)步。這些進(jìn)步在各種領(lǐng)域都有特定的用途,如化身、SLAM、網(wǎng)格提取和物理模擬。當(dāng)應(yīng)用於這些專門的用例時(shí),Gaussian Splatting在不同的應(yīng)用場(chǎng)景中展示了它的多功能性和有效性。

AVATARS

隨著AR/VR應(yīng)用熱潮的興起,高斯飛濺的大量研究都集中在開發(fā)人類的數(shù)位化身上。從較少的視角捕捉主題並建立3D模型是一項(xiàng)具有挑戰(zhàn)性的任務(wù),高斯飛濺正幫助研究人員和產(chǎn)業(yè)實(shí)現(xiàn)這一目標(biāo)。

Joint angles or articulation

這種高斯散射技術(shù)專注於根據(jù)關(guān)節(jié)角度對(duì)人體進(jìn)行建模。這類模型的一些參數(shù)反映了三維關(guān)節(jié)的位置、角度和其他類似的參數(shù)。對(duì)輸入影格進(jìn)行解碼以找出目前影格的3D關(guān)節(jié)位置和角度。

Zielonka等人提出了一種使用高斯散射的人體表示模型,並利用創(chuàng)新的3D-GS技術(shù)實(shí)現(xiàn)了即時(shí)渲染。與現(xiàn)有的照片級(jí)真實(shí)感可駕駛化身不同,可駕駛3D高斯飛濺(D3GA)不依賴訓(xùn)練期間的精確3D配準(zhǔn)或測(cè)試期間的密集輸入影像。相反,它利用密集校準(zhǔn)的多視圖視訊進(jìn)行即時(shí)渲染,並引入了由關(guān)節(jié)中的關(guān)鍵點(diǎn)和角度驅(qū)動(dòng)的基於四面體籠的變形,使其對(duì)涉及通訊的應(yīng)用程式有效,如圖9所示。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

Animatable

#

這些方法通常訓(xùn)練依賴位姿的高斯圖來(lái)捕捉複雜的動(dòng)態(tài)外觀,包括服裝中更精細(xì)的細(xì)節(jié),從而產(chǎn)生高品質(zhì)的化身。其中一些方法還支援即時(shí)渲染功能。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

薑等人提出了HiFi4G,這個(gè)方法可以有效地渲染真實(shí)的人類。 HiFi4G將3D高斯表示與非剛性追蹤結(jié)合,採(cǎi)用運(yùn)動(dòng)先驗(yàn)的對(duì)偶圖機(jī)制和具有自適應(yīng)時(shí)空正則化器的4D高斯優(yōu)化。 HiFi4G實(shí)現(xiàn)了約25倍的壓縮率,每幀需要不到2MB的儲(chǔ)存空間,在優(yōu)化速度、渲染品質(zhì)和儲(chǔ)存開銷方面表現(xiàn)出色,如圖10所示。它提出了一種緊湊的4D高斯表示,橋接高斯飛濺和非剛性追蹤。然而,對(duì)分割的依賴性、對(duì)導(dǎo)致偽影的較差分割的敏感性,以及對(duì)每幀重建和網(wǎng)格追蹤的需求都造成了限制。未來(lái)的研究可能著重於加速最佳化過(guò)程和減少GPU排序依賴性,以便在網(wǎng)路檢視器和行動(dòng)裝置上進(jìn)行更廣泛的部署。

Head based

先前的頭部化身方法大多依賴固定的顯式基元(網(wǎng)格、點(diǎn))或隱式曲面(SDF)?;陡咚股⑸涞哪P蛯锳R/VR和基於濾鏡的應(yīng)用的興起鋪平道路,讓使用者嘗試不同的妝容、色調(diào)、髮型等。

王等人利用規(guī)範(fàn)的高斯變換來(lái)表示動(dòng)態(tài)場(chǎng)景。使用顯式「動(dòng)態(tài)」三平面作為參數(shù)化頭部幾何的有效容器,與底層幾何和三平面中的因子很好地對(duì)齊,作者獲得了正則高斯的對(duì)齊正則因子。使用微小的MLP,因子被解碼為3D高斯基元的不透明度和球面諧波係數(shù)。 Quin等人創(chuàng)造了具有可控視角、姿勢(shì)和表情的超逼真頭部化身。在化身重構(gòu)過(guò)程中,作者同時(shí)對(duì)變形模型參數(shù)和高斯splat參數(shù)進(jìn)行了最佳化。該作品展示了化身在各種具有挑戰(zhàn)性的場(chǎng)景中的動(dòng)畫能力。 Dhamo等人提出了HeadGaS,這是一種混合模型,以可學(xué)習(xí)的潛在特徵為基礎(chǔ),擴(kuò)展了3D-GS的顯式表示。然後,這些特徵可以與來(lái)自參數(shù)化頭部模型的低維參數(shù)線性混合,以導(dǎo)出依賴表情的最終顏色和不透明度值。圖11顯示了一些範(fàn)例影像。

SLAM

SLAM是自動(dòng)駕駛汽車中使用的一種技術(shù),用於同時(shí)建立地圖並確定車輛在該地圖內(nèi)的位置。它使車輛能夠?qū)Ш胶屠L製未知環(huán)境的地圖。顧名思義,視覺(jué)SLAM(vSLAM)依賴來(lái)自相機(jī)和各種影像感測(cè)器的影像。這種方法適用於各種相機(jī)類型,包括簡(jiǎn)單、複眼和RGB-D相機(jī),使其成為具有成本效益的解決方案。透過(guò)相機(jī),可以將地標(biāo)偵測(cè)與基於圖形的最佳化相結(jié)合,增強(qiáng)SLAM實(shí)現(xiàn)的靈活性。單眼SLAM是vSLAM的一個(gè)子集,使用單一相機(jī),在深度感知方面面臨挑戰(zhàn),這可以透過(guò)結(jié)合額外的感測(cè)器來(lái)解決,如里程計(jì)和慣性測(cè)量單元(IMU)的編碼器。與vSLAM相關(guān)的關(guān)鍵技術(shù)包括SFM、視覺(jué)里程計(jì)和束調(diào)整。視覺(jué)SLAM演算法分為兩大類:稀疏方法,採(cǎi)用特徵點(diǎn)匹配(例如,平行追蹤和映射,ORB-SLAM),密集方法,利用整體影像亮度(例如,DTAM,LSD-SLAM,DSO,SVO)。

網(wǎng)格擷取與物理

高斯散射可以用於基於物理的模擬和渲染。透過(guò)在三維高斯核中添加更多的參數(shù),可以對(duì)速度、應(yīng)變和其他力學(xué)特性進(jìn)行建模。這就是為什麼在幾個(gè)月內(nèi)開發(fā)了各種方法,包括使用高斯散射模擬物理學(xué)。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

謝等人介紹了一種基於連續(xù)體力學(xué)的三維高斯運(yùn)動(dòng)學(xué)方法,採(cǎi)用偏微分方程(PDE)來(lái)驅(qū)動(dòng)高斯核及其相關(guān)球面諧波的演化。這項(xiàng)創(chuàng)新允許使用統(tǒng)一的模擬渲染管道,透過(guò)消除對(duì)顯式目標(biāo)網(wǎng)格的需求來(lái)簡(jiǎn)化運(yùn)動(dòng)生成。他們的方法透過(guò)在各種材料上進(jìn)行全面的基準(zhǔn)測(cè)試和實(shí)驗(yàn),展示了多功能性,在具有簡(jiǎn)單動(dòng)力學(xué)的場(chǎng)景中展示了即時(shí)性能。作者介紹了PhysGaussian,這是一個(gè)同時(shí)無(wú)縫生成基於物理的動(dòng)力學(xué)和照片逼真渲染的框架。在承認(rèn)框架中缺乏陰影演化和使用單點(diǎn)求積進(jìn)行體積積分等局限性的同時(shí),作者提出了未來(lái)工作的途徑,包括在材料點(diǎn)法(MPM)中採(cǎi)用高階求積,並探索神經(jīng)網(wǎng)路的整合以實(shí)現(xiàn)更真實(shí)的建模。該框架可以擴(kuò)展到處理各種材料,如液體,並結(jié)合利用大型語(yǔ)言模型(LLM)進(jìn)步的使用者控制。圖13顯示了PhysGaussian框架的訓(xùn)練過(guò)程。

編輯

高斯飛濺也將翅膀擴(kuò)展到場(chǎng)景的3D編輯和點(diǎn)操縱。使用將要討論的最新進(jìn)展,甚至可以對(duì)場(chǎng)景進(jìn)行基於提示的3D編輯。這些方法不僅將場(chǎng)景表示為3D高斯圖,而且對(duì)場(chǎng)景具有語(yǔ)義和爭(zhēng)議性的理解。

Chen等人介紹了GaussianEditor,這是一種基於高斯Splatting的新型三維編輯演算法,旨在克服傳統(tǒng)三維編輯方法的局限性。雖然依賴網(wǎng)格或點(diǎn)雲(yún)的傳統(tǒng)方法難以進(jìn)行逼真的描繪,但像NeRF這樣的隱式3D表示面臨著處理速度慢和控制有限的挑戰(zhàn)。 GaussianEditor透過(guò)利用3D-GS來(lái)解決這些問(wèn)題,透過(guò)高斯語(yǔ)義追蹤增強(qiáng)精度和控制,並引入層次高斯飛濺(HGS),在生成指導(dǎo)下獲得穩(wěn)定和精細(xì)的結(jié)果。該演算法包括一種專門的3D修復(fù)方法,用於有效地去除和整合物體,在廣泛的實(shí)驗(yàn)中顯示出卓越的控制能力、功效和快速性能。圖14顯示了Chen等人測(cè)試的各種文字提示。 GaussianEditor標(biāo)誌著3D編輯的重大進(jìn)步,提供了增強(qiáng)的有效性、速度和可控性。研究的貢獻(xiàn)包括引入高斯語(yǔ)義追蹤進(jìn)行詳細(xì)編輯控制,提出HGS在生成指導(dǎo)下實(shí)現(xiàn)穩(wěn)定收斂,開發(fā)用於快速刪除和添加目標(biāo)的3D修復(fù)演算法,以及大量實(shí)驗(yàn)證明該方法優(yōu)於先前的3D編輯方法。儘管GaussianEditor取得了進(jìn)步,但它依賴於二維擴(kuò)散模型進(jìn)行有效監(jiān)督,在處理複雜提示方面存在局限性,這是基於類似模型的其他三維編輯方法面臨的共同挑戰(zhàn)。

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

討論

傳統(tǒng)上,3D場(chǎng)景是使用網(wǎng)格和點(diǎn)來(lái)表示的,因?yàn)樗鼈兊拿鞔_性質(zhì)以及與基於GPU/CUDA的快速光柵化的兼容性。然而,最近的進(jìn)步,如NeRF方法,專注於連續(xù)場(chǎng)景表示,採(cǎi)用了多層感知器優(yōu)化等技術(shù),透過(guò)體積射線行進(jìn)進(jìn)行新的視圖合成。雖然連續(xù)表示有助於最佳化,但渲染所需的隨機(jī)取樣會(huì)引入昂貴的雜訊。高斯飛濺透過(guò)利用3D高斯表示進(jìn)行最佳化,實(shí)現(xiàn)最先進(jìn)的視覺(jué)品質(zhì)和有競(jìng)爭(zhēng)力的訓(xùn)練時(shí)間,彌補(bǔ)了這一差距。此外,基於瓦片的飛濺解決方案可確保即時(shí)渲染具有頂級(jí)品質(zhì)。在渲染3D場(chǎng)景時(shí),高斯飛濺在品質(zhì)和效率方面提供了一些最佳結(jié)果。

高斯飛濺已經(jīng)發(fā)展到透過(guò)修改其原始表示來(lái)處理動(dòng)態(tài)和可變形目標(biāo)。這涉及到合併參數(shù),例如3D位置、旋轉(zhuǎn)、縮放因子和顏色和不透明度的球面諧波係數(shù)。該領(lǐng)域的最新進(jìn)展包括引入稀疏性損失以鼓勵(lì)ba-sis軌跡共享,引入雙域變形模型以捕捉與時(shí)間相關(guān)的殘差,以及將生成器網(wǎng)路與3D高斯渲染連接起來(lái)的高斯殼映射。也努力解決非剛性追蹤、化身表情變化和高效渲染逼真人類表現(xiàn)等挑戰(zhàn)。這些進(jìn)步共同致力於在處理動(dòng)態(tài)和可變形目標(biāo)時(shí)實(shí)現(xiàn)即時(shí)渲染、優(yōu)化效率和高品質(zhì)結(jié)果。

在另一個(gè)方面,擴(kuò)散和高斯飛濺協(xié)同作用,從文字提示建立3D目標(biāo)。擴(kuò)散模型是一種神經(jīng)網(wǎng)絡(luò),它透過(guò)一系列越來(lái)越乾淨(jìng)的影像來(lái)逆轉(zhuǎn)影像損壞的過(guò)程,從而學(xué)習(xí)從有雜訊的輸入中生成影像。在文字到三維管道中,擴(kuò)散模型根據(jù)文字描述產(chǎn)生初始三維點(diǎn)雲(yún),然後使用高斯散射將其轉(zhuǎn)換為高斯球體。渲染的高斯球體產(chǎn)生最終的三維目標(biāo)影像。此領(lǐng)域的進(jìn)展包括使用結(jié)構(gòu)化雜訊來(lái)解決多視圖幾何挑戰(zhàn),引入變分高斯散射模型來(lái)解決收斂問(wèn)題,以及優(yōu)化去噪分?jǐn)?shù)以增強(qiáng)擴(kuò)散先驗(yàn),旨在實(shí)現(xiàn)基於文字的3D生成中無(wú)與倫比的真實(shí)性和性能。

高斯飛濺已被廣泛應(yīng)用於AR/VR應(yīng)用的數(shù)位化身的創(chuàng)建。這涉及從最小數(shù)量的視點(diǎn)捕捉目標(biāo)並建立3D模型。該技術(shù)已被用於建模人體關(guān)節(jié)、關(guān)節(jié)角度和其他參數(shù),從而能夠產(chǎn)生富有表現(xiàn)力和可控的化身。這一領(lǐng)域的進(jìn)步包括開發(fā)捕捉高頻面部細(xì)節(jié)、保留誇張表情和有效變形化身的方法。此外,還提出了混合模型,將明確表示與可學(xué)習(xí)的潛在特徵相結(jié)合,以實(shí)現(xiàn)與表達(dá)相關(guān)的最終顏色和不透明度值。這些進(jìn)步旨在增強(qiáng)生成的3D模型的幾何形狀和紋理,以滿足AR/VR應(yīng)用中對(duì)逼真和可控化身日益增長(zhǎng)的需求。

Gaussian Splatting也在SLAM中找到了多功能的應(yīng)用,在GPU上提供即時(shí)追蹤和建圖功能。透過(guò)使用3D高斯表示和可微分的飛濺光柵化管道,它實(shí)現(xiàn)了真實(shí)世界和合成場(chǎng)景的快速和真實(shí)感渲染。該技術(shù)擴(kuò)展到網(wǎng)格提取和基於物理的模擬,允許在沒(méi)有明確目標(biāo)網(wǎng)格的情況下對(duì)機(jī)械特性進(jìn)行建模。連續(xù)介質(zhì)力學(xué)和偏微分方程的進(jìn)步使高斯核得以進(jìn)化,簡(jiǎn)化了運(yùn)動(dòng)生成。值得注意的是,最佳化涉及高效的資料結(jié)構(gòu),如OpenVDB、用於對(duì)齊的正則化項(xiàng)和用於減少誤差的物理啟發(fā)項(xiàng),從而提高了整體效率和準(zhǔn)確性。在壓縮和提高高斯散射渲染效率方面也做了其他工作。

比較

不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)

從表2可以清楚看出,在撰寫本文時(shí),高斯飛濺是最接近即時(shí)渲染和動(dòng)態(tài)場(chǎng)景表示的選項(xiàng)。佔(zhàn)用網(wǎng)路根本不是為NVS用例量身訂做的。攝影測(cè)量是創(chuàng)建具有強(qiáng)烈背景感的高度準(zhǔn)確和逼真的模型的理想選擇。 NeRF擅長(zhǎng)產(chǎn)生新穎的視野和逼真的照明效果,提供創(chuàng)作自由和處理複雜場(chǎng)景。高斯飛濺在其實(shí)時(shí)渲染功能和互動(dòng)式探索方面大放異彩,使其適用於動(dòng)態(tài)應(yīng)用程式。每種方法都有其利基市場(chǎng),並相互補(bǔ)充,為3D重建和視覺(jué)化提供了各種各樣的工具。

挑戰(zhàn)與限制

儘管高斯飛濺是一種非常穩(wěn)健的技術(shù),但它也有一些需要注意的地方。其中一些列出如下:

  • 1)計(jì)算複雜度:高斯散射需要對(duì)每個(gè)像素的高斯函數(shù)進(jìn)行評(píng)估,這可能是計(jì)算密集型的,尤其是在處理大量點(diǎn)或粒子時(shí)。
  • 2)記憶體使用:儲(chǔ)存高斯飛濺的中間結(jié)果,例如每個(gè)點(diǎn)對(duì)相鄰像素的加權(quán)貢獻(xiàn),可能會(huì)消耗大量記憶體。
  • 3)邊緣偽影:高斯散射會(huì)在影像的邊緣或高對(duì)比區(qū)域附近產(chǎn)生不想要的偽影,如振鈴或模糊。
  • 4)效能與準(zhǔn)確性的權(quán)衡:實(shí)現(xiàn)高品質(zhì)的結(jié)果可能需要使用大的核心大小或評(píng)估每個(gè)像素的多個(gè)高斯函數(shù),這會(huì)影響效能。
  • 5)與其他渲染技術(shù)的整合:在保持效能和視覺(jué)連貫性的同時(shí),將高斯散射與陰影貼圖或環(huán)境遮蔽等其他技術(shù)整合可能會(huì)很複雜。

未來(lái)方向

即時(shí)3D重建技術(shù)將實(shí)現(xiàn)電腦圖形學(xué)和相關(guān)領(lǐng)域的多種功能,例如即時(shí)互動(dòng)探索3D場(chǎng)景或模型,透過(guò)即時(shí)回饋操縱視點(diǎn)和目標(biāo)。它還可以即時(shí)渲染具有移動(dòng)目標(biāo)或不斷變化的環(huán)境的動(dòng)態(tài)場(chǎng)景,增強(qiáng)真實(shí)感和沈浸感。即時(shí)3D重建可用於模擬和訓(xùn)練環(huán)境,為汽車、航空航太和醫(yī)學(xué)等領(lǐng)域的虛擬場(chǎng)景提供逼真的視覺(jué)回饋。它還將支援沉浸式AR和VR體驗(yàn)的即時(shí)渲染,用戶可以即時(shí)與虛擬目標(biāo)或環(huán)境互動(dòng)。整體而言,即時(shí)高斯飛濺增強(qiáng)了電腦圖形、視覺(jué)化、模擬和沈浸式技術(shù)中各種應(yīng)用的效率、互動(dòng)性和真實(shí)性。

結(jié)論

在本文中,我們討論了與用於三維重建和新視圖合成的高斯散射相關(guān)的各種功能和應(yīng)用方面。它涵蓋了動(dòng)態(tài)和變形建模、運(yùn)動(dòng)追蹤、非剛性/可變形目標(biāo)、表情/情緒變化、基於文字的生成擴(kuò)散、去噪、優(yōu)化、化身、可動(dòng)畫目標(biāo)、基於頭部的建模、同步定位和規(guī)劃、網(wǎng)格提取和物理、最佳化技術(shù)、編輯功能、渲染方法、壓縮等主題。

具體而言,本文深入探討了基於影像的3D重建的挑戰(zhàn)和進(jìn)展,基於學(xué)習(xí)的方法在改進(jìn)3D形狀估計(jì)中的作用,以及高斯飛濺技術(shù)在處理動(dòng)態(tài)場(chǎng)景、互動(dòng)式目標(biāo)操作、3D分割和場(chǎng)景編輯中的潛在應(yīng)用和未來(lái)方向。

高斯飛濺在不同領(lǐng)域具有變革意義,包括電腦生成圖像、VR/AR、機(jī)器人、電影和動(dòng)畫、汽車設(shè)計(jì)、零售、環(huán)境研究和航空航天應(yīng)用。然而,值得注意的是,與NeRFs等其他方法相比,高斯散射在實(shí)現(xiàn)真實(shí)感方面可能存在局限性。此外,還應(yīng)考慮與過(guò)擬合、計(jì)算資源和渲染品質(zhì)限制相關(guān)的挑戰(zhàn)。儘管有這些局限性,但高斯散射的持續(xù)研究和進(jìn)步仍在繼續(xù)解決這些挑戰(zhàn),並進(jìn)一步提高該方法的有效性和適用性。

#

以上是不只3D高斯!最新綜述一覽最先進(jìn)的3D重建技術(shù)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章!

本網(wǎng)站聲明
本文內(nèi)容由網(wǎng)友自願(yuàn)投稿,版權(quán)歸原作者所有。本站不承擔(dān)相應(yīng)的法律責(zé)任。如發(fā)現(xiàn)涉嫌抄襲或侵權(quán)的內(nèi)容,請(qǐng)聯(lián)絡(luò)admin@php.cn

熱AI工具

Undress AI Tool

Undress AI Tool

免費(fèi)脫衣圖片

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅(qū)動(dòng)的應(yīng)用程序,用於創(chuàng)建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費(fèi)的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費(fèi)的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強(qiáng)大的PHP整合開發(fā)環(huán)境

Dreamweaver CS6

Dreamweaver CS6

視覺(jué)化網(wǎng)頁(yè)開發(fā)工具

SublimeText3 Mac版

SublimeText3 Mac版

神級(jí)程式碼編輯軟體(SublimeText3)

熱門話題

Laravel 教程
1600
29
PHP教程
1502
276
為何在自動(dòng)駕駛方面Gaussian Splatting如此受歡迎,開始放棄NeRF? 為何在自動(dòng)駕駛方面Gaussian Splatting如此受歡迎,開始放棄NeRF? Jan 17, 2024 pm 02:57 PM

寫在前面&筆者的個(gè)人理解三維Gaussiansplatting(3DGS)是近年來(lái)在顯式輻射場(chǎng)和電腦圖形學(xué)領(lǐng)域出現(xiàn)的一種變革性技術(shù)。這種創(chuàng)新方法的特點(diǎn)是使用了數(shù)百萬(wàn)個(gè)3D高斯,這與神經(jīng)輻射場(chǎng)(NeRF)方法有很大的不同,後者主要使用隱式的基於座標(biāo)的模型將空間座標(biāo)映射到像素值。 3DGS憑藉其明確的場(chǎng)景表示和可微分的渲染演算法,不僅保證了即時(shí)渲染能力,而且引入了前所未有的控制和場(chǎng)景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規(guī)則改變者。為此我們首次系統(tǒng)性地概述了3DGS領(lǐng)域的最新發(fā)展與關(guān)

DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! Mar 21, 2024 pm 05:21 PM

這篇論文探討了在自動(dòng)駕駛中,從不同視角(如透視圖和鳥瞰圖)準(zhǔn)確檢測(cè)物體的問(wèn)題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉(zhuǎn)換特徵,這一轉(zhuǎn)換是透過(guò)視覺(jué)轉(zhuǎn)換(VT)模組實(shí)施的?,F(xiàn)有的方法大致分為兩種策略:2D到3D和3D到2D轉(zhuǎn)換。 2D到3D的方法透過(guò)預(yù)測(cè)深度機(jī)率來(lái)提升密集的2D特徵,但深度預(yù)測(cè)的固有不確定性,尤其是在遠(yuǎn)處區(qū)域,可能會(huì)引入不準(zhǔn)確性。而3D到2D的方法通常使用3D查詢來(lái)採(cǎi)樣2D特徵,並透過(guò)Transformer學(xué)習(xí)3D和2D特徵之間對(duì)應(yīng)關(guān)係的注意力權(quán)重,這增加了計(jì)算和部署的

Stable Diffusion 3論文終於發(fā)布,架構(gòu)細(xì)節(jié)大揭秘,對(duì)復(fù)現(xiàn)Sora有幫助? Stable Diffusion 3論文終於發(fā)布,架構(gòu)細(xì)節(jié)大揭秘,對(duì)復(fù)現(xiàn)Sora有幫助? Mar 06, 2024 pm 05:34 PM

StableDiffusion3的論文終于來(lái)了!這個(gè)模型于兩周前發(fā)布,采用了與Sora相同的DiT(DiffusionTransformer)架構(gòu),一經(jīng)發(fā)布就引起了不小的轟動(dòng)。與之前版本相比,StableDiffusion3生成的圖質(zhì)量有了顯著提升,現(xiàn)在支持多主題提示,并且文字書寫效果也得到了改善,不再出現(xiàn)亂碼情況。StabilityAI指出,StableDiffusion3是一個(gè)系列模型,其參數(shù)量從800M到8B不等。這一參數(shù)范圍意味著該模型可以在許多便攜設(shè)備上直接運(yùn)行,從而顯著降低了使用AI

選擇相機(jī)還是光達(dá)?實(shí)現(xiàn)穩(wěn)健的三維目標(biāo)檢測(cè)的最新綜述 選擇相機(jī)還是光達(dá)?實(shí)現(xiàn)穩(wěn)健的三維目標(biāo)檢測(cè)的最新綜述 Jan 26, 2024 am 11:18 AM

0.寫在前面&&個(gè)人理解自動(dòng)駕駛系統(tǒng)依賴先進(jìn)的感知、決策和控制技術(shù),透過(guò)使用各種感測(cè)器(如相機(jī)、光達(dá)、雷達(dá)等)來(lái)感知周圍環(huán)境,並利用演算法和模型進(jìn)行即時(shí)分析和決策。這使得車輛能夠識(shí)別道路標(biāo)誌、檢測(cè)和追蹤其他車輛、預(yù)測(cè)行人行為等,從而安全地操作和適應(yīng)複雜的交通環(huán)境。這項(xiàng)技術(shù)目前引起了廣泛的關(guān)注,並認(rèn)為是未來(lái)交通領(lǐng)域的重要發(fā)展領(lǐng)域之一。但是,讓自動(dòng)駕駛變得困難的是弄清楚如何讓汽車了解周圍發(fā)生的事情。這需要自動(dòng)駕駛系統(tǒng)中的三維物體偵測(cè)演算法可以準(zhǔn)確地感知和描述周圍環(huán)境中的物體,包括它們的位置、

CLIP-BEVFormer:明確監(jiān)督BEVFormer結(jié)構(gòu),提升長(zhǎng)尾偵測(cè)性能 CLIP-BEVFormer:明確監(jiān)督BEVFormer結(jié)構(gòu),提升長(zhǎng)尾偵測(cè)性能 Mar 26, 2024 pm 12:41 PM

寫在前面&筆者的個(gè)人理解目前,在整個(gè)自動(dòng)駕駛系統(tǒng)當(dāng)中,感知模組扮演了其中至關(guān)重要的角色,行駛在道路上的自動(dòng)駕駛車輛只有通過(guò)感知模組獲得到準(zhǔn)確的感知結(jié)果後,才能讓自動(dòng)駕駛系統(tǒng)中的下游規(guī)控模組做出及時(shí)、正確的判斷和行為決策。目前,具備自動(dòng)駕駛功能的汽車中通常會(huì)配備包括環(huán)視相機(jī)感測(cè)器、光達(dá)感測(cè)器以及毫米波雷達(dá)感測(cè)器在內(nèi)的多種數(shù)據(jù)資訊感測(cè)器來(lái)收集不同模態(tài)的信息,用於實(shí)現(xiàn)準(zhǔn)確的感知任務(wù)。基於純視覺(jué)的BEV感知演算法因其較低的硬體成本和易於部署的特點(diǎn),以及其輸出結(jié)果能便捷地應(yīng)用於各種下游任務(wù),因此受到工業(yè)

自動(dòng)駕駛與軌跡預(yù)測(cè)看這篇就夠了! 自動(dòng)駕駛與軌跡預(yù)測(cè)看這篇就夠了! Feb 28, 2024 pm 07:20 PM

軌跡預(yù)測(cè)在自動(dòng)駕駛中承擔(dān)著重要的角色,自動(dòng)駕駛軌跡預(yù)測(cè)是指透過(guò)分析車輛行駛過(guò)程中的各種數(shù)據(jù),預(yù)測(cè)車輛未來(lái)的行駛軌跡。作為自動(dòng)駕駛的核心模組,軌跡預(yù)測(cè)的品質(zhì)對(duì)於下游的規(guī)劃控制至關(guān)重要。軌跡預(yù)測(cè)任務(wù)技術(shù)堆疊豐富,需熟悉自動(dòng)駕駛動(dòng)/靜態(tài)感知、高精地圖、車道線、神經(jīng)網(wǎng)路架構(gòu)(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預(yù)測(cè),少踩坑,今天就為大家盤點(diǎn)下軌跡預(yù)測(cè)常見的一些問(wèn)題和入門學(xué)習(xí)方法!入門相關(guān)知識(shí)1.預(yù)習(xí)的論文有沒(méi)有切入順序? A:先看survey,p

牛津大學(xué)最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24) 牛津大學(xué)最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24) Apr 23, 2024 pm 01:20 PM

寫在前面項(xiàng)目連結(jié):https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過(guò)建立圖片之間的對(duì)應(yīng)關(guān)係來(lái)估計(jì)它們之間的相機(jī)姿態(tài)。通常,這些對(duì)應(yīng)關(guān)係是二維到二維的,而我們估計(jì)的姿態(tài)在尺度上是不確定的。一些應(yīng)用,例如隨時(shí)隨地實(shí)現(xiàn)即時(shí)增強(qiáng)現(xiàn)實(shí),需要尺度度量的姿態(tài)估計(jì),因此它們依賴外部的深度估計(jì)器來(lái)恢復(fù)尺度。本文提出了MicKey,這是一個(gè)關(guān)鍵點(diǎn)匹配流程,能夠夠預(yù)測(cè)三維相機(jī)空間中的度量對(duì)應(yīng)關(guān)係。透過(guò)學(xué)習(xí)跨影像的三維座標(biāo)匹配,我們能夠在沒(méi)有深度測(cè)試的情況下推斷度量相對(duì)

3D視覺(jué)繞不開的點(diǎn)雲(yún)配準(zhǔn)!一文搞懂所有主流方案與挑戰(zhàn) 3D視覺(jué)繞不開的點(diǎn)雲(yún)配準(zhǔn)!一文搞懂所有主流方案與挑戰(zhàn) Apr 02, 2024 am 11:31 AM

作為點(diǎn)集合的點(diǎn)雲(yún)有望透過(guò)3D重建、工業(yè)檢測(cè)和機(jī)器人操作中,在獲取和生成物體的三維(3D)表面資訊方面帶來(lái)一場(chǎng)改變。最具挑戰(zhàn)性但必不可少的過(guò)程是點(diǎn)雲(yún)配準(zhǔn),即獲得一個(gè)空間變換,該變換將在兩個(gè)不同座標(biāo)中獲得的兩個(gè)點(diǎn)雲(yún)對(duì)齊並匹配。這篇綜述介紹了點(diǎn)雲(yún)配準(zhǔn)的概述和基本原理,對(duì)各種方法進(jìn)行了系統(tǒng)的分類和比較,並解決了點(diǎn)雲(yún)配準(zhǔn)中存在的技術(shù)問(wèn)題,試圖為該領(lǐng)域以外的學(xué)術(shù)研究人員和工程師提供指導(dǎo),並促進(jìn)點(diǎn)雲(yún)配準(zhǔn)統(tǒng)一願(yuàn)景的討論。點(diǎn)雲(yún)獲取的一般方式分為主動(dòng)和被動(dòng)方式,由感測(cè)器主動(dòng)獲取的點(diǎn)雲(yún)為主動(dòng)方式,後期透過(guò)重建的方式

See all articles