如此強(qiáng)大的AI模仿能力，真的防不住，完全防不住?，F(xiàn)在AI的發(fā)展已經(jīng)達(dá)到這種程度了嗎？
你前腳讓自己的五官亂飛，後腳，一模一樣的表情就被復(fù)現(xiàn)出來(lái)，瞪眼、挑眉、噘嘴，不管多麼誇張的表情，都模仿的非常到位。
加大難度，讓眉毛挑的再高些，眼睛睜的再大些，甚至連嘴型都是歪的，虛擬人物頭像也能完美復(fù)現(xiàn)表情。
當(dāng)你在左邊調(diào)整參數(shù)時(shí)，右邊的虛擬頭像也會(huì)相應(yīng)地改變動(dòng)作
給嘴巴、眼睛一個(gè)特寫(xiě)，模仿的不能說(shuō)完全相同，只能說(shuō)表情一模一樣（最右邊）。
這項(xiàng)研究來(lái)自慕尼黑工業(yè)大學(xué)等機(jī)構(gòu)，他們提出了GaussianAvatars，可用來(lái)創(chuàng)建在表情，姿態(tài)和視角（ viewpoint ）方面完全可控的逼真頭部虛擬（ head avatars）。
- #論文網(wǎng)址：https://arxiv.org/pdf/2312.02069.pdf
- 論文首頁(yè)：https://shenhanqian.github.io/gaussian-avatars
在電腦視覺(jué)和圖形學(xué)領(lǐng)域，創(chuàng)造出能夠動(dòng)態(tài)展現(xiàn)人類虛擬頭部一直是個(gè)具有挑戰(zhàn)性的問(wèn)題。特別是在表現(xiàn)極端面部表情和細(xì)節(jié)方面，例如皺紋和頭髮等細(xì)節(jié)的捕捉相當(dāng)困難，生成的虛擬人物往往會(huì)出現(xiàn)視覺(jué)偽影的問(wèn)題
在過(guò)去的一段時(shí)間裡，神經(jīng)輻射場(chǎng)（NeRF）及其變種已經(jīng)在從多視圖觀測(cè)中重建靜態(tài)場(chǎng)景方面取得了令人印象深刻的成果。隨後的研究擴(kuò)展了這些方法，使得NeRF能夠用於人類客製化場(chǎng)景的動(dòng)態(tài)場(chǎng)景建模。然而，這些方法的一個(gè)缺點(diǎn)是缺乏可控性，因此無(wú)法很好地適應(yīng)新的姿態(tài)和表情
最近出現(xiàn)的「3D高斯噴灑」方法實(shí)現(xiàn)了比NeRF更高的渲染質(zhì)量，可用於即時(shí)視圖合成。然而，此方法不支援重建輸出的動(dòng)畫(huà)
本文提出了 GaussianAvatars，這是基於三維高斯 splats 的動(dòng)態(tài) 3D 人頭表示方法。
具體而言，給定一個(gè) FLAME（對(duì)整個(gè)頭部進(jìn)行建模）網(wǎng)格 ，他們?cè)诿總€(gè)三角形的中心初始化一個(gè) 3D 高斯。當(dāng) FLAME 網(wǎng)格動(dòng)畫(huà)化時(shí)，每個(gè)高斯模型都會(huì)根據(jù)其父三角形進(jìn)行平移、旋轉(zhuǎn)和縮放。然後，3D 高斯在網(wǎng)格頂部形成輻射場(chǎng)，補(bǔ)償網(wǎng)格未準(zhǔn)確對(duì)齊或無(wú)法重現(xiàn)某些視覺(jué)元素的區(qū)域。
為了保持虛擬人物的高度真實(shí)感，本文採(cǎi)用了綁定繼承策略。同時(shí)，本文也研究如何在保持真實(shí)感和穩(wěn)定性之間取得平衡，以實(shí)現(xiàn)虛擬人物的新穎表情和姿態(tài)動(dòng)畫(huà)化。研究結(jié)果顯示，與現(xiàn)有研究相比，GaussianAvatars在新穎視圖渲染和駕駛視訊重現(xiàn)等方面表現(xiàn)出色
##方法簡(jiǎn)介
如下圖2 所示，GaussianAvatars 的輸入是人頭的多視圖視訊記錄。對(duì)於每個(gè)時(shí)間步，GaussianAvatars 使用光度頭部追蹤器（head tracker）將 FLAME 參數(shù)與多視圖觀察和已知相機(jī)參數(shù)相匹配。
FLAME 網(wǎng)格的頂點(diǎn)位置各不相同，但拓樸結(jié)構(gòu)相同，因此研究團(tuán)隊(duì)可以在網(wǎng)格三角形和 3D 高斯splat之間建立一致的連結(jié)。利用可微分的圖塊光柵器（tile rasterizer）將splat渲染成影像。然後，透過(guò)真實(shí)影像監(jiān)督，學(xué)習(xí)逼真的人體頭部頭像
為了獲得最佳質(zhì)量，靜態(tài)場(chǎng)景需要透過(guò)一組自適應(yīng)密度控制操作來(lái)緊湊和修剪高斯splat。為了實(shí)現(xiàn)這一點(diǎn)，研究團(tuán)隊(duì)設(shè)計(jì)了一種綁定繼承策略，使新的高斯點(diǎn)與FLAME網(wǎng)格保持綁定，同時(shí)不破壞三角形和splat之間的連接
實(shí)驗(yàn)結(jié)果
該研究使用新的視角合成技術(shù)來(lái)評(píng)估重建質(zhì)量，並透過(guò)自我複現(xiàn)來(lái)評(píng)估動(dòng)畫(huà)的保真度。下圖3顯示了不同方法之間的定性比較結(jié)果。在新的視角合成方面，所有的方法都能夠產(chǎn)生合理的渲染結(jié)果。但是，透過(guò)仔細(xì)檢查PointAvatar的結(jié)果，可以發(fā)現(xiàn)由於其固定的點(diǎn)大小，會(huì)出現(xiàn)點(diǎn)狀偽影。而採(cǎi)用3D高斯各向異性縮放技術(shù)的GaussianAvatars則能夠緩解這個(gè)問(wèn)題
#我們可以從表1的數(shù)量比較中得到相似的結(jié)論。與其他方法相比，GaussianAvatars在新視圖合成方面表現(xiàn)出色，self-reenactment方面也很出色，在LPIPS方面感知差異明顯降低。需要注意的是，self-reenactment是基於FLAME網(wǎng)格追蹤的，可能無(wú)法完全對(duì)齊目標(biāo)圖像
為了測(cè)試虛擬形象動(dòng)畫(huà)在現(xiàn)實(shí)世界中的表現(xiàn)，研究進(jìn)行了圖4的跨身分再現(xiàn)實(shí)驗(yàn)。結(jié)果顯示，虛擬形象準(zhǔn)確地再現(xiàn)了源演員的眨眼和嘴巴動(dòng)作，呈現(xiàn)出活潑複雜的動(dòng)態(tài)，如皺紋等
##為了驗(yàn)證方法組件的有效性，研究也進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如下圖。
#
以上是五官亂飛，張嘴、瞪眼、挑眉，AI都能模仿到位，影片詐騙要防不住了的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
使用ddrescue在Linux上恢復(fù)數(shù)據(jù)
Mar 20, 2024 pm 01:37 PM
DDREASE是一種用於從檔案或區(qū)塊裝置(如硬碟、SSD、RAM磁碟、CD、DVD和USB儲(chǔ)存裝置)復(fù)原資料的工具。它將資料從一個(gè)區(qū)塊設(shè)備複製到另一個(gè)區(qū)塊設(shè)備，留下?lián)p壞的資料區(qū)塊，只移動(dòng)好的資料區(qū)塊。 ddreasue是一種強(qiáng)大的恢復(fù)工具，完全自動(dòng)化，因?yàn)樗诨謴?fù)操作期間不需要任何干擾。此外，由於有了ddasue地圖文件，它可以隨時(shí)停止和恢復(fù)。 DDREASE的其他主要功能如下：它不會(huì)覆寫(xiě)恢復(fù)的數(shù)據(jù)，但會(huì)在迭代恢復(fù)的情況下填補(bǔ)空白。但是，如果指示工具明確執(zhí)行此操作，則可以將其截?cái)?。將資料從多個(gè)檔案或區(qū)塊還原到單
開(kāi)源！超越ZoeDepth！ DepthFM：快速且精確的單目深度估計(jì)！
Apr 03, 2024 pm 12:04 PM
0.這篇文章乾了啥？提出了DepthFM：一個(gè)多功能且快速的最先進(jìn)的生成式單目深度估計(jì)模型。除了傳統(tǒng)的深度估計(jì)任務(wù)外，DepthFM還展示了在深度修復(fù)等下游任務(wù)中的最先進(jìn)能力。 DepthFM效率高，可以在少數(shù)推理步驟內(nèi)合成深度圖。以下一起來(lái)閱讀這項(xiàng)工作~1.論文資訊標(biāo)題：DepthFM:FastMonocularDepthEstimationwithFlowMatching作者：MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr
iPhone上的蜂窩數(shù)據(jù)網(wǎng)路速度慢：修復(fù)
May 03, 2024 pm 09:01 PM
在iPhone上面臨滯後，緩慢的行動(dòng)數(shù)據(jù)連線？通常，手機(jī)上蜂窩互聯(lián)網(wǎng)的強(qiáng)度取決於幾個(gè)因素，例如區(qū)域、蜂窩網(wǎng)絡(luò)類型、漫遊類型等。您可以採(cǎi)取一些措施來(lái)獲得更快、更可靠的蜂窩網(wǎng)路連線。修復(fù)1–強(qiáng)制重啟iPhone有時(shí)，強(qiáng)制重啟設(shè)備只會(huì)重置許多內(nèi)容，包括蜂窩網(wǎng)路連線。步驟1–只需按一次音量調(diào)高鍵並放開(kāi)即可。接下來(lái)，按降低音量鍵並再次釋放它。步驟2–過(guò)程的下一部分是按住右側(cè)的按鈕。讓iPhone完成重啟。啟用蜂窩數(shù)據(jù)並檢查網(wǎng)路速度。再次檢查修復(fù)2–更改資料模式雖然5G提供了更好的網(wǎng)路速度，但在訊號(hào)較弱
Google狂喜：JAX性能超越Pytorch、TensorFlow！或成GPU推理訓(xùn)練最快選擇
Apr 01, 2024 pm 07:46 PM
谷歌力推的JAX在最近的基準(zhǔn)測(cè)試中表現(xiàn)已經(jīng)超過(guò)Pytorch和TensorFlow，7項(xiàng)指標(biāo)排名第一。而且測(cè)試並不是JAX性能表現(xiàn)最好的TPU上完成的。雖然現(xiàn)在在開(kāi)發(fā)者中，Pytorch依然比Tensorflow更受歡迎。但未來(lái)，也許有更多的大型模型會(huì)基於JAX平臺(tái)進(jìn)行訓(xùn)練和運(yùn)行。模型最近，Keras團(tuán)隊(duì)為三個(gè)後端（TensorFlow、JAX、PyTorch）與原生PyTorch實(shí)作以及搭配TensorFlow的Keras2進(jìn)行了基準(zhǔn)測(cè)試。首先，他們?yōu)樯墒胶头巧墒饺斯ぶ腔廴蝿?wù)選擇了一組主流
特斯拉機(jī)器人進(jìn)廠打工，馬斯克：手的自由度今年將達(dá)到22個(gè)！
May 06, 2024 pm 04:13 PM
特斯拉機(jī)器人Optimus最新影片出爐，已經(jīng)可以在工廠裡打工了。正常速度下，它分揀電池（特斯拉的4680電池）是這樣的：官方還放出了20倍速下的樣子——在小小的「工位」上，揀啊揀啊揀：這次放出的影片亮點(diǎn)之一在於Optimus在廠子裡完成這項(xiàng)工作，是完全自主的，全程沒(méi)有人為的干預(yù)。而且在Optimus的視角之下，它還可以把放歪了的電池重新?lián)炱饋?lái)放置，主打一個(gè)自動(dòng)糾錯(cuò)：對(duì)於Optimus的手，英偉達(dá)科學(xué)家JimFan給出了高度的評(píng)價(jià)：Optimus的手是全球五指機(jī)器人裡最靈巧的之一。它的手不僅有觸覺(jué)
美國(guó)空軍高調(diào)展示首個(gè)AI戰(zhàn)鬥機(jī)！部長(zhǎng)親自試駕全程未乾預(yù)，10萬(wàn)行代碼試飛21次
May 07, 2024 pm 05:00 PM
最近，軍事圈被這個(gè)消息刷屏了：美軍的戰(zhàn)鬥機(jī)，已經(jīng)能由AI完成全自動(dòng)空戰(zhàn)了。是的，就在最近，美軍的AI戰(zhàn)鬥機(jī)首次公開(kāi)，揭開(kāi)了神秘面紗。這架戰(zhàn)鬥機(jī)的全名是可變穩(wěn)定性飛行模擬器測(cè)試飛機(jī)（VISTA），由美空軍部長(zhǎng)親自搭乘，模擬了一對(duì)一的空戰(zhàn)。 5月2日，美國(guó)空軍部長(zhǎng)FrankKendall在Edwards空軍基地駕駛X-62AVISTA升空注意，在一小時(shí)的飛行中，所有飛行動(dòng)作都由AI自主完成！ Kendall表示——在過(guò)去的幾十年中，我們一直在思考自主空對(duì)空作戰(zhàn)的無(wú)限潛力，但它始終顯得遙不可及。然而如今，
超級(jí)智能體生命力覺(jué)醒！可自我更新的AI來(lái)了，媽媽再也不用擔(dān)心資料瓶頸難題
Apr 29, 2024 pm 06:55 PM
哭死啊，全球狂煉大模型，一網(wǎng)路的資料不夠用，根本不夠用。訓(xùn)練模型搞得跟《飢餓遊戲》似的，全球AI研究者，都在苦惱怎麼才能餵飽這群資料大胃王。尤其在多模態(tài)任務(wù)中，這問(wèn)題尤其突出。一籌莫展之際，來(lái)自人大系的初創(chuàng)團(tuán)隊(duì)，用自家的新模型，率先在國(guó)內(nèi)把「模型生成數(shù)據(jù)自己餵自己」變成了現(xiàn)實(shí)。而且還是理解側(cè)和生成側(cè)雙管齊下，兩側(cè)都能產(chǎn)生高品質(zhì)、多模態(tài)的新數(shù)據(jù)，對(duì)模型本身進(jìn)行數(shù)據(jù)反哺。模型是啥？中關(guān)村論壇上剛露面的多模態(tài)大模型Awaker1.0。團(tuán)隊(duì)是誰(shuí)？智子引擎。由人大高瓴人工智慧學(xué)院博士生高一鑷創(chuàng)立，高
阿里7B多模態(tài)文件理解大模型拿下新SOTA
Apr 02, 2024 am 11:31 AM
多模態(tài)文件理解能力新SOTA！阿里mPLUG團(tuán)隊(duì)發(fā)布最新開(kāi)源工作mPLUG-DocOwl1.5，針對(duì)高解析度圖片文字辨識(shí)、通用文件結(jié)構(gòu)理解、指令遵循、外部知識(shí)引入四大挑戰(zhàn)，提出了一系列解決方案。話不多說(shuō)，先來(lái)看效果。複雜結(jié)構(gòu)的圖表一鍵識(shí)別轉(zhuǎn)換為Markdown格式：不同樣式的圖表都可以：更細(xì)節(jié)的文字識(shí)別和定位也能輕鬆搞定：還能對(duì)文檔理解給出詳細(xì)解釋：要知道，“文檔理解”目前是大語(yǔ)言模型實(shí)現(xiàn)落地的一個(gè)重要場(chǎng)景，市面上有許多輔助文檔閱讀的產(chǎn)品，有的主要透過(guò)OCR系統(tǒng)進(jìn)行文字識(shí)別，配合LLM進(jìn)行文字理
