近期，谷歌和OpenAI發(fā)布的全新圖像生成模型引發(fā)廣泛關(guān)注，其核心技術(shù)與以往模型截然不同。 Ethan Mollick在One Useful Thing發(fā)表的文章深入探討了這些新模型的工作機(jī)制及其對(duì)人類用戶的影響。本文將對(duì)Mollick的觀點(diǎn)進(jìn)行解讀。

多模態(tài)圖像生成的潛力

Mollick指出，傳統(tǒng)的圖像生成系統(tǒng)是多個(gè)模型協(xié)同工作的產(chǎn)物，並非單一模型完成所有任務(wù)。

他寫道：“以往，大型語言模型（LLM）生成圖像並非由LLM直接完成。AI會(huì)將文本提示發(fā)送給獨(dú)立的圖像生成工具，然後顯示結(jié)果。AI負(fù)責(zé)創(chuàng)建文本提示，而另一個(gè)能力較弱的系統(tǒng)負(fù)責(zé)生成圖像?！?/p>

擴(kuò)散模型已成過去式

舊模型主要依賴擴(kuò)散模型工作。擴(kuò)散模型的工作原理是：將圖像引入噪聲，進(jìn)行抽象處理，然後再去除噪聲，生成與計(jì)算機(jī)已知圖像庫中匹配提示的圖像。

然而，這種方法的局限性在於：生成的圖像缺乏模型自身的推理和判斷，只是對(duì)現(xiàn)有圖像庫的簡(jiǎn)單組合，無法提供有價(jià)值的信息。

多模態(tài)控制的優(yōu)勢(shì)

如今，多模態(tài)控制技術(shù)的出現(xiàn)徹底改變了這一現(xiàn)狀。

Mollick舉例說明：提示模型生成“沒有大象的房間，並標(biāo)註原因”。傳統(tǒng)模型會(huì)生成包含大象的圖像，因?yàn)樗鼰o法理解提示的語境。生成的文本也可能毫無意義甚至包含虛構(gòu)字符，因?yàn)槟Ｐ蛯?duì)字母的理解也源於訓(xùn)練數(shù)據(jù)。

而多模態(tài)模型則能精準(zhǔn)地生成符合要求的圖像，並添加註釋，例如“門太小”，解釋為什麼房間裡沒有大象。

傳統(tǒng)模型的提示挑戰(zhàn)

傳統(tǒng)模型的一個(gè)顯著缺陷是：一旦要求其排除某個(gè)元素，它反而會(huì)包含該元素，因?yàn)樗鼰o法理解指令。此外，每次修改或調(diào)整都會(huì)改變圖像的基本結(jié)構(gòu)。例如，修改人物的帽子可能會(huì)導(dǎo)致人物形象完全改變。

多模態(tài)圖像生成模型則能夠在保留原有結(jié)果的基礎(chǔ)上進(jìn)行細(xì)微調(diào)整。

環(huán)境的保持

Mollick還展示了另一個(gè)例子：一隻手裡拿著特定物品的水獺，然後在不同環(huán)境和不同風(fēng)格的背景下出現(xiàn)。這展現(xiàn)了多模態(tài)圖像生成器的精細(xì)整合能力。

完整的演示文稿

Mollick還展示瞭如何利用多模態(tài)模型設(shè)計(jì)完整的演示文稿，例如關(guān)於鱷梨醬的推介。只需提供簡(jiǎn)單的指令，模型就能搜索互聯(lián)網(wǎng)上的相關(guān)信息，進(jìn)行整合，並生成最終結(jié)果。

正如Mollick所言，這將迅速導(dǎo)致許多人類工作被取代。我們需要認(rèn)真考慮建立相應(yīng)的框架。

以上是Mollick介紹了新圖像生成模型的含義的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！