靈感來源

最近刷視頻的時候，常常刷到爽文小說通過AI繪圖生成圖片后剪輯而成的視頻，而且這些視頻很能吸引住自己，并且也有不錯的點贊量和播放量，剛好自己最近在學(xué)習(xí)comfyUI，想通過ComfyUI進(jìn)行爽文小說文生圖的嘗試

項目案例

???

圖生圖的基礎(chǔ)嘗試

首先，我們先再次了解一下基礎(chǔ)文生圖的工作流，其由以下6個組件組成，每個組件各有其功能，具體的在上面的項目中有進(jìn)行詳細(xì)的解釋

那如何將生成的圖片進(jìn)行再生成呢？其實很簡單，只需要將生成的圖片，再放入到新的一個K采樣器中，即可進(jìn)行圖片的再生成，那么我們可以來看看下面這個基礎(chǔ)的圖生圖工作流

大家對比以下基礎(chǔ)的文生圖流程后會發(fā)現(xiàn)，這個圖生圖其實是由兩個文生圖的工作流拼接而成的，但為什么后面那個是圖生圖而不是文生圖呢？差別就在于，上面的圖片是通過Empty Latent Image組件，將一個空的圖片傳到K采樣器上進(jìn)行生成，而下面的則是通過將生成的圖片傳到K采樣器中，進(jìn)行進(jìn)一步的生成，因此可以達(dá)到圖生圖的效果。

如果你按照上面的工作流制作出了相應(yīng)的AI繪畫，那么恭喜你，成功實現(xiàn)了基礎(chǔ)的圖生圖。

圖生圖進(jìn)階：傳統(tǒng)模型高清放大

在做完上面的基礎(chǔ)的圖生圖后，有些同學(xué)會覺得基礎(chǔ)的圖生圖好像還是不能滿足自己的需求，有些時候生成的兩張照片長得基本一樣，甚至有些時候會出現(xiàn)圖片變花的情況，那么基于此，我們來通過傳統(tǒng)模型放大和Latent放大，來實現(xiàn)圖片的高清放大。

下面我們教大家如何實現(xiàn)傳統(tǒng)模型高清放大。

首先，我們在基礎(chǔ)繪畫流的基礎(chǔ)上，添加一個Upscale Latent組件，通過：右擊空白位置——》Add Node——》Latent——》Upscale Latent來創(chuàng)建。在此基礎(chǔ)上，我們再創(chuàng)建基礎(chǔ)繪畫流的后半部分，即K采樣器（Ksampler），解碼器（VAE Decade），以及保存圖像的Save Image。

創(chuàng)建完后，大家只需要選好自己想要的模型，寫好提示詞，然后點擊右邊的添加提示詞隊列（Queue Prompt），即可進(jìn)行AI繪畫了。

在小伙伴們的嘗試中，可能會出現(xiàn)生成圖片多了很多不想要的細(xì)節(jié)，以及人物多指等情況。那如何避免呢？接下來，我們來進(jìn)行Latent放大的學(xué)習(xí)。

圖生圖進(jìn)階：Latent模型放大

首先，大家可以參考基礎(chǔ)的繪畫流和上面的傳統(tǒng)放大，其思路都是一樣的，都是在基礎(chǔ)的繪畫流的K采樣器的輸出后面進(jìn)行修改和添加，從而實現(xiàn)圖生圖的效果。

在添加的組件中，主要由一個解碼器，一個由放大模型加載器和使用放大模型的節(jié)點組成的放大部分，一個常規(guī)圖像放大（Upscale Image）中進(jìn)行模型的放大，以及最后由VAE編碼器、K采樣器、解碼器和圖像保存組成的基礎(chǔ)繪畫流的后半部分組成。

那其是怎樣一個繪畫流程呢？首先，將第一次采樣的結(jié)果分成兩路，一路直接傳到解碼器中解碼并保存圖像，另一個則是現(xiàn)進(jìn)行解碼，然后傳入到模型放大部分，先由放大模型加載器中選擇放大的模型，然后再將大模型和解碼后的數(shù)據(jù)傳入到放大模型節(jié)點中生成一個草圖數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)行編碼傳到Upscale中來選擇生成圖像的參數(shù)，最后和傳統(tǒng)流相似，通過一個采樣器再進(jìn)行一次采樣，將輸出的值進(jìn)行解碼，然后保存成圖像進(jìn)行呈現(xiàn)。

以下是組件的構(gòu)建方式：

Load Upscale Modlel：Add Node——》loaders——》Load Upscale Model

Upscale Image(using model)：Add Node——》Image——》Upscaling——》Upscale Image(using model)

Upscale Image：Add Node——》Image——》Upscaling——》Upscale Image

VAR Encode：Add Node——》_for_testing——》VAR Encode

VAE Decode、KSamler、Save Image：可以看上面的另一個精品項目

放大模型下載的提取碼：https://pan.baidu.com/s/1JYb3n2eWSNOlrr2Qxpv4cw?pwd=iti8

在線體驗圖生圖繪畫工作流

大家可以在AI Studio主頁的應(yīng)用里點擊ComfyUI，然后在里面啟動實例進(jìn)行體驗，但小伙伴們要注意了，在線體驗需要A幣，需要進(jìn)行充值哈，同時，項目啟動的時間會比較長，注意耐心等待哈。

ComfyUI在線體驗網(wǎng)址：https://aistudio.baidu.com/community/app/106043/selectedCourses?source=appCenter

如果想體驗該項目中的繪畫流，那需要在啟動項目后，將里面的組件清空，在按照上面的流程添加連接后，即可體驗圖生圖的繪畫流。

當(dāng)然，小伙伴們?nèi)绻信d趣，也可以體驗以下官方的圖生圖繪畫流，只需要在啟動實例的時候選擇圖生圖的實例進(jìn)行啟動即可，里面可以將導(dǎo)入的圖片通過模型進(jìn)行繪畫。