10 ミリ秒で 1 枚の畫(huà)像、1 分で 6,000 枚の畫(huà)像を生成します。コンセプトは何ですか?

下の寫真では、AI のスーパーパワーを深く感じることができます。

畫(huà)像

二次元の女性の畫(huà)像によって生成されたプロンプトに新しい要素を追加し続けると、それぞれの要素がこのスタイルの絵の切り替わりも一瞬です。

寫真

このような驚くべきリアルタイム畫(huà)像生成速度は、カリフォルニア大學(xué)バークレー校の研究者によって提案された StreamDiffusion の結(jié)果です。つくば市などで成果をあげています。

この新しいソリューションは、100fps を超えるリアルタイムのインタラクティブな畫(huà)像生成を可能にする拡散モデル プロセスです。

#寫真

論文アドレス: https://arxiv.org/abs/2312.12491

オープンソース化後、StreamDiffusion は GitHub ランキングを直接獨(dú)占し、3.7,000 個(gè)のスターを獲得しました。

畫(huà)像

StreamDiffusion は、シーケンスのノイズ除去ではなくバッチ処理戦略を革新的に使用しており、従來(lái)の方法よりも約 1.5 倍高速です。さらに、著者が提案した新しい殘差分類子なしガイダンス (RCFG) アルゴリズムは、従來(lái)の分類子なしガイダンスよりも 2.05 倍高速になります。

最も注目すべき點(diǎn)は、新しい方法により、RTX 4090 上で 91.07fps の畫(huà)像間の生成速度を達(dá)成できることです。

畫(huà)像

#將來(lái)的には、StreamDiffusion はメタバース、ビデオ ゲーム グラフィックスのレンダリング、ライブビデオストリーミングこれらのアプリケーションの高スループット要件を満たすことができます。

特に、リアルタイム畫(huà)像生成は、ゲーム開(kāi)発やビデオ レンダリングに攜わる人々に強(qiáng)力な編集機(jī)能と創(chuàng)造的な機(jī)能を提供します。

寫真

リアルタイム畫(huà)像生成専用に設(shè)計(jì)

現(xiàn)在、さまざまな分野で普及モデルが使用されています。アプリケーションには、人間とコンピューターの対話の効率を確保するために、高スループットかつ低遅延の拡散パイプラインが必要です。

典型的な例は、拡散モデルを使用して VTuber 可能な仮想キャラクターを作成することです。ユーザー入力に流動(dòng)的に応答します。

寫真

高スループットとリアルタイムのインタラクション機(jī)能を向上させるために、現(xiàn)在の研究の方向性は主にコスト削減に焦點(diǎn)を當(dāng)てています。反復(fù)のノイズ除去 たとえば、反復(fù)回?cái)?shù)が 50 反復(fù)から數(shù)回、または 1 回にまで減ります。

一般的な戦略は、複數(shù)ステップの拡散モデルをいくつかのステップに洗練し、ODE を使用して拡散プロセスを再構(gòu)築することです。効率を向上させるために、拡散モデルも定量化されています。

最新の論文では、研究者たちは直交方向から始めて、インタラクティブな畫(huà)像生成の高スループット向けに設(shè)計(jì)されたリアルタイム拡散パイプラインである StreamDiffusion を紹介しました。

既存のモデル設(shè)計(jì)作業(yè)を StreamDiffusion と統(tǒng)合しながら、N ステップのノイズ除去拡散モデルを使用して高スループットを維持し、より柔軟なオプションをユーザーに提供できます

寫真

リアルタイム畫(huà)像生成｜1列目、2列目：AIによるリアルタイム描畫(huà)例、3列目：リアルタイムレンダリング3Dアバターの2Dイラストから。列 4 および 5: ライブ カメラ フィルター。 リアルタイム畫(huà)像生成 | 1 列目と 2 列目は AI 支援によるリアルタイム描畫(huà)の例を示し、3 列目は 3D アバターをリアルタイムでレンダリングして 2D イラストを生成するプロセスを示します。 4 番目と 5 番目の列は、リアルタイム カメラ フィルターの効果を示しています。

これはどのように実裝されていますか?

StreamDiffusion アーキテクチャ

StreamDiffusion は、スループットを向上させるために設(shè)計(jì)された新しい拡散パイプラインです。

これは、いくつかの重要な部分で構(gòu)成されています:

ストリーミング バッチ処理戦略、殘差分類子なしガイダンス (RCFG)、入力および出力キュー、確率的類似性フィルター、事前計(jì)算プログラム、マイクロ オートエンコーダー用のランダム モデル アクセラレーション ツール。

バッチノイズ除去

拡散モデルでは、ノイズ除去ステップが順?lè)藢g行されるため、U-Net の処理時(shí)間が増加します。歩數(shù)に比例します。

ただし、高忠実度の畫(huà)像を生成するには、ステップ數(shù)を増やす必要があります。

インタラクティブ拡散における待ち?xí)r間の長(zhǎng)い生成の問(wèn)題を解決するために、研究者はストリーム バッチと呼ばれる方法を提案しました。

下の図に示すように、最新の方法では、単一の畫(huà)像が完全にノイズ除去されるのを待ってから次の入力畫(huà)像を処理するのではなく、各ノイズ除去ステップの後に次の入力を受け入れます。畫(huà)像。

これによりノイズ除去バッチが形成され、各畫(huà)像のノイズ除去ステップが交互に行われます。

これらのインターリーブされたノイズ除去ステップをバッチに連結(jié)することにより、研究者は U-Net を使用して連続入力のバッチを効率的に処理できます。

タイム ステップ t でエンコードされた入力畫(huà)像は、タイム ステップ t n で生成およびデコードされます。ここで、n はノイズ除去ステップの數(shù)です。

図

ガイド付き殘差分類子無(wú)料 (RCFG)

一般的な分類子 -フリー ガイダンス (CFG) は、無(wú)條件または負(fù)の條件項(xiàng)と元の條件項(xiàng)の間でベクトル計(jì)算を?qū)g行する方法です。元の狀態(tài)の効果を高めるアルゴリズム。

寫真

これにより、プロンプトの効果が高まるなどのメリットが得られます。

ただし、負(fù)の條件付き殘留ノイズを計(jì)算するには、各入力潛在変數(shù)を負(fù)の條件付き埋め込みとペアにして、各推論時(shí)間に U-Net に渡す必要があります。

この問(wèn)題を解決するために、著者は革新的な殘差分類子を使用しないブートストラップ (RCFG) を?qū)毪筏蓼筏俊?/span>

この方法では、仮想殘差ノイズが使用されます。負(fù)の條件を近似するため、プロセスの初期段階で負(fù)の條件ノイズを計(jì)算するだけで済みます。これにより、負(fù)の條件を埋め込む際の追加の U-Net 推論計(jì)算コストが大幅に削減されます

#入力キューと出力キュー

#入力イメージをパイプラインで管理可能なテンソル データ形式に変換し、デコードされたテンソルを出力に変換します。畫(huà)像、両方 無(wú)視できない追加の処理時(shí)間が必要です。

これらの畫(huà)像処理時(shí)間がニューラル ネットワーク推論プロセスに追加されるのを避けるために、畫(huà)像の前処理と後処理を異なるスレッドに分離し、それによって並列処理を可能にします。

また、入力テンソルキューを利用することで、機(jī)器の故障や通信エラーによる入力畫(huà)像の一時(shí)的な中斷にも対応でき、スムーズなストリーミングが可能となります。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃寫真＃＃＃＃＃＃

確率的類似性フィルター

次の図は、VAE と U-Net を含む、コアの拡散推論パイプラインを示しています。

ノイズ除去バッチ処理と事前計(jì)算されたヒント埋め込みキャッシュ、サンプリングされたノイズ キャッシュ、およびスケジューラ値キャッシュを?qū)毪工毪长趣摔瑜辍⑼普摜靴ぅ抓楗ぅ螭嗡俣趣蛏悉?、リアルタイムの?huà)像生成が可能になります。

確率的類似性フィルタリング (SSF) は、GPU の消費(fèi)電力を節(jié)約するように設(shè)計(jì)されており、拡散モデルのパイプラインを動(dòng)的に閉じることができるため、高速かつ効率的なリアルタイム推論を?qū)g現(xiàn)できます。

図

事前計(jì)算

U-Net アーキテクチャには両方の入力電位が必要です変數(shù)には條件付きの埋め込みも必要です。

通常、條件付き埋め込みは「ヒント埋め込み」から派生し、異なるフレーム間で変更されません。

これを最適化するために、研究者はヒントの埋め込みを事前計(jì)算し、キャッシュに保存します。インタラクティブ モードまたはストリーミング モードでは、この事前計(jì)算されたヒント埋め込みキャッシュが呼び出されます。

U-Net では、各フレームのキーと値の計(jì)算は、事前に計(jì)算されたヒントの埋め込みに基づいて実裝されます

したがって, 研究者らは、これらのキーと値のペアを再利用できるように保存するように U-Net を修正しました。入力プロンプトが更新されるたびに、研究者は U-Net 內(nèi)でこれらのキーと値のペアを再計(jì)算して更新します。

モデル アクセラレーションと小型オートエンコーダー

速度を最適化するために、靜的なバッチ サイズと固定入力サイズ (高さ) を使用するようにシステムを構(gòu)成しました。と幅)。

このアプローチにより、計(jì)算グラフとメモリ割り當(dāng)てが特定の入力サイズに合わせて最適化され、処理が高速化されます。

ただし、これは、異なる形狀 (つまり、異なる高さと幅) の畫(huà)像を処理する必要がある場(chǎng)合は、異なるバッチ サイズ (ノイズ除去ステップのバッチ サイズを含む) を使用することを意味します。

#実験的評(píng)価

ノイズ除去バッチの定量的評(píng)価

## 図 8 は、バッチのノイズ除去と元の逐次 U 効率のネットの比較を示しています。ループ

研究者らは、バッチノイズ除去戦略を?qū)g裝したところ、処理時(shí)間が大幅に改善されたことを発見(jiàn)しました。これにより、連続したノイズ除去ステップを使用する従來(lái)の U-Net ループと比較して、時(shí)間が半分に短縮されます。

ニューラル モジュール アクセラレーション ツール TensorRT を適用した場(chǎng)合でも、研究者らが提案したストリーミング バッチ処理は、さまざまなノイズ除去ステップで元の逐次拡散パイプラインの効率を大幅に向上させることができます。

寫真

さらに、研究者らは最新の手法を、Huggingface Diffusers が開(kāi)発した AutoPipeline-ForImage2Image パイプラインと比較しました。

平均推論時(shí)間の比較を表 1 に示します。最新のパイプラインでは、速度が大幅に向上していることがわかります。

TensorRT を使用する場(chǎng)合、StreamDiffusion は 10 のノイズ除去ステップを?qū)g行すると 13 倍の高速化を達(dá)成できます。単一ステップのノイズ除去ステップのみを使用する場(chǎng)合、速度向上は 59.6 倍に達(dá)します。

# TensorRT を使用しない場(chǎng)合でも、単一ステップのノイズ除去を使用すると、StreamDiffusion は AutoPipeline より 29.7 倍高速になります。 10 ステップのノイズ除去を使用する場(chǎng)合。

寫真

表 2 は、RCFG と従來(lái)の CFG を使用した流れ拡散パイプラインの推論時(shí)間を比較しています。

シングルステップノイズ除去の場(chǎng)合、Onetime-Negative RCFG と従來(lái)の CFG の推論時(shí)間はほぼ同じです。

つまり、シングルステップノイズ除去中のワンタイム RCFG と従來(lái)の CFG の推論時(shí)間はほぼ同じです。ただし、ノイズ除去ステップの數(shù)が増加するにつれて、従來(lái)の CFG から RCFG への推論速度の向上がより明らかになります。

ノイズ除去の 5 番目のステップでは、セルフネガティブ RCFG は従來(lái)の CFG より 2.05 倍高速で、ワンタイムネガティブ RCFG は従來(lái)の CFG より 1.79 倍高速です。

寫真

寫真

この後、研究者たちはエネルギー消費(fèi)量を包括的に調(diào)査しました。評(píng)価されました。このプロセスの結(jié)果を図 6 と 7 に示します。

これらの図は、定期的な靜的比較分析を含めるために入力ビデオに SSF を適用する (しきい値 eta を 0.98 に設(shè)定する) ことを示しています。特徴的なシーンにおける GPU 使用パターンの分析から、入力畫(huà)像が主に靜止畫(huà)像で類似性が高い場(chǎng)合、SSF を使用すると GPU 使用量が大幅に削減できることがわかります。

寫真

アブレーション研究

異なるモジュールが異なるノイズ除去ステップを?qū)g行します。平均推論時(shí)間を表 3 に示します。見(jiàn)てわかるように、さまざまなモジュールの削減は、イメージからイメージへの生成プロセスで検証されます。

寫真

定性的な結(jié)果

は、殘りのデータを使用して図 10 に示します。分類子ガイダンスなしで生成された畫(huà)像を條件付きで迅速に調(diào)整するための位置合わせプロセス (RCFG)

形式の CFG を使用せずに生成された畫(huà)像には、特に色の変更などの側(cè)面で弱い位置合わせのヒントが表示されます。または、存在しない要素の追加が効率的に実裝されていませんでした。

対照的に、CFG または RCFG を使用すると、髪の色の変更、體のパターンの追加、メガネなどのオブジェクトの追加など、元の畫(huà)像を変更する機(jī)能が強(qiáng)化されます。特に、RCFG を使用すると、標(biāo)準(zhǔn)の CFG と比較してキューのインパクトを高めることができます。

畫(huà)像

最後に、標(biāo)準(zhǔn)的なテキストから畫(huà)像への生成結(jié)果の品質(zhì)を図 11 に示します。

sd-turbo モデルを使用すると、図 11 に示すような高品質(zhì)の畫(huà)像を 1 ステップで生成できます。

GPU:RTX 4090、CPU:Core i9-13900K、OS:Ubuntu 22.04.3 LTSの環(huán)境で、研究者が提案したフロー拡散パイプラインとSD-turboモデルを使用した場(chǎng)合畫(huà)像を生成する場(chǎng)合、100fpsを超える高品質(zhì)の畫(huà)像を生成することが可能です。

畫(huà)像

ネチズンが始めて、二次元女性の大波がやって來(lái)た

コード最新プロジェクトはオープンソースであり、Github で 3.7,000 個(gè)のスターを集めています。

寫真

プロジェクトアドレス: https://github.com/cumulo-autumn/StreamDiffusion

多くのネットユーザーが自分の二次元嫁を生成し始めています。

寫真

リアルタイム アニメーションもあります。

寫真

10 倍速の手描き生成。

#寫真

寫真

##寫真## 子供靴に興味のある方はぜひ作ってみてはいかがでしょうか。

#參考:

http://www.miracleart.cn/link/f9d8bf6b7414e900118caa579ea1b7be

http://www.miracleart.cn/link/75a6e5993aefba4f6cb07254637a6133

以上が無(wú)料のパーソナライズされた學(xué)術(shù)論文推薦システム - ドイツの大學(xué)のトップビジュアルチームの「arXiv カスタマイズされたプラットフォーム」を開(kāi)始の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。