Ein Bild wird in 10 Millisekunden generiert, und 6.000 Bilder werden in 1 Minute generiert. Was ist das Konzept?

Im Bild unten k?nnen Sie die Superkraft der KI tief spüren.

Bilder

Selbst wenn Sie weiterhin neue Elemente zu den durch die zweidimensionalen M?dchenbilder generierten Eingabeaufforderungen hinzufügen, blitzen die Bild?nderungen verschiedener Stilrichtungen sofort auf.

Bilder

Eine solch erstaunliche Bilderzeugungsgeschwindigkeit in Echtzeit ist das Ergebnis von StreamDiffusion, vorgeschlagen von Forschern der UC Berkeley, der Universit?t Tsukuba, Japan usw.

Bei dieser brandneuen L?sung handelt es sich um einen Diffusionsmodellprozess, der eine interaktive Bilderzeugung in Echtzeit mit über 100 Bildern pro Sekunde erm?glicht.

Bilder

Papieradresse: https://arxiv.org/abs/2312.12491

StreamDiffusion dominierte direkt GitHub, nachdem es Open Source war, und erhielt 3,7.000 Sterne.

Pictures

StreamDiffusion verwendet innovativ eine Stapelverarbeitungsstrategie anstelle der Sequenzentrauschung, die etwa 1,5-mal schneller ist als herk?mmliche Methoden. Darüber hinaus kann der vom Autor vorgeschlagene neue RCFG-Algorithmus (Residuenklassifizierer-freie Führung) 2,05-mal schneller sein als die herk?mmliche klassifikatorfreie Führung.

Das Bemerkenswerteste ist, dass die neue Methode auf der RTX 4090 eine Bild-zu-Bild-Generierungsgeschwindigkeit von 91,07 fps erreichen kann.

Bilder

Zukünftig kann die schnelle Generierung von StreamDiffusion in verschiedenen Szenarien wie dem Metaversum, der Wiedergabe von Videospielgrafiken und dem Live-Video-Streaming die hohen Durchsatzanforderungen dieser Anwendungen erfüllen.

Insbesondere die Bilderzeugung in Echtzeit kann leistungsstarke Bearbeitungs- und Kreativfunktionen für diejenigen bieten, die in der Spieleentwicklung und Videowiedergabe arbeiten.

Bilder

Speziell für die Echtzeit-Bilderzeugung entwickelt

Derzeit erfordert die Anwendung von Diffusionsmodellen in verschiedenen Bereichen Diffusionspipelines mit hohem Durchsatz und geringer Latenz, um die Effizienz der Mensch-Computer-Interaktion sicherzustellen

Ein typisches Beispiel ist die Verwendung des Diffusionsmodells zur Erstellung eines virtuellen Charakters VTuber, der reibungslos auf Benutzereingaben reagieren kann.

Bilder

Um den hohen Durchsatz und die Echtzeit-Interaktionsf?higkeiten zu verbessern, konzentriert sich die aktuelle Forschungsrichtung haupts?chlich auf die Reduzierung der Anzahl der Entrauschungsiterationen, beispielsweise von 50 Iterationen auf mehrere oder sogar eins.

Eine g?ngige Strategie besteht darin, das mehrstufige Diffusionsmodell in mehrere Schritte zu verfeinern und den Diffusionsprozess mithilfe von ODEs zu rekonstruieren. Zur Verbesserung der Effizienz wurden auch Diffusionsmodelle quantifiziert.

In der neuesten Arbeit gingen die Forscher von der orthogonalen Richtung aus und stellten StreamDiffusion vor – eine Echtzeit-Diffusionspipeline, die für einen hohen Durchsatz der interaktiven Bilderzeugung ausgelegt ist.

Bestehende Modellentwurfsarbeiten k?nnen in StreamDiffusion integriert werden und gleichzeitig N-stufige Rauschunterdrückungs-Diffusionsmodelle verwenden, um einen hohen Durchsatz aufrechtzuerhalten und Benutzern flexiblere Optionen zu bieten

Bilder

Bildgenerierung in Echtzeit｜Erste und zweite Spalte: Beispiele für KI-gestütztes Echtzeitzeichnen, dritte Spalte: Echtzeit-Rendering von 2D-Illustrationen aus 3D-Avataren. Spalten 4 und 5: Live-Kamerafilter. Echtzeit-Bildgenerierung |. Die erste und zweite Spalte zeigen Beispiele für KI-gestütztes Echtzeit-Zeichnen, und die dritte Spalte zeigt den Prozess der Generierung von 2D-Illustrationen durch das Rendern von 3D-Avataren in Echtzeit. Die vierte und fünfte Spalte zeigen die Wirkung von Echtzeit-Kamerafiltern

Wie wird es konkret umgesetzt?

StreamDiffusion Architecture

StreamDiffusion ist eine neue Diffusionspipeline zur Erh?hung des Durchsatzes.

Es besteht aus mehreren Schlüsselteilen:

Streaming-Stapelverarbeitungsstrategie, restklassifikatorfreie Führung (RCFG), Eingabe- und Ausgabewarteschlange, stochastischer ?hnlichkeitsfilter (Stochastic Similarity Filter), Vorberechnungsprogramm, Mikro-Autoencoder-Modellbeschleunigung Werkzeuge.

Batch-Entrauschen

Im Diffusionsmodell werden die Entrauschungsschritte nacheinander ausgeführt, was dazu führt, dass sich die Verarbeitungszeit von U-Net proportional zur Anzahl der Schritte erh?ht.

Um jedoch hochaufl?sende Bilder zu erzeugen, muss die Anzahl der Schritte erh?ht werden.

Um das Problem der Erzeugung hoher Latenz bei der interaktiven Diffusion zu l?sen, schlugen Forscher eine Methode namens Stream Batch vor.

Wie in der Abbildung unten gezeigt, wird bei den neuesten Methoden nicht darauf gewartet, dass ein einzelnes Bild vollst?ndig entrauscht wird, bevor das n?chste Eingabebild verarbeitet wird, sondern das n?chste Eingabebild nach jedem Entrauschungsschritt akzeptiert.

Dies bildet einen Entrauschungsstapel, und die Entrauschungsschritte für jedes Bild sind gestaffelt.

Durch die Verkettung dieser verschachtelten Rauschunterdrückungsschritte zu einem Stapel k?nnen Forscher U-Net verwenden, um Stapel aufeinanderfolgender Eingaben effizient zu verarbeiten.

Das im Zeitschritt t kodierte Eingabebild wird im Zeitschritt t+n generiert und dekodiert, wobei n die Anzahl der Entrauschungsschritte ist.

Bilder

Residual Classifier-Free Guidance (RCFG)

Common Classifier-Free Guidance (CFG) ist eine Methode, die einen Vektor zwischen einem unbedingten oder negativen bedingten Term und einem primitiven bedingten Term berechnet . Ein Algorithmus zur Verst?rkung der Wirkung des ursprünglichen Zustands.

Bilder

Dies kann Vorteile bringen, wie z. B. die Verst?rkung der Wirkung der Aufforderung.

Um jedoch negatives bedingtes Restrauschen zu berechnen, muss jede latente Eingabevariable mit einer negativen bedingten Einbettung gepaart und zu jedem Inferenzzeitpunkt an U-Net übergeben werden.

Um dieses Problem zu l?sen, stellt der Autor ein innovatives Restklassifikator-freies Bootstrapping (RCFG) vor.

Diese Methode verwendet virtuelles Restrauschen, um negative Bedingungen anzun?hern, sodass wir nur negatives bedingtes Rauschen berechnen müssen. Dadurch werden die zus?tzlichen U-Net-Inferenz-Rechenkosten bei negativer bedingter Einbettung erheblich reduziert zum Ausgabebild erfordert nicht zu vernachl?ssigende zus?tzliche Verarbeitungszeit.

Um zu vermeiden, dass diese Bildverarbeitungszeiten der Inferenzpipeline des neuronalen Netzwerks hinzugefügt werden, trennen wir die Bildvor- und -nachbearbeitung in verschiedene Threads, um eine parallele Verarbeitung zu erm?glichen.

Darüber hinaus kann es durch die Verwendung der Eingabetensorwarteschlange auch vorübergehende Unterbrechungen im Eingabebild aufgrund von Ger?teausf?llen oder Kommunikationsfehlern bew?ltigen und so ein reibungsloses Streaming erm?glichen.

Bilder

Stochastischer ?hnlichkeitsfilter

Wie unten gezeigt, umfasst die Kerndiffusionsinferenzpipeline VAE und U-Net.

Verbessert die Geschwindigkeit der Inferenzpipeline und erm?glicht die Bildgenerierung in Echtzeit durch Einführung von Rauschunterdrückungs-Batching und vorberechnetem Hinweis-Einbettungs-Cache, Sampled-Noise-Cache und Scheduler-Wert-Cache.

Stochastische ?hnlichkeitsfilterung (SSF) wurde entwickelt, um den GPU-Stromverbrauch zu senken und kann die Diffusionsmodell-Pipeline dynamisch schlie?en, wodurch eine schnelle und effiziente Echtzeitinferenz erreicht wird.

Bild

Vorberechnung

Die U-Net-Architektur erfordert sowohl latente Eingabevariablen als auch bedingte Einbettungen.

Normalerweise wird die bedingte Einbettung von der ?Hinweiseinbettung“ abgeleitet und bleibt zwischen verschiedenen Frames unver?ndert.

Um dies zu optimieren, berechnen Forscher Hinweiseinbettungen vorab und speichern sie im Cache. Im interaktiven oder Streaming-Modus wird dieser vorberechnete Hinweis-Einbettungs-Cache abgerufen.

In U-Net wird die Berechnung von Schlüssel und Wert für jeden Frame auf der Grundlage vorberechneter Hinweiseinbettungen implementiert.

Daher haben die Forscher U-Net so modifiziert, dass diese Schlüssel- und Wertpaare gespeichert werden, wodurch es wiederverwendbar wird . Immer wenn die Eingabeaufforderung aktualisiert wird, berechnen und aktualisieren die Forscher diese Schlüssel-Wert-Paare innerhalb von U-Net neu.

Modellbeschleunigung und winzige Autoencoder

Um die Geschwindigkeit zu optimieren, haben wir das System so konfiguriert, dass es eine statische Stapelgr??e und feste Eingabegr??en (H?he und Breite) verwendet.

Dieser Ansatz stellt sicher, dass der Rechengraph und die Speicherzuweisung für eine bestimmte Eingabegr??e optimiert werden, was zu einer schnelleren Verarbeitung führt.

Das bedeutet jedoch, dass Sie unterschiedliche Stapelgr??en verwenden müssen (einschlie?lich der Stapelgr??e für den Rauschunterdrückungsschritt), wenn Sie Bilder unterschiedlicher Form (d. h. unterschiedlicher H?he und Breite) verarbeiten müssen. Experimentelle Bewertung deutlich verbessert. Dies reduziert die Zeit im Vergleich zu herk?mmlichen U-Net-Schleifen mit aufeinanderfolgenden Rauschunterdrückungsschritten um die H?lfte.

Auch bei Anwendung des neuronalen Modulbeschleunigungstools TensorRT kann die von den Forschern vorgeschlagene Stream-Batch-Verarbeitung die Effizienz der ursprünglichen sequentiellen Diffusionspipeline in verschiedenen Rauschunterdrückungsschritten deutlich verbessern.

Image

Darüber hinaus verglichen die Forscher die neueste Methode mit der von Huggingface Diffusers entwickelten AutoPipeline-ForImage2Image-Pipeline.

Der Vergleich der durchschnittlichen Inferenzzeit ist in Tabelle 1 dargestellt. Die neueste Pipeline zeigt, dass die Geschwindigkeit erheblich verbessert wurde.

Bei Verwendung von TensorRT kann StreamDiffusion eine 13-fache Beschleunigung erreichen, wenn 10 Rauschunterdrückungsschritte ausgeführt werden. Wenn nur ein einziger Rauschunterdrückungsschritt beteiligt ist, kann die Geschwindigkeitssteigerung das 59,6-fache erreichen. Selbst ohne TensorRT ist StreamDiffusion bei Verwendung der Rauschunterdrückung in einem Schritt 29,7-mal schneller als AutoPipeline und verbessert sich bei Verwendung der Rauschunterdrückung in 10 Schritten um das 8,3-fache.

Bilder

Tabelle 2 vergleicht die Inferenzzeit der Str?mungsdiffusionspipeline unter Verwendung von RCFG und regul?rem CFG.

Bei der einstufigen Rauschunterdrückung ist die Inferenzzeit von Onetime-Negative RCFG und traditioneller CFG nahezu gleich.

Die Inferenzzeit von einmaligem RCFG und herk?mmlichem CFG bei der einstufigen Rauschunterdrückung ist also nahezu gleich. Mit zunehmender Anzahl der Entrauschungsschritte wird jedoch die Verbesserung der Inferenzgeschwindigkeit von herk?mmlichem CFG zu RCFG deutlicher.

In Schritt 5 der Rauschunterdrückung ist Self-Negative RCFG 2,05-mal schneller als herk?mmliches CFG und Onetime-Negative RCFG 1,79-mal schneller als herk?mmliches CFG.

Bilder

Bilder

Danach führten die Forscher eine umfassende Bewertung des Energieverbrauchs des vorgeschlagenen SSF durch. Die Ergebnisse dieses Prozesses sind in Abbildung 6 und Abbildung 7 zu sehen.

Diese Abbildungen veranschaulichen das GPU-Nutzungsmuster bei der Anwendung von SSF (Einstellung des Schwellenwerts η auf 0,98) auf das Eingabevideo für Szenen mit periodischen statischen Merkmalen

Eine vergleichende Analyse zeigt, dass die Verwendung von SSF die GPU-Nutzung erheblich reduzieren kann, wenn es sich bei den Eingabebildern haupts?chlich um statische Bilder mit einem hohen Grad an ?hnlichkeit handelt.

Bilder

Ablationsstudie

Der Einfluss verschiedener Module auf die durchschnittliche Inferenzzeit bei verschiedenen Entrauschungsschritten ist in Tabelle 3 dargestellt. Wie man sieht, wird die Reduzierung verschiedener Module im Bild-zu-Bild-Generierungsprozess überprüft. ?? , ohne irgendeine Form von CFG zu verwenden, weist schwache Ausrichtungshinweise auf, insbesondere bei Aspekten wie Farb?nderungen oder dem Hinzufügen nicht vorhandener Elemente, die nicht effizient implementiert werden.

Im Gegensatz dazu verbessert die Verwendung von CFG oder RCFG die M?glichkeit, das Originalbild zu modifizieren, z. B. die Haarfarbe zu ?ndern, K?rpermuster hinzuzufügen oder sogar Objekte wie Brillen einzubeziehen. Insbesondere kann die Verwendung von RCFG den Einfluss von Hinweisen im Vergleich zu Standard-CFG verst?rken.

Bilder

Abschlie?end ist die Qualit?t der Standardergebnisse der Text-zu-Bild-Generierung in Abbildung 11 dargestellt.

Mit dem SD-Turbo-Modell k?nnen Sie in nur einem Schritt hochwertige Bilder wie das in Abbildung 11 gezeigte erzeugen.

Bei Verwendung der von den Forschern vorgeschlagenen Str?mungsdiffusionspipeline und des SD-Turbo-Modells zur Generierung von Bildern in der Umgebung von GPU: RTX 4090, CPU: Core i9-13900K, Betriebssystem: Ubuntu 22.04.3 LTS werden über 100 fps erreicht Es ist m?glich, derart hochwertige Bilder mit hoher Geschwindigkeit zu erstellen.

Bilder

Netizens starteten und eine gro?e Welle zweidimensionaler Damen kam

Der Code des neuesten Projekts ist Open Source und hat 3,7.000 Sterne auf Github gesammelt.

Bilder

Projektadresse: https://github.com/cumulo-autumn/StreamDiffusion

Viele Internetnutzer haben begonnen, ihre eigenen zweidimensionalen Ehefrauen zu generieren.

Bilder

und Echtzeitanimation.

Bilder

Handgezeichnete Erstellung mit 10-facher Geschwindigkeit.

Bilder

Bilder

Bilder

Wer sich für Kinderschuhe interessiert, warum nicht selbst machen.

Referenzen:

http://www.miracleart.cn/link/f9d8bf6b7414e900118caa579ea1b7be

http://www.miracleart.cn/link/75a6e59 9 3aefba4f6cb07254637a6133

Das obige ist der detaillierte Inhalt vonEinführung eines kostenlosen personalisierten Empfehlungssystems für wissenschaftliche Arbeiten – der ?arXiv Customized Platform' der besten visuellen Teams deutscher Universit?ten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!