NVIDIAs bahnbrechender NVLM 1.0: eine multimodale Open-Source-LLM

Dieser Artikel befasst sich mit NVIDIAs kürzlich vorgestellter NVLM 1.0, einer Familie von Open-Source-Modellen (Multimodal gro?er Sprache) (LLMs). Diese Modelle erzielen eine modernste Leistung bei Visionsprachenaufgaben, die mit Top-propriet?ren und offenen Zugriffsmodellen wie LLAMA 3-V 405B und Internvl 2 konkurrieren. Ein bemerkenswertes Merkmal ist NVLM 1.0-Verbesserung nach multimodalem Training, ein signifikanter Vorteil gegenüber dem LLM-Backbone. Die Modellgewichte und der Code sind ?ffentlich verfügbar und f?rdern Community -Beitr?ge.

Nvidia verglichen mit Cross-Attentention-basierten Modellen (z. B. Flamingo) und decoder nur multimodaler LLMs (z. B. LLAVA). Sie nutzten die St?rken und Schw?chen der einzelnen Angaben und entwickelten eine einzigartige Architektur, die sowohl die Trainingseffizienz als auch die multimodalen Argumentationsfunktionen verbessert.

Schlüsselmerkmale von NVLM 1.0:

• Open-Source Multimodal LLM Familie Excelling in Visionsprach- und nur Textaufgaben.
• Drei architektonische Variationen: Nur Decoder (NVLM-D), Cross-Tention (NVLM-X) und ein Hybrid (NVLM-H).
• überlegene Leistung in OCR, multimodales Denken und hochaufl?sende Bildverarbeitung.
• Beh?lt eine starke Leistung von nur Text bei und befasst sich mit einer gemeinsamen Schw?che in multimodalen Modellen.
• Betont hochwertige und vielf?ltige Daten sowohl für die Vorab- als auch für die beaufsichtigte Feinabstimmung.
• Open-Source-Verfügbarkeit von Modellgewichten und Code.

Architektonische Innovationen und Schulungsmethoden:

Um die Einschr?nkungen bei vorhandenen multimodalen LLMs (inkonsistente Architekturvergleiche, hochaufl?sende Bildhandhabung und Nur-Text-Leistungsabbau) zu überwinden, führt NVLM 1.0 drei Architekturen ein: NVLM-D (Decodierer), NVLM-X (Cross-Tention) und NVLM-H (Hybrid). Alle sind auf demselben kuratierten Datensatz geschult und bieten Flexibilit?t und Leistung. Ein neuartiges Fliesenmarkierungsdesign verbessert die hochaufl?sende Bildverarbeitung. Der Schulungsprozess umfasst die Vorbereitung (Einfrieren des Visionscodierers und LLM), gefolgt von überwachten Feinabstimmungen (SFT) sowohl der LLM- als auch der Modalit?t der Modalit?t. Dieser Ansatz, verbunden mit einem Fokus auf die Datenqualit?t über schiere Quantit?t, führt zu einer robusten Leistung in verschiedenen Aufgaben.

Leistung und Benchmarks:

NVLM 1.0 zeigt eine wettbewerbsf?hige oder überlegene Leistung im Vergleich zu führenden Modellen für mehrere Benchmarks. NVLM-D ist in OCR-Aufgaben ausgestattet, NVLM-H. Entscheidend ist, dass alle Modelle nach multimodalem Training nur die Leistung von Text beibehalten oder verbessern.

Zugriff und Verwendung von NVLM-D 72B:

Die bereitgestellten Code-Snippets zeigen, wie Sie auf das NVLM-D 72B-Modell mit der Umarmungsgesicht und der Transformers-Bibliothek zugreifen und das Modell Sharding für eine effiziente Verwendung von Multi-GPU, Bildvorverarbeitung, dynamische Bildflilung und Beispielcode für Text und bildbasierte Konversationen verwenden. Beachten Sie, dass dies ein gro?es Modell ist (150 GB).

Abschluss:

NVLM 1.0 stellt einen signifikanten Sprung nach vorne in multimodalen Open-Source-LLMs dar. Seine überlegene Leistung, architektonische Innovationen und das Engagement für die Zug?nglichkeit von Open-Source machen es zu einer wertvollen Ressource für Forscher und Entwickler. Die Betonung der Datenqualit?t und die Erhaltung von Funktionen nur für Textbeschwerden betrifft die wichtigsten Einschr?nkungen früherer multimodaler Modelle. Die detaillierte Dokumentation und der leicht verfügbare Code erm?glichen weitere Forschung und Entwicklung innerhalb der Community.

Das obige ist der detaillierte Inhalt vonEinführung von NVLM 1.0: NVIDIAs Ansatz für multimodale LLMs. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!