Molmo：高品質(zhì)のオープンデータセットに基づいて構(gòu)築されたオープンビジョン言語(yǔ)モデル

獨(dú)自の大規(guī)模な視覚言語(yǔ)モデル（VLM）の優(yōu)位性は、オープンな研究を妨げます。オープンソースの代替品は、多くの場(chǎng)合、獨(dú)自のモデルによって生成された合成データに依存し、真の開(kāi)放性を制限します。洗練されたVLMであるMolmoは、オープンデータセットと獨(dú)立したトレーニング方法論でのみ訓(xùn)練された高品質(zhì)のマルチモーダル機(jī)能を活用することにより、これに対処します。

付隨するPIXMOデータセットは、Molmoの成功に不可欠です。人間の音聲注釈を使用して詳細(xì)な畫像キャプションペアを作成することにより、データアクセシビリティの制限を克服します。このアプローチは、合成データセットに固有の制限を回避し、豊富で高密度のキャプションを生成します。

Molmoのアーキテクチャは、標(biāo)準(zhǔn)的なマルチモーダルデザインです。言語(yǔ)モデルと組み合わせたビジョンエンコーダーです。

主な機(jī)能：

• PIXMOデータセット： Molmoのパフォーマンスの基礎(chǔ)。
• 建築：
  • 畫像プレプロセッサ：マルチスケールのマルチクラップ畫像セクションを生成します。
  • Vision Encoder： OpenaiのVIT-L/14 336PXクリップモデル（優(yōu)れたマルチクラップ処理のためにSiglipよりも選択）。
  • コネクタ： MLPベースの投影は、畫像の埋め込みを言語(yǔ)モデルの寸法に合わせます。
  • デコーダーのみのトランスLLM：さまざまなLLM（Olmo、Olmoe、QWen2、Mistral）で柔軟性を提供します。
• トレーニング： 2段階のプロセス：
  • マルチモーダルプリトレーニング： PIXMO-CAPを使用したキャプション生成に焦點(diǎn)を當(dāng)てています。単一段階のアプローチは、マルチステージ法の複雑さを回避します。
  • 監(jiān)視された微調(diào)整：多様なタスクとデータセット（pixmo-as??kmodelanything、pixmo-pointsなど）を利用します。高品質(zhì)のデータに依存して、RLHFの必要性を排除します。
• 評(píng)価： 11のベンチマークデータセットと人間の好みの研究にわたる?yún)椕埭圣匹攻?。結(jié)果は、Molmoが獨(dú)自のモデルと競(jìng)爭(zhēng)力があり、時(shí)にはそれを超えることを示しています。

データセットの詳細(xì)：

• PIXMO-CAP： 60?90秒の音聲説明から詳細(xì)なキャプションを備えた712Kを超える畫像。
• pixmo-as??kmodelanything：畫像ベースの質(zhì)問(wèn)回答ペア。
• Pixmo-Points：空間理解のためのポイントベースの注釈。
• その他のデータセット： pixmo-crocks、pixmo-docs、pixmo-capqa。

建築のディープダイブ：

マルチスケールのマルチクラップ畫像処理により、モデルの畫像コンテキストの理解が向上します。 Siglipを介したクリップの選択は、高解像度のマルチクラップデータの優(yōu)れた性能によって正當(dāng)化されます。 MLPコネクタとプーリング層は、次元を効率的に管理し、ビジョンコンポーネントと言語(yǔ)コンポーネント間の効果的なコミュニケーションを確保します。デコーダーのみのトランスLLMは、適応可能なモデルサイズとパフォーマンスを可能にします。

高品質(zhì)のデータに燃料を供給された単一ステージの事前トレーニングは、効率的かつ効果的であることが証明されています。その後の多様なタスクに関する監(jiān)視された微調(diào)整は、モデルの機(jī)能をさらに洗練します。 RLHFの欠如は、PIXMOデータセットの豊かさを活用する意図的な選択です。

ベンチマークの比較は、Llava、QWEN2-VL、Paligemmaを含む他のVLMに対するMolmoのパフォーマンスを強(qiáng)調(diào)し、競(jìng)爭(zhēng)力を示しています。人間の好みテストは、ユーザーフレンドリーをさらに検証します。

実踐的な例（省略）：

Colab Notebookを使用したコード例を含む詳細(xì)な実踐ガイドは、モデルをロードし、畫像を処理し、出力を生成する方法を示しています。この例は、Molmoの適応性を紹介し、畫像から構(gòu)造化された情報(bào)を抽出する方法を示しています。パッチに分割して、大規(guī)模で複雑な畫像を処理するための手法も検討されています。

結(jié)論：

Molmoは、オープンソースVLMの大きな進(jìn)歩を表しています。高品質(zhì)のオープンデータセット、効率的なトレーニング、柔軟なアーキテクチャへのコミットメントは、幅広いビジョン言語(yǔ)タスクの強(qiáng)力で多用途のツールとして位置づけています。詳細(xì)な説明と実踐的な例は、その能力の包括的な理解を提供します。

よくある質(zhì)問(wèn)（省略）：

• Clip vs. Siglip： Clipのマルチクリップの高解像度畫像の優(yōu)れた処理が、その選択の主な理由です。
• データセットの利點(diǎn)： PIXMOのヒトではないデータは、合成データセットと比較して、より豊かで自然な視覚的理解を提供します。
• カスタマイズ： Molmoの柔軟性により、カスタマイズされたプロンプトを介してさまざまなタスクと入力タイプへの適応が可能になります。

以上が実踐的な実験を使用したディープダイブモルモとPIXMOの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。