siglip 2：vision-languageの強化されたエンコードを使用した畫像検索の革新

デジタル資産管理、eコマース、ソーシャルメディアにとって、効率的かつ正確な畫像検索が重要です。 Google DeepmindのSiglip 2（言語イメージのプリトレーニングのシグモイド損失）は、畫像の類似性と検索を大幅に改善するように設(shè)計された最先端の多言語ビジョンエンコーダーです。 その革新的なアーキテクチャは、意味のある視覚表現(xiàn)を抽出する際に以前のモデルを上回り、セマンティックの理解を高め、ゼロショット分類と畫像テキスト検索に優(yōu)れています。これは、自己教師の學(xué)習(xí)と多様なデータを組み込んだ統(tǒng)一されたトレーニングアプローチを通じて達成されます。

キー學(xué)習(xí)ポイント

クリップモデルの基礎(chǔ)と畫像の取得におけるその役割を把握します。
微妙な畫像のバリエーションを區(qū)別する際のソフトマックスベースの損失関數(shù)の制限を理解してください。
• これらの制限を克服するためにSiglipがシグモイド損失関數(shù)をどのように利用するかを探ります。
前任者に対するSiglip 2の重要な改善を分析します。
• ユーザーの畫像クエリを使用して機能的な畫像検索システムを構(gòu)築します。
Siglip 2のパフォーマンスをSiglipと比較して評価します。
• この記事は、データサイエンスブログの一部です
• 目次

コントラスト言語イメージ前訓(xùn)練（クリップ） クリップのコアコンポーネント

ソフトマックス関數(shù)とクロスエントロピー損失 クリップの制限

• siglipおよびsigmoid損失関數(shù)
  クリップ
  • との重要な違い
  siglip 2：Siglip
  に対する進歩 Siglip 2のコア機能
• • Siglip 2を使用した畫像検索システムの構(gòu)築とSiglipでの比較分析
  実用的な検索テスト
• Siglip 2モデル評価
  • siglipモデルの評価
• 結(jié)論
• よくある質(zhì)問
  • 対照的な言語イメージ前訓(xùn)練（クリップ）
  2021年にOpenaiによって導(dǎo)入されたClipは、コンピュータービジョンと自然言語処理を橋渡しする畫期的なマルチモーダルモデルです。畫像とテキストの共有表現(xiàn)スペースを?qū)W習(xí)し、ゼロショット畫像分類や畫像テキスト取得などのタスクを有効にします。
• 詳細については：Clip VIT-L14：ゼロショット畫像分類のマルチモーダルマーベル
クリップのコアコンポーネント

クリップは、テキストエンコーダー、畫像エンコーダー、および対照的な學(xué)習(xí)メカニズムで構(gòu)成されています。このメカニズムは、ペアを一致させるための類似性を最大化し、不一致のペアのために最小化することにより、畫像とテキストの表現(xiàn)を整列させます。 トレーニングには、畫像テキストペアの大規(guī)模なデータセットが含まれます

ソフトマックス関數(shù)とクロスエントロピー損失

Clipはエンコーダを使用して、畫像とテキストの埋め込みを生成します。 類似性スコア（DOT製品）は、これらの埋め込みの類似性を測定します。 SoftMax関數(shù)は、各畫像テキストペアの確率分布を生成します。

損失関數(shù)は、正しいペアリングの類似性スコアを最大化することを目的としています。 ただし、ソフトマックスの正規(guī)化は問題につながる可能性があります

クリップの制限

同様のペアでの難易度：

ソフトマックスは、非常に類似した畫像テキストペア間の微妙な違いを區(qū)別するのに苦労しています。

• 二次メモリの複雑さ：ペアワイズの類似性計算は、高いメモリの要求につながります。
• siglipおよびsigmoid喪失関數(shù)
GoogleのSiglipは、シグモイドベースの損失関數(shù)を採用することにより、Clipの制限に対処します。これは、各畫像テキストペアで獨立して動作し、効率と精度が向上します。

クリップ

との重要な違い

siglip 2：Siglip Siglip 2は、ゼロショット分類、畫像テキストの検索、視覚表現(xiàn)抽出でSiglipを大幅に上回ります。 重要な機能は、その動的解像度（NAFLEX）バリアントです Siglip 2のコア機能

シグモイド＆loccaデコーダーを使用したトレーニング：

テキストデコーダーは、接地されたキャプションと參照式の機能を強化します。

• 改善された微調(diào)整された局所セマンティクス：グローバルローカル損失とマスクされた予測損失は、局所的な特徴抽出を改善します。
自己抵抗：
• モデル內(nèi)の知識転送を改善します。
さまざまな解像度に対するより良い適応性：
• FIXRESおよびNAFLEXバリアントは、さまざまな畫像解像度とアスペクト比を処理します。
Siglip 2を使用した畫像検索システムの構(gòu)築とSiglip （このセクションには、オリジナルと同様の畫像検索システムを構(gòu)築するためのPythonコードと説明が含まれていますが、明確さが向上し、潛在的に単純化されたコードが純粋に簡素化されます。 実用的な検索テスト

（このセクションには、Siglip 2モデルとSiglip 2モデルの両方をサンプル畫像でテストし、取得した畫像を表示し、クエリ畫像と類似性を比較した結(jié)果が含まれています。）

結(jié)論

Siglip 2は、ビジョン言語モデルの実質(zhì)的な進歩を表し、優(yōu)れた畫像検索機能を提供します。 その効率、精度、および適応性により、さまざまなアプリケーションにわたる貴重なツールになります。

よくある質(zhì)問

（このセクションはほぼ同じままであり、潛在的に明確にするためにマイナーな言い換えがある可能性があります。）

（注：元の入力で指定されている畫像は含まれます。）

以上がSiglip 2を使用した畫像検索機能の向上の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。