siglip 2：用增強的視覺語言編碼

革命性圖像搜索

>有效而準確的圖像檢索對于數(shù)字資產(chǎn)管理，電子商務(wù)和社交媒體至關(guān)重要。 Google DeepMind的Siglip 2（語言圖像預(yù)訓(xùn)練的Sigmoid損失）是一種尖端的多語言視覺語言編碼器，旨在顯著提高圖像相似性和搜索。 它的創(chuàng)新體系結(jié)構(gòu)增強了語義理解，并在零擊分類和圖像文本檢索中表現(xiàn)出色，在提取有意義的視覺表示方面超過了以前的模型。這是通過統(tǒng)一的培訓(xùn)方法來實現(xiàn)的，該方法結(jié)合了自我監(jiān)督的學(xué)習(xí)和多樣化的數(shù)據(jù)。

關(guān)鍵學(xué)習(xí)點

掌握剪輯模型的基本原理及其在圖像檢索中的作用。
• 了解基于軟馬克斯的損失函數(shù)在區(qū)分微妙的圖像變化中的局限性。
• 探索siglip如何利用sigmoid損失函數(shù)克服這些局限性。
• 分析Siglip 2對其前身的關(guān)鍵改進。
>使用用戶的映像查詢構(gòu)建功能圖像檢索系統(tǒng)。>
• 比較并評估siglip 2與siglip的性能。
• >本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。

> 目錄的

表

對比度語言圖像預(yù)訓(xùn)練（剪輯）

> >夾子的核心組件

>軟磁功能和橫向損失

• 剪輯的限制
  • siglip和sigmoid損失函數(shù)
  • >剪輯的關(guān)鍵差異
• siglip 2：超過siglip
  的進步
  • > siglip 2
  的核心特征
• >使用Siglip 2構(gòu)建圖像檢索系統(tǒng)，并使用Siglip進行比較分析
  實用檢索測試
  > siglip 2模型評估
siglip模型評估
• 結(jié)論
  常見問題
  在 Openai于2021年推出的
  剪輯是一種開創(chuàng)性的多模型，可彌合計算機視覺和自然語言處理。它學(xué)習(xí)圖像和文本的共享表示空間，啟用諸如零攝像圖像分類和圖像文本檢索之類的任務(wù)。
• 了解更多信息：剪輯VIT-L14：零拍攝圖像分類的多模式奇跡
• >夾子的核心組件
剪輯由文本編碼器，圖像編碼器和對比度學(xué)習(xí)機制組成。該機制通過最大化匹配對的相似性并將其最小化以使其對不匹配的對來對齊圖像和文本表示。 培訓(xùn)涉及圖像文本對的大量數(shù)據(jù)集。

>軟磁功能和橫向損失

>剪輯使用編碼器生成用于圖像和文本的嵌入式。 相似得分（DOT產(chǎn)品）測量這些嵌入之間的相似性。 SoftMax函數(shù)會生成每個圖像文本對的概率分布。>

損失函數(shù)旨在最大程度地提高正確配對的相似性得分。 但是，SoftMax歸一化可能會導(dǎo)致問題。

剪輯的限制

難度與類似對的困難：
• SoftMax努力區(qū)分非常相似的圖像文本對之間的細微差異。
二次記憶復(fù)雜性：
• 成對相似性計算導(dǎo)致高內(nèi)存需求。

siglip和Sigmoid損耗函數(shù)

Google的Siglip通過采用基于Sigmoid的損失功能來解決Clip的局限性。這是在每個圖像文本對上獨立運行的，從而提高了效率和準確性。>

>剪輯的關(guān)鍵差異

siglip 2：超過siglip

的進步

siglip 2在零攝像分類，圖像文本檢索和視覺表示提取中顯著勝過siglip。 一個關(guān)鍵特征是其動態(tài)分辨率（NAFLEX）變體。

> siglip 2

的核心特征

Sigmoid＆Locca解碼器

• 文本解碼器增強了接地的字幕和引用表達能力。
改善了細粒度的局部語義：
• 全局本地損失和蒙版的預(yù)測損失可改善本地特征提取。 >自我介紹：
改善模型中的知識轉(zhuǎn)移。
• 更好地適應(yīng)不同的分辨率：
修復(fù)程序和naflex變體處理各種圖像分辨率和寬高比。
• >使用Siglip 2構(gòu)建圖像檢索系統(tǒng)，并使用Siglip

進行比較分析

（本節(jié)將包含Python代碼和用于構(gòu)建圖像檢索系統(tǒng)的解釋，類似于原始系統(tǒng)，但是具有改善的清晰度和可能簡化的簡化代碼。

實用檢索測試

（本節(jié)將包括測試Siglip和Siglip 2模型與示例圖像的結(jié)果，顯示檢索圖像并將其相似性與查詢圖像進行比較。

結(jié)論

Siglip 2 代表了視覺模型的重大進步，提供了出色的圖像檢索功能。 它的效率，準確性和適應(yīng)性使其成為各種應(yīng)用程序中的寶貴工具。

>常見問題

（本節(jié)將基本保持不變，可能會以較小的清晰度的次要重新單詞。 （注意：圖像將按原始輸入中的指定包含。

以上是使用Siglip 2提高圖像搜索功能2的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！