Gemini Embedding：谷歌Gemini AI框架下的多語言文本嵌入模型

對于印地語等印度語系的自然語言處理 (NLP) 任務(wù)（如機器翻譯、問答和信息檢索）而言，詞嵌入至關(guān)重要。這些嵌入捕捉單詞的語義屬性，從而實現(xiàn)更準(zhǔn)確、更注重語境的 NLP 應(yīng)用。鑒于印地語使用者眾多且印度語系數(shù)字內(nèi)容日益增長，高質(zhì)量的嵌入對于提高這些語言的 NLP 性能至關(guān)重要。定制化的嵌入可以特別解決印度語系的獨特語言特征和資源限制問題。新發(fā)布的 Gemini Embedding 模型代表了多語言文本嵌入的重大進(jìn)步，它利用谷歌強大的 Gemini AI 框架，在 100 多種語言中實現(xiàn)了最先進(jìn)的性能。

Gemini Embedding 模型擅長分類、檢索和語義搜索等任務(wù)，提供更高的效率和準(zhǔn)確性。通過支持更大的輸入規(guī)模和更高維度的輸出，Gemini Embedding 提供更豐富的文本表示，使其能夠廣泛應(yīng)用于各種應(yīng)用。

學(xué)習(xí)目標(biāo)

• 了解 Gemini 嵌入及其與 Gemini LLM 的集成。
• 使用 Gemini 嵌入檢索印地語文檔的實踐教程。
• 與 Jina AI 嵌入和 Multilingual-e5-large 的比較分析。
• 對多語言文本檢索能力和應(yīng)用的見解。

*本文作為***數(shù)據(jù)科學(xué)博客馬拉松的一部分發(fā)表。***

目錄

• 什么是 Gemini 嵌入？
• Gemini 嵌入的關(guān)鍵特性
• Gemini 嵌入的模型架構(gòu)
• 與其他多語言嵌入模型的比較
• 使用 Gemini 嵌入進(jìn)行檢索，并與 Jina AI 嵌入和 Multilingual-e5-large 進(jìn)行比較
  • 步驟 1. 安裝必要的庫
  • 步驟 2. 加載數(shù)據(jù)
  • 步驟 3. 對數(shù)據(jù)進(jìn)行分塊
  • 步驟 4. 將數(shù)據(jù)存儲在向量數(shù)據(jù)庫中
  • 步驟 5. 查詢數(shù)據(jù)庫
  • 步驟 6. 與 Jina AI 嵌入進(jìn)行比較
• 嵌入檢索輸出的比較
  • 解釋
• 結(jié)論
• 常見問題

什么是 Gemini 嵌入？

2025 年 3 月，谷歌發(fā)布了一個新的實驗性 Gemini Embedding 文本模型 (gemini-embedding-exp-03-07)，可在 Gemini API 中使用。

該高級嵌入模型源于 Gemini 模型，據(jù)稱繼承了 Gemini 對語言和細(xì)微語境細(xì)微差別的深刻理解，使其能夠廣泛應(yīng)用于各種應(yīng)用。它在 MTEB 多語言排行榜上占據(jù)榜首。

Gemini Embedding 將文本表示為密集向量，其中語義相似的文本輸入映射到向量空間中彼此靠近的向量。目前，它支持 100 多種語言，其嵌入可用于各種任務(wù)，例如檢索和分類。

Gemini 嵌入的關(guān)鍵特性

• 強大的多語言能力: 該模型在 100 多種語言中展現(xiàn)出卓越的性能，不僅在英語等高資源語言中表現(xiàn)出色，而且在阿薩姆語和馬其頓語等低資源語言中也表現(xiàn)出色。
• 處理多達(dá) 8000 個輸入標(biāo)記: 這種強大的能力使模型能夠無縫處理冗長的文檔或復(fù)雜的查詢，而不會截斷，從而以超越許多現(xiàn)有嵌入模型的方式保持上下文和含義。
• 3K 維的輸出維度: 該模型生成的嵌入維度高達(dá) 3072，并支持 768 和 1536 等子維度，以便進(jìn)行特定于任務(wù)的優(yōu)化。
• 令人印象深刻的性能: Gemini Embedding 在海量文本嵌入基準(zhǔn)測試 (MTEB) 中排名第一，平均任務(wù)得分為 68.32，大大超過了其最接近的競爭對手。

Gemini 嵌入的模型架構(gòu)

Gemini Embedding 的核心是基于 Transformer 架構(gòu)，并從 Gemini LLM 初始化。這個基礎(chǔ)為模型提供了對語言結(jié)構(gòu)和語義的深刻理解。該模型使用雙向注意力機制來處理輸入序列，使其在生成嵌入時能夠考慮單詞或短語的完整上下文。

1. 輸入序列 T 由 M（一個具有雙向注意力的 Transformer，從 Gemini 初始化）處理，產(chǎn)生一個標(biāo)記嵌入序列。
2. 為了生成一個表示輸入中所有信息的單個嵌入，應(yīng)用池化函數(shù)。
3. 最后，應(yīng)用線性投影將嵌入縮放至目標(biāo)維度，從而產(chǎn)生最終輸出嵌入。

損失函數(shù): Gemini Embedding 模型使用帶批內(nèi)負(fù)例的噪聲對比估計 (NCE) 損失進(jìn)行訓(xùn)練。確切的損失會根據(jù)訓(xùn)練階段略有不同。一般來說，一個訓(xùn)練示例包括一個查詢、一個正目標(biāo)和（可選）一個難負(fù)目標(biāo)。

訓(xùn)練策略

1. 預(yù)微調(diào): 在此階段，模型在一個包含查詢-目標(biāo)對的大型多樣化數(shù)據(jù)集上進(jìn)行訓(xùn)練。這種曝光調(diào)整大型語言模型的參數(shù)以進(jìn)行編碼任務(wù)，為其適應(yīng)性奠定基礎(chǔ)。
2. 微調(diào): 在第二階段，模型使用包含查詢-正例-難負(fù)例三元組的特定于任務(wù)的數(shù)據(jù)集進(jìn)行微調(diào)。此過程使用較小的批量大小和精心策劃的數(shù)據(jù)集來提高目標(biāo)任務(wù)的性能。

另請閱讀：Gemini Embedding：來自 Gemini 的通用嵌入

與其他多語言嵌入模型的比較

我們將印地語文檔的檢索與新發(fā)布的最新 Gemini 嵌入進(jìn)行比較，然后將其與 Jina AI 嵌入和 Multilingual-e5-large 嵌入進(jìn)行比較。如下表所示，就最大標(biāo)記數(shù)而言，Gemini 嵌入和 Jina AI 嵌入很高，使模型能夠處理長文檔或復(fù)雜的查詢。此外，如下表所示，Gemini 嵌入具有更高的嵌入維度，可以捕捉單詞之間更細(xì)致和更細(xì)微的語義關(guān)系，使模型能夠表示復(fù)雜的語言模式和含義的細(xì)微差別。

使用 Gemini 嵌入進(jìn)行檢索，并與 Jina AI 嵌入和 Multilingual-e5-large 進(jìn)行比較

在以下實踐教程中，我們將印地語文檔的檢索與新發(fā)布的最新 Gemini 嵌入進(jìn)行比較，然后將其與 Jina AI 嵌入和 Multilingual-e5-large 嵌入進(jìn)行比較。

步驟 1. 安裝必要的庫

<code>!pip install langchain-community
!pip install chromadb</code>

步驟 2. 加載數(shù)據(jù)

我們使用來自網(wǎng)站的印地語數(shù)據(jù)來評估 Gemini 嵌入在印地語語言檢索方面的性能。

<code>from langchain_community.document_loaders import WebBaseLoader

loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi")
data = loader.load()</code>

步驟 3. 對數(shù)據(jù)進(jìn)行分塊

下面的代碼使用 RecursiveCharacterTextSplitter 將大型文本文檔拆分成 500 個字符的小塊，沒有重疊。然后，它將此拆分應(yīng)用于 datavariable 并將結(jié)果存儲在 all_splits 中。由于 Gemini Embedding API 的速率限制，我們只使用 10 個拆分。

<code>from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
all_splits = text_splitter.split_documents(data)
all_splits = all_splits[:10]</code>

步驟 4. 將數(shù)據(jù)存儲在向量數(shù)據(jù)庫中

我們首先創(chuàng)建一個名為“GeminiEmbeddingFunction”的類，它有助于查詢 Gemini Embedding API 并返回輸入查詢的嵌入值。然后，我們創(chuàng)建一個名為“create_chroma_db”的函數(shù)，用于在 ChromaDB 中創(chuàng)建一個集合，該集合將存儲數(shù)據(jù)以及嵌入。

<code>import chromadb
from chromadb import Documents, EmbeddingFunction, Embeddings

class GeminiEmbeddingFunction(EmbeddingFunction):
  def __call__(self, input: Documents) -> Embeddings:
    title = "Custom query"  
    return client.models.embed_content(
        model="gemini-embedding-exp-03-07",
        contents=input).embeddings[0].values



def create_chroma_db(documents, name):
  chroma_client = chromadb.Client()
  db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction())
  for i, d in enumerate(documents):
    db.add(
      documents=d.page_content,
      ids=str(i)
    )
  return db

db = create_chroma_db(all_splits, "datab")</code>

步驟 5. 查詢數(shù)據(jù)庫

<code>def get_relevant_passage(query, db):
  passage = db.query(query_texts=[query], n_results=1)['documents'][0][0]

  return passage

passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db)
print(passage)</code>

步驟 6. 與 Jina AI 嵌入進(jìn)行比較

下面的代碼使用 Hugging Face transformer 模型定義了一個自定義嵌入函數(shù)，以及一種處理文本輸入以生成嵌入的方法。

1. 來自 transformers 的 AutoTokenizer 和 AutoModel 用于加載預(yù)訓(xùn)練模型 (jinaai/jina-embeddings-v3)，并從 chromadb 導(dǎo)入 EmbeddingFunction 用于創(chuàng)建自定義嵌入。
2. average_pool 函數(shù)：此函數(shù)通過對模型的隱藏狀態(tài)執(zhí)行池化操作來聚合它們，在考慮注意力掩碼（忽略填充標(biāo)記）的同時對序列長度取平均值。
3. CustomHuggingFace 類：它對文本進(jìn)行標(biāo)記化，將其饋送到模型中，并使用 average_pool 函數(shù)計算嵌入。結(jié)果作為嵌入列表返回。

<code>from transformers import AutoTokenizer, AutoModel
from chromadb import EmbeddingFunction


tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3')
model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3')


# the model returns many hidden states per document so we must aggregate them
def average_pool(last_hidden_states, attention_mask):
    last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None]

class CustomHuggingFace(EmbeddingFunction):
    def __call__(self, texts):
        queries    = [f'query: {text}' for text in texts]         
        batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
        outputs    = model(**batch_dict)        
        embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
        return embeddings.tolist()</code>

查詢

<code>def get_relevant_passage(query, db):
  passage = db.query(query_texts=[query], n_results=1)['documents'][0][0]

  return passage

passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db)
print(passage)</code>

對于選擇Multilingual-e5-large 嵌入，我們只需將標(biāo)記器和模型替換為“intfloat/multilingual-e5-large-instruct”。

嵌入檢索輸出的比較

解釋

從上述印地語輸出中可以看出，使用 Gemini 嵌入，我們從 7 個查詢中得到了 5 個正確的輸出，而使用 Jina AI 嵌入和 Multilingual-e5-large，我們只得到了 3 個正確的響應(yīng)。

這表明，正如 MTEB 基準(zhǔn)測試所反映的那樣，Gemini 嵌入可以很好地執(zhí)行，并且比其他嵌入模型更好地處理印地語等多語言。

結(jié)論

總之，Gemini 嵌入代表了多語言 NLP 的重大進(jìn)步，特別是對于印地語等印度語系語言。憑借其強大的多語言能力、對大型輸入尺寸的支持以及在 MTEB 等基準(zhǔn)測試中的卓越性能，Gemini 在檢索、分類和語義搜索等任務(wù)中表現(xiàn)出色。通過實踐比較可以看出，Gemini 的性能優(yōu)于其他模型，提供更高的準(zhǔn)確性和效率，使其成為促進(jìn)多種語言 NLP 的寶貴工具。

主要收獲

• 印地語系語言詞嵌入的重要性: 高質(zhì)量的嵌入增強了翻譯、問答和檢索等 NLP 任務(wù)，解決了語言挑戰(zhàn)和資源差距問題。
• Gemini Embedding 模型: 谷歌的 Gemini 嵌入利用其 AI 框架進(jìn)行多語言文本處理，涵蓋 100 多種語言，包括低資源語言。
• 關(guān)鍵特性: 支持 8000 個標(biāo)記和 3072 維嵌入，能夠高效處理長文檔和復(fù)雜查詢。
• 令人印象深刻的性能: 在 MTEB 多語言排行榜上排名第一，平均任務(wù)得分為 68.32，展示了其在多語言 NLP 中的強大功能。

本文中顯示的媒體并非 Analytics Vidhya 所有，作者可自行決定使用。

常見問題

Q1. 什么是 Gemini Embedding 模型？答：Gemini Embedding 模型基于谷歌的 Gemini AI，為包括印地語在內(nèi)的 100 多種語言提供頂級多語言文本嵌入。

Q2. 與其他模型相比，Gemini Embedding 的獨特之處是什么？答：Gemini Embedding 在多語言支持方面表現(xiàn)出色，可以處理 8000 個標(biāo)記，并輸出 3072 維，確保在分類、檢索和語義搜索方面的效率。

Q3. Gemini Embedding 在多語言任務(wù)中的表現(xiàn)如何？答：Gemini Embedding 在英語等高資源語言和阿薩姆語、馬其頓語等低資源語言中的表現(xiàn)都很好。它在 MTEB 多語言排行榜上排名第一，展示了其強大的多語言能力。

Q4. Gemini Embedding 模型的架構(gòu)是什么？答：該模型從 Gemini LLM 初始化，使用具有雙向注意力的 Transformer 架構(gòu)來生成高質(zhì)量的文本嵌入，捕捉上下文和含義。

Q5. Gemini Embedding 模型是如何訓(xùn)練的？答：Gemini Embedding 使用帶批內(nèi)負(fù)例的噪聲對比估計 (NCE) 損失進(jìn)行訓(xùn)練。它經(jīng)歷了兩個訓(xùn)練階段：在一個大型數(shù)據(jù)集上進(jìn)行預(yù)微調(diào)，并在特定于任務(wù)的數(shù)據(jù)集上進(jìn)行微調(diào)，以提高 NLP 性能。

以上是與多語言E5-Large和Jina嵌入雙子座的比較的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！