>從賬單收據(jù)中提取和分類費(fèi)用。

>執(zhí)行光學(xué)特徵識別（OCR）以檢索關(guān)鍵信息。
• >根據(jù)提供的圖像總結(jié)支出。
>我們的重點(diǎn)是構(gòu)建財(cái)務(wù)見解工具，但您可以使用此博客中所學(xué)的知識來探索其他Paligemma 2 Mix的用例，例如圖像細(xì)分，對象檢測和問題答案。
• >
什麼是paligemma 2混合？

>

>

>圖中使用的圖像的來源：google

paligemma 2混合模型設(shè)計(jì)用於：>

>對象檢測和分割：它在圖像中標(biāo)識，標(biāo)籤和片段對象進(jìn)行結(jié)構(gòu)化分析。
>多語言支持：該模型還可以以多種語言以全局應(yīng)用程序?yàn)槲谋旧珊屠斫狻?
• >您可以在官方發(fā)行文章中找到有關(guān)Paligemma 2混合模型的更多信息。?
• 項(xiàng)目概述：Bill Scanner和Paligemma 2 Mix
的支出分析儀
• >讓我們概述我們要採取的主要步驟：
  1. 加載並準(zhǔn)備數(shù)據(jù)集：該過程是從加載和準(zhǔn)備收據(jù)圖像作為輸入開始的。
  。
  2. >初始化paligemma 2混合模型：我們配置並加載用於處理視覺語言任務(wù)的模型。
  3. >進(jìn)程輸入圖像：然後，將圖像轉(zhuǎn)換為適當(dāng)?shù)母袷剑≧GB），並準(zhǔn)備它們進(jìn)行分析。
  4. 提取關(guān)鍵信息：執(zhí)行光學(xué)特徵識別（OCR）以檢索總量。
  >對費(fèi)用進(jìn)行分類：將購買分為雜貨，服裝，電子產(chǎn)品等類別。
  5. >
  生成支出見解：我們總結(jié)了分類的費(fèi)用並生成支出分配圖。
  >構(gòu)建一個交互式gradio接口：最後，我們創(chuàng)建一個UI，用戶可以在其中上傳多個賬單，提取數(shù)據(jù)並以視覺上的方式分析支出。
  >步驟1：先決條件
  >在開始之前，讓我們確保我們安裝了以下工具和庫：
  python 3.8
  • >火炬
  • 變形金剛
  • pil
  • matplotlib
  • gradio
  運(yùn)行以下命令以安裝必要的依賴項(xiàng)：
  >
  一旦安裝了上述依賴項(xiàng)，請運(yùn)行以下導(dǎo)入命令：>

  pip install gradio -U bitsandbytes -U transformers -q

  >步驟2：模型初始化

  import gradio as gr
  import torch
  import pandas as pd
  import matplotlib.pyplot as plt
  from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor, BitsAndBytesConfig
  from transformers import BitsAndBytesConfig
  from PIL import Image
  import re

  >我們使用量化配置並加載Paligemma 2混合模型以優(yōu)化性能。對於此演示，我們將使用448 x 448輸入圖像分辨率的10B參數(shù)模型。您需要至少具有40GB內(nèi)存（COLAB配置）的T4 GPU來運(yùn)行此模型。?

  > bitsandbytes量化有助於減少記憶使用量的同時保持性能，從而可以在有限的GPU資源上運(yùn)行大型模型。在此實(shí)現(xiàn)中，我們使用4位量化來進(jìn)一步優(yōu)化內(nèi)存效率。

  >我們通過傳遞模型ID和量化配置，使用來自變形金剛庫的PaligemmaforCongengergeneration類加載模型。同樣，我們加載處理器，該處理器將輸入預(yù)處理到張量中之前，然後將其傳遞給模型。

  device = "cuda" if torch.cuda.is_available() else "cpu"
  # Model setup
  model_id = "google/paligemma2-10b-mix-448" 
  bnb_config = BitsAndBytesConfig(
      load_in_8bit=True,  # Change to load_in_4bit=True for even lower memory usage
      llm_int8_threshold=6.0,
  )
  
  # Load model with quantization
  model = PaliGemmaForConditionalGeneration.from_pretrained(
      model_id, quantization_config=bnb_config
  ).eval()
  
  # Load processor
  processor = PaliGemmaProcessor.from_pretrained(model_id)
  # Print success message
  print("Model and processor loaded successfully!")

  步驟3：圖像處理
  >裝載模型後，我們將圖像傳遞到模型之前對圖像進(jìn)行處理以維護(hù)圖像格式的兼容性和增益均勻性。我們將圖像轉(zhuǎn)換為RGB格式：

  現(xiàn)在，我們的圖像已準(zhǔn)備好推理。

  >

  >步驟4：推理使用paligemma

  def ensure_rgb(image: Image.Image) -> Image.Image:
      if image.mode != "RGB":
          image = image.convert("RGB")
      return image

  >現(xiàn)在，我們設(shè)置了用於使用模型運(yùn)行推斷的主要功能。此功能將帶有輸入圖像和問題，將它們整合到提示中，然後通過處理器將它們傳遞給模型。
  >步驟5：提取密鑰信息
  >現(xiàn)在我們已經(jīng)準(zhǔn)備好主函數(shù)，我們將下一個從圖像中提取關(guān)鍵參數(shù) - 在我們的情況下，這些是總金額和商品類別。

  pip install gradio -U bitsandbytes -U transformers -q

  > extract_total_amount（）函數(shù)處理圖像以使用OCR從收據(jù)中提取總量。它構(gòu)建了一個查詢（問題），指示模型僅提取數(shù)值值，然後調(diào)用ask_model（）函數(shù)以生成模型的響應(yīng)。?

  import gradio as gr
  import torch
  import pandas as pd
  import matplotlib.pyplot as plt
  from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor, BitsAndBytesConfig
  from transformers import BitsAndBytesConfig
  from PIL import Image
  import re

  步驟6：分析信息

我們已經(jīng)準(zhǔn)備好所有關(guān)鍵功能，所以讓我們分析輸出。 >

>上面的功能創(chuàng)建了一個餅圖，以可視化不同類別的支出分佈。如果不存在有效的支出數(shù)據(jù)，它將生成一個空白的圖形，並帶有表示“無支出數(shù)據(jù)”的消息。否則，它將創(chuàng)建帶有類別標(biāo)籤和百分比值的餅圖，確保比例且良好的可視化。

device = "cuda" if torch.cuda.is_available() else "cpu"
# Model setup
model_id = "google/paligemma2-10b-mix-448" 
bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,  # Change to load_in_4bit=True for even lower memory usage
    llm_int8_threshold=6.0,
)

# Load model with quantization
model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=bnb_config
).eval()

# Load processor
processor = PaliGemmaProcessor.from_pretrained(model_id)
# Print success message
print("Model and processor loaded successfully!")

我們通常有多個賬單要分析，因此讓我們創(chuàng)建一個函數(shù)來同時處理所有賬單。

用於一次分析多個賬單，我們執(zhí)行以下步驟：>

初始化存儲：我們創(chuàng)建用於存儲結(jié)果和圖像的列表，將total_spending設(shè)置為0，並為類別總計(jì)定義字典。

def ensure_rgb(image: Image.Image) -> Image.Image:
    if image.mode != "RGB":
        image = image.convert("RGB")
    return image

1. 打開並將圖像轉(zhuǎn)換為rgb。
2. >將圖像附加到列表中。

• 在收據(jù)中對商品進(jìn)行分類。
• 更新總支出和類別的總計(jì)。
• >將提取的數(shù)據(jù)存儲在結(jié)果列表中。
• 生成洞察力：我們創(chuàng)建一個支出分配餅圖以及總支出的摘要。
• 返回結(jié)果：最後，我們返回圖像列表，帳單摘要的數(shù)據(jù)框架，總支出摘要和支出圖表。

3. >現(xiàn)在，我們已經(jīng)制定了所有關(guān)鍵邏輯函數(shù)。接下來，我們致力於使用Gradio構(gòu)建Interactive UI。
4. >上面的代碼創(chuàng)建一個結(jié)構(gòu)化的gradio ui，其中具有用於多個圖像的文件上載程序，並為觸發(fā)處理。提交後，上傳帳單圖像顯示在畫廊中，提取的數(shù)據(jù)顯示在表中，總支出總結(jié)在文本中，並生成了支出分配餅圖。?

該功能將用戶輸入連接到process_multiple_bills（）函數(shù)，以確保無縫數(shù)據(jù)提取和可視化。最後，demo.launch（）函數(shù)啟動了用於實(shí)時互動的Gradio應(yīng)用程序。

>



>我還嘗試了兩個基於圖像的賬單（亞馬遜購物發(fā)票）的演示，並得到以下結(jié)果。

注意：VLMS發(fā)現(xiàn)很難提取數(shù)字，這有時可能導(dǎo)致結(jié)果不正確。例如，它提取了以下第二賬單的錯誤總金額。這是可以使用較大型號或簡單地對現(xiàn)有模型進(jìn)行微調(diào)來糾正。

>





結(jié)論

在本教程中，我們使用Paligemma 2 Mix構(gòu)建了一個AI驅(qū)動的多個Bill Scanner，這可以幫助我們從收據(jù)中提取和分類支出。我們使用Paligemma 2 Mix的視覺語言功能來進(jìn)行OCR和分類，以毫不費(fèi)力地分析支出見解。我鼓勵您將本教程適應(yīng)您自己的用例。?