>從賬單收據(jù)中提取和分類費(fèi)用。

>執(zhí)行光學(xué)特征識(shí)別（OCR）以檢索關(guān)鍵信息。
• >根據(jù)提供的圖像總結(jié)支出。
>我們的重點(diǎn)是構(gòu)建財(cái)務(wù)見解工具，但您可以使用此博客中所學(xué)的知識(shí)來(lái)探索其他Paligemma 2 Mix的用例，例如圖像細(xì)分，對(duì)象檢測(cè)和問(wèn)題答案。
• >
什么是paligemma 2混合？

>

>

>圖中使用的圖像的來(lái)源：google

paligemma 2混合模型設(shè)計(jì)用于：>

>對(duì)象檢測(cè)和分割：它在圖像中標(biāo)識(shí)，標(biāo)簽和片段對(duì)象進(jìn)行結(jié)構(gòu)化分析。
>多語(yǔ)言支持：該模型還可以以多種語(yǔ)言以全局應(yīng)用程序?yàn)槲谋旧珊屠斫狻?li>
• >您可以在官方發(fā)行文章中找到有關(guān)Paligemma 2混合模型的更多信息。?
• 項(xiàng)目概述：Bill Scanner和Paligemma 2 Mix
的支出分析儀
• >讓我們概述我們要采取的主要步驟：
  1. 加載并準(zhǔn)備數(shù)據(jù)集：該過(guò)程是從加載和準(zhǔn)備收據(jù)圖像作為輸入開始的。
  。
  2. >初始化paligemma 2混合模型：我們配置并加載用于處理視覺語(yǔ)言任務(wù)的模型。
  3. >進(jìn)程輸入圖像：然后，將圖像轉(zhuǎn)換為適當(dāng)?shù)母袷剑≧GB），并準(zhǔn)備它們進(jìn)行分析。
  4. 提取關(guān)鍵信息：執(zhí)行光學(xué)特征識(shí)別（OCR）以檢索總量。
  >對(duì)費(fèi)用進(jìn)行分類：將購(gòu)買分為雜貨，服裝，電子產(chǎn)品等類別。
  5. >
  生成支出見解：我們總結(jié)了分類的費(fèi)用并生成支出分配圖。
  >構(gòu)建一個(gè)交互式gradio接口：最后，我們創(chuàng)建一個(gè)UI，用戶可以在其中上傳多個(gè)賬單，提取數(shù)據(jù)并以視覺上的方式分析支出。
  >步驟1：先決條件
  >在開始之前，讓我們確保我們安裝了以下工具和庫(kù)：
  python 3.8
  • >火炬
  • 變形金剛
  • pil
  • matplotlib
  • gradio
  運(yùn)行以下命令以安裝必要的依賴項(xiàng)：
  >
  一旦安裝了上述依賴項(xiàng)，請(qǐng)運(yùn)行以下導(dǎo)入命令：>

  pip install gradio -U bitsandbytes -U transformers -q

  >步驟2：模型初始化

  import gradio as gr
  import torch
  import pandas as pd
  import matplotlib.pyplot as plt
  from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor, BitsAndBytesConfig
  from transformers import BitsAndBytesConfig
  from PIL import Image
  import re

  >我們使用量化配置并加載Paligemma 2混合模型以優(yōu)化性能。對(duì)于此演示，我們將使用448 x 448輸入圖像分辨率的10B參數(shù)模型。您需要至少具有40GB內(nèi)存（COLAB配置）的T4 GPU來(lái)運(yùn)行此模型。?

  > bitsandbytes量化有助于減少記憶使用量的同時(shí)保持性能，從而可以在有限的GPU資源上運(yùn)行大型模型。在此實(shí)現(xiàn)中，我們使用4位量化來(lái)進(jìn)一步優(yōu)化內(nèi)存效率。

  >我們通過(guò)傳遞模型ID和量化配置，使用來(lái)自變形金剛庫(kù)的PaligemmaforCongengergeneration類加載模型。同樣，我們加載處理器，該處理器將輸入預(yù)處理到張量中之前，然后將其傳遞給模型。

  device = "cuda" if torch.cuda.is_available() else "cpu"
  # Model setup
  model_id = "google/paligemma2-10b-mix-448" 
  bnb_config = BitsAndBytesConfig(
      load_in_8bit=True,  # Change to load_in_4bit=True for even lower memory usage
      llm_int8_threshold=6.0,
  )
  
  # Load model with quantization
  model = PaliGemmaForConditionalGeneration.from_pretrained(
      model_id, quantization_config=bnb_config
  ).eval()
  
  # Load processor
  processor = PaliGemmaProcessor.from_pretrained(model_id)
  # Print success message
  print("Model and processor loaded successfully!")

  步驟3：圖像處理
  >裝載模型后，我們將圖像傳遞到模型之前對(duì)圖像進(jìn)行處理以維護(hù)圖像格式的兼容性和增益均勻性。我們將圖像轉(zhuǎn)換為RGB格式：

  現(xiàn)在，我們的圖像已準(zhǔn)備好推理。

  >

  >步驟4：推理使用paligemma

  def ensure_rgb(image: Image.Image) -> Image.Image:
      if image.mode != "RGB":
          image = image.convert("RGB")
      return image

  >現(xiàn)在，我們?cè)O(shè)置了用于使用模型運(yùn)行推斷的主要功能。此功能將帶有輸入圖像和問(wèn)題，將它們整合到提示中，然后通過(guò)處理器將它們傳遞給模型。
  >步驟5：提取密鑰信息
  >現(xiàn)在我們已經(jīng)準(zhǔn)備好主函數(shù)，我們將下一個(gè)從圖像中提取關(guān)鍵參數(shù) - 在我們的情況下，這些是總金額和商品類別。

  pip install gradio -U bitsandbytes -U transformers -q

  > extract_total_amount（）函數(shù)處理圖像以使用OCR從收據(jù)中提取總量。它構(gòu)建了一個(gè)查詢（問(wèn)題），指示模型僅提取數(shù)值值，然后調(diào)用ask_model（）函數(shù)以生成模型的響應(yīng)。?

  import gradio as gr
  import torch
  import pandas as pd
  import matplotlib.pyplot as plt
  from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor, BitsAndBytesConfig
  from transformers import BitsAndBytesConfig
  from PIL import Image
  import re

  步驟6：分析信息

我們已經(jīng)準(zhǔn)備好所有關(guān)鍵功能，所以讓我們分析輸出。>

>上面的功能創(chuàng)建了一個(gè)餅圖，以可視化不同類別的支出分布。如果不存在有效的支出數(shù)據(jù)，它將生成一個(gè)空白的圖形，并帶有表示“無(wú)支出數(shù)據(jù)”的消息。否則，它將創(chuàng)建帶有類別標(biāo)簽和百分比值的餅圖，確保比例且良好的可視化。

device = "cuda" if torch.cuda.is_available() else "cpu"
# Model setup
model_id = "google/paligemma2-10b-mix-448" 
bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,  # Change to load_in_4bit=True for even lower memory usage
    llm_int8_threshold=6.0,
)

# Load model with quantization
model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=bnb_config
).eval()

# Load processor
processor = PaliGemmaProcessor.from_pretrained(model_id)
# Print success message
print("Model and processor loaded successfully!")

我們通常有多個(gè)賬單要分析，因此讓我們創(chuàng)建一個(gè)函數(shù)來(lái)同時(shí)處理所有賬單。

用于一次分析多個(gè)賬單，我們執(zhí)行以下步驟：>

初始化存儲(chǔ)：我們創(chuàng)建用于存儲(chǔ)結(jié)果和圖像的列表，將total_spending設(shè)置為0，并為類別總計(jì)定義字典。

def ensure_rgb(image: Image.Image) -> Image.Image:
    if image.mode != "RGB":
        image = image.convert("RGB")
    return image

1. 打開并將圖像轉(zhuǎn)換為rgb。
2. >將圖像附加到列表中。

• 在收據(jù)中對(duì)商品進(jìn)行分類。
• 更新總支出和類別的總計(jì)。
• >將提取的數(shù)據(jù)存儲(chǔ)在結(jié)果列表中。
• 生成洞察力：我們創(chuàng)建一個(gè)支出分配餅圖以及總支出的摘要。
• 返回結(jié)果：最后，我們返回圖像列表，帳單摘要的數(shù)據(jù)框架，總支出摘要和支出圖表。

3. >現(xiàn)在，我們已經(jīng)制定了所有關(guān)鍵邏輯函數(shù)。接下來(lái)，我們致力于使用Gradio構(gòu)建Interactive UI。
4. >上面的代碼創(chuàng)建一個(gè)結(jié)構(gòu)化的gradio ui，其中具有用于多個(gè)圖像的文件上載程序，并為觸發(fā)處理。提交后，上傳帳單圖像顯示在畫廊中，提取的數(shù)據(jù)顯示在表中，總支出總結(jié)在文本中，并生成了支出分配餅圖。?

該功能將用戶輸入連接到process_multiple_bills（）函數(shù)，以確保無(wú)縫數(shù)據(jù)提取和可視化。最后，demo.launch（）函數(shù)啟動(dòng)了用于實(shí)時(shí)互動(dòng)的Gradio應(yīng)用程序。

>



>我還嘗試了兩個(gè)基于圖像的賬單（亞馬遜購(gòu)物發(fā)票）的演示，并得到以下結(jié)果。

注意：VLMS發(fā)現(xiàn)很難提取數(shù)字，這有時(shí)可能導(dǎo)致結(jié)果不正確。例如，它提取了以下第二賬單的錯(cuò)誤總金額。這是可以使用較大型號(hào)或簡(jiǎn)單地對(duì)現(xiàn)有模型進(jìn)行微調(diào)來(lái)糾正。

>





結(jié)論

在本教程中，我們使用Paligemma 2 Mix構(gòu)建了一個(gè)AI驅(qū)動(dòng)的多個(gè)Bill Scanner，這可以幫助我們從收據(jù)中提取和分類支出。我們使用Paligemma 2 Mix的視覺語(yǔ)言功能來(lái)進(jìn)行OCR和分類，以毫不費(fèi)力地分析支出見解。我鼓勵(lì)您將本教程適應(yīng)您自己的用例。?