扒开老女人pk大荫蒂,成人影院yy111111在线,国产69精品久久久久久人妻精品

概述該過程的概述

>逐步實現(xiàn)

步驟1：安裝和導(dǎo)入依賴項

>步驟6：關(guān)聯(lián)文本和圖像

鑰匙要點

>本文所示的媒體不歸Analytics Vidhya擁有，并由作者的酌情決定使用。

首頁

科技周邊

人工智能

使用LlamainDex的多模式財務(wù)報告生成

Jack chen

Mar 09, 2025 pm 12:45 PM

在許多現(xiàn)實世界應(yīng)用中，數(shù)據(jù)并不純粹是文本的，其中可能包括圖像，表和圖表，這些圖表和圖表有助于加強敘述。多模式報告生成器允許您將文本和圖像同時合并到最終輸出中，從而使您的報告更具動態(tài)性和視覺上的豐富。

本文概述了如何使用以下方式構(gòu)建這樣的管道

用于編排文檔解析和查詢引擎，
文本分析的語言模型，
從pdf文檔中提取文本和圖像， >使用
進行記錄和調(diào)試。

學(xué)習(xí)目標

了解如何使用多模式管道整合有效的財務(wù)報告生成文本和視覺效果。

學(xué)習(xí)利用Llamaindex和Llamaparse來增強結(jié)構(gòu)化產(chǎn)出的財務(wù)報告。
>使用Arize Phoenix（通過LlamaTrace）來設(shè)置可觀察性，以記錄和調(diào)試復(fù)雜管道。
創(chuàng)建一個結(jié)構(gòu)化查詢引擎，以生成與視覺元素相互交織的報告。
>本文是

> > data Science Blogathon的一部分。目錄的>>

概述該過程的概述

>逐步實現(xiàn)
- 步驟2：設(shè)置可觀察性>
>該過程的概述
構(gòu)建多模式報告生成器涉及創(chuàng)建一條管道，該管道無縫地集成了來自PDF等復(fù)雜文檔的文本和視覺元素。該過程始于安裝必要的庫，例如用于文檔解析和查詢編排的LlamainDex，以及用于提取文本和圖像的Llamaparse。使用Arize Phoenix（通過Llamatrace）來監(jiān)視和調(diào)試管道。
>設(shè)置完成后，管道將處理PDF文檔，將其內(nèi)容解析到結(jié)構(gòu)化文本中，并渲染諸如表和圖表之類的視覺元素。然后關(guān)聯(lián)了這些解析的元素，創(chuàng)建一個統(tǒng)一的數(shù)據(jù)集。構(gòu)建了一個摘要，以啟用高級見解，并開發(fā)了結(jié)構(gòu)化的查詢引擎，以生成將文本分析與相關(guān)視覺效果融合的報告。結(jié)果是一個動態(tài)和交互式報告生成器，該生成器將靜態(tài)文檔轉(zhuǎn)換為用于用戶查詢的豐富的多模式輸出。
>
>逐步實現(xiàn)

>按照本詳細指南構(gòu)建多模式報告生成器，從設(shè)置依賴項到使用集成的文本和圖像生成結(jié)構(gòu)化輸出。每個步驟都確保Llamaindex，Llamaparse和Arize Phoenix的無縫整合，以進行有效而動態(tài)的管道。

步驟1：安裝和導(dǎo)入依賴項
>
您需要在Python 3.9.9上運行的以下庫：>
- llama-index
- llama-parse （用于文本圖像解析）>
- llama-index-callbacks-arize-phoenix（用于可觀察性/登錄）
- > nest_asyncio（處理筆記本中的異步事件循環(huán)）
```
!pip install -U llama-index-callbacks-arize-phoenix

import nest_asyncio

nest_asyncio.apply()
```
>步驟2：設(shè)置可觀察性

我們與LlamaTrace - Llamacloud API（Arize Phoenix）集成。首先，從llamatrace.com獲取API鍵，然后設(shè)置環(huán)境變量以將痕跡發(fā)送到鳳凰。可以通過在此處注冊Llamatrace，然后導(dǎo)航到左下面板，然后單擊“鍵”，在此處找到API鍵。

例如：
步驟3：加載數(shù)據(jù) - 獲取幻燈片甲板
```
PHOENIX_API_KEY = "<PHOENIX_API_KEY>"
os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"api_key={PHOENIX_API_KEY}"
llama_index.core.set_global_handler(
    "arize_phoenix", endpoint="https://llamatrace.com/v1/traces"
)
```
進行示范，我們使用Conocophillips的2023年投資者會議幻燈片。我們下載了PDF：

>檢查PDF幻燈片是否在數(shù)據(jù)文件夾中，如果不將其放在數(shù)據(jù)文件夾中并按照您的要求命名。
```
import os
import requests

# Create the directories (ignore errors if they already exist)
os.makedirs("data", exist_ok=True)
os.makedirs("data_images", exist_ok=True)

# URL of the PDF
url = "https://static.conocophillips.com/files/2023-conocophillips-aim-presentation.pdf"

# Download and save to data/conocophillips.pdf
response = requests.get(url)
with open("data/conocophillips.pdf", "wb") as f:
    f.write(response.content)

print("PDF downloaded to data/conocophillips.pdf")
```
>步驟4：設(shè)置模型

>您需要嵌入模型和LLM。在此示例中：

接下來，您將其注冊為LlamainDex的默認值：>
```
from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
embed_model = OpenAIEmbedding(model="text-embedding-3-large")
llm = OpenAI(model="gpt-4o")
```
步驟5：用llamaparse
解析文件 Llamaparse可以提取文本和圖像（通過多模式大型模型）提取文本和圖像。對于每個PDF頁面，它返回：
```
from llama_index.core import Settings
Settings.embed_model = embed_model
Settings.llm = llm
```
markdown Text
（帶表，標題，子彈點等）
- （本地保存）>
```
print(f"Parsing slide deck...")
md_json_objs = parser.get_json_result("data/conocophillips.pdf")
md_json_list = md_json_objs[0]["pages"]
```
```
print(md_json_list[10]["md"])
```
```
!pip install -U llama-index-callbacks-arize-phoenix

import nest_asyncio

nest_asyncio.apply()
```
>步驟6：關(guān)聯(lián)文本和圖像
>
我們?yōu)槊總€頁面創(chuàng)建一個>> textnode 對象的列表（LlamainDex的數(shù)據(jù)結(jié)構(gòu)）。每個節(jié)點都有有關(guān)頁碼和相應(yīng)圖像文件路徑的元數(shù)據(jù)：
```
PHOENIX_API_KEY = "<PHOENIX_API_KEY>"
os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"api_key={PHOENIX_API_KEY}"
llama_index.core.set_global_handler(
    "arize_phoenix", endpoint="https://llamatrace.com/v1/traces"
)
```
>步驟7：構(gòu)建摘要索引

手里拿著這些文本節(jié)點，您可以創(chuàng)建一個摘要：
摘要確保您可以輕松地檢索或生成整個文檔上的高級摘要。
```
import os
import requests

# Create the directories (ignore errors if they already exist)
os.makedirs("data", exist_ok=True)
os.makedirs("data_images", exist_ok=True)

# URL of the PDF
url = "https://static.conocophillips.com/files/2023-conocophillips-aim-presentation.pdf"

# Download and save to data/conocophillips.pdf
response = requests.get(url)
with open("data/conocophillips.pdf", "wb") as f:
    f.write(response.content)

print("PDF downloaded to data/conocophillips.pdf")
```
>步驟8：定義結(jié)構(gòu)化輸出模式

我們的管道旨在產(chǎn)生帶有交織的文本塊和圖像塊的最終輸出。為此，我們創(chuàng)建了一種自定義的pydantic模型（使用Pydantic V2或確保兼容性），具有兩種塊類型-e

textblock
和> imageBlock - 和一個父母模型關(guān)鍵點：
reportOutput
from llama_index.llms.openai import OpenAI from llama_index.embeddings.openai import OpenAIEmbedding embed_model = OpenAIEmbedding(model="text-embedding-3-large") llm = OpenAI(model="gpt-4o")
需要至少一個圖像塊，確保最終答案是多模式的。> >步驟9：創(chuàng)建一個結(jié)構(gòu)化查詢引擎 LlamainDex llamaindex允許您使用“結(jié)構(gòu)化的LLM”（即，將輸出自動解析為特定模式的LLM）。以下是：
```
from llama_index.core import Settings
Settings.embed_model = embed_model
Settings.llm = llm
```
```
print(f"Parsing slide deck...")
md_json_objs = parser.get_json_result("data/conocophillips.pdf")
md_json_list = md_json_objs[0]["pages"]
```
```
print(md_json_list[10]["md"])
```
結(jié)論
通過將LlamainDex，Llamaparse和OpenAI結(jié)合使用，您可以構(gòu)建一個多模式報告生成器，該報表生成器將整個PDF（帶有文本，表格和圖像）處理到結(jié)構(gòu)化輸出中。這種方法可提供更豐富，更具視覺上信息的結(jié)果，這是利益相關(guān)者需要從復(fù)雜的公司或技術(shù)文檔中獲得關(guān)鍵見解的哪些。
>可以隨意將此管道適應(yīng)您自己的文檔，為大型檔案添加檢索步驟，或集成特定領(lǐng)域的模型以分析基礎(chǔ)圖像。在這里鋪設(shè)的基礎(chǔ)，您可以創(chuàng)建動態(tài)，互動和視覺上豐富的報告，這些報告遠遠超出了簡單的基于文本的查詢。非常感謝Llamaindex的Jerry Liu開發(fā)了這款驚人的管道。

鑰匙要點
- >使用文本和視覺效果將PDF轉(zhuǎn)換為結(jié)構(gòu)化格式，同時使用Llamaparse和Llamaindex保留原始內(nèi)容的完整性。
- 通過整合文本和視覺元素以獲得更具洞察力和動態(tài)的輸出，可以增強財務(wù)報告的生成。> 利用Llamaindex和Llamaparse的利用，簡化了財務(wù)報告的過程，確保了準確且結(jié)構(gòu)化的結(jié)果。
- 改善視覺解析，結(jié)合特定圖表的分析，并結(jié)合文本和圖像處理的模型，以進行更深入的見解。
- a。在ReportOutput Pydantic模型中，強制執(zhí)行塊列表至少需要一個ImageBlock。這在您的系統(tǒng)提示和架構(gòu)中說明了這一點。 LLM必須遵循這些規(guī)則，或者不會產(chǎn)生有效的結(jié)構(gòu)化輸出。
>本文所示的媒體不歸Analytics Vidhya擁有，并由作者的酌情決定使用。