多くの現(xiàn)実世界のアプリケーションでは、データは純粋にテキストではありません。物語を強(qiáng)化するのに役立つ畫像、表、チャートが含まれる場(chǎng)合があります。マルチモーダルレポートジェネレーターを使用すると、テキストと畫像の両方を最終出力に組み込むことができ、レポートをより動(dòng)的で視覚的にリッチにします。 この記事では、次のようなパイプラインを構(gòu)築する方法の概要を説明します。

llamaindex

ドキュメントの解析とクエリエンジンを調(diào)整するには、
• Openai
テキスト分析の言語モデル、
• llamaparse
PDFドキュメントからテキストと畫像の両方を抽出するには、
• ロギングとデバッグのためにArize Phoenixを使用した観測(cè)可能性のセットアップ（llamatrace経由）
• 最終結(jié)果は、テキストとビジュアルの両方でPDFスライドデッキ全體を処理し、テキストと畫像の両方を含む構(gòu)造化されたレポートを生成できるパイプラインです。
學(xué)習(xí)目標(biāo)

マルチモーダルパイプラインを使用して、効果的な財(cái)務(wù)レポート生成のためにテキストとビジュアルを統(tǒng)合する方法を理解してください。

構(gòu)造化された出力で財(cái)務(wù)報(bào)告の強(qiáng)化のためにLlamaindexとLlamaparseを利用することを?qū)Wぶ。

PDFドキュメントからテキストと畫像の両方を効果的に抽出するためのLlamaparseを探索してください。 複雑なパイプラインのロギングとデバッグのために、Arize Phoenix（Lamatrace経由）を使用して観測(cè)可能性を設(shè)定します。

構(gòu)造化されたクエリエンジンを作成して、視覚的要素を含むテキストの要約をインターリーブするレポートを生成します。
• この記事は、
• データサイエンスブログの一部として公開されました。
目次

プロセスの概要ステップバイステップの実裝ステップ1：依存関係のインストールとインポートステップ2：観察可能性を設(shè)定します

ステップ3：データのロード

ステップ6：関連テキストと畫像
• プロセスの概要
  • マルチモーダルレポートジェネレーターの構(gòu)築には、PDFSなどの複雑なドキュメントからテキストと視覚要素をシームレスに統(tǒng)合するパイプラインを作成することが含まれます。このプロセスは、ドキュメントの解析やクエリオーケストレーションにllamaindexなど、テキストと畫像の両方を抽出するためのllamaparseなどの必要なライブラリのインストールから始まります。 Arize Phoenix（Lamatraceを介して）を使用して、パイプラインを監(jiān)視およびデバッグして観測(cè)性が確立されます。

    セットアップが完了したら、パイプラインはPDFドキュメントを処理し、そのコンテンツを構(gòu)造化されたテキストに解析し、テーブルやチャートなどの視覚要素をレンダリングします。これらの解析された要素が関連付けられ、統(tǒng)一されたデータセットが作成されます。 summaryindexは、高レベルの洞察を有効にするために構(gòu)築されており、関連するビジュアルとテキスト分析をブレンドするレポートを生成するために構(gòu)造化されたクエリエンジンが開発されています。その結(jié)果、靜的ドキュメントをユーザークエリに合わせて調(diào)整されたリッチなマルチモーダル出力に変換する動(dòng)的でインタラクティブなレポートジェネレーター。

    ステップバイステップの実裝

    この詳細(xì)なガイドに従って、依存関係のセットアップから統(tǒng)合されたテキストと畫像を使用して構(gòu)造化された出力の生成まで、マルチモーダルレポートジェネレーターを構(gòu)築します。各ステップにより、効率的で動(dòng)的なパイプラインのために、Llamaindex、Llamaparse、およびArize Phoenixのシームレスな統(tǒng)合が保証されます。

    ステップ1：依存関係をインストールしてインポート
    python 3.9.9：

    で実行されている次のライブラリが必要です。

    llama-index
    • llama-parse
    （テキスト畫像の解析の場(chǎng)合）
    • llama-index-callbacks-arize-phoenix
    （観測(cè)可能性/ロギング用）
    • nest_asyncio
    （ノートブックでの非同期イベントループを処理するため）
    ステップ2：観測(cè)可能性を設(shè)定します

    !pip install -U llama-index-callbacks-arize-phoenix
    
    import nest_asyncio
    
    nest_asyncio.apply()

    llamatrace - llamacloud API（Arize Phoenix）と統(tǒng)合します。まず、llamatrace.comからAPIキーを取得してから、環(huán)境変數(shù)を設(shè)定してフェニックスにトレースを送信します。

    Phoenix APIキーは、こちらからL(zhǎng)amatraceにサインアップしてから取得し、左下のパネルに移動(dòng)し、APIキーを見つける「キー」をクリックします。

    たとえば、

    ステップ3：データを読み込む - スライドデッキを取得 デモンストレーションでは、コノコフィリップスの2023年の投資家會(huì)議スライドデッキを使用しています。 PDF：

    をダウンロードします

    PHOENIX_API_KEY = "<PHOENIX_API_KEY>"
    os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"api_key={PHOENIX_API_KEY}"
    llama_index.core.set_global_handler(
        "arize_phoenix", endpoint="https://llamatrace.com/v1/traces"
    )

    PDFスライドデッキがデータフォルダーにあるかどうかを確認(rèn)します。データフォルダーに配置して、必要に応じて名前を付けてください。

    ステップ4：モデルのセットアップ
    埋め込みモデルとLLMが必要です。この例では、

    import os
    import requests
    
    # Create the directories (ignore errors if they already exist)
    os.makedirs("data", exist_ok=True)
    os.makedirs("data_images", exist_ok=True)
    
    # URL of the PDF
    url = "https://static.conocophillips.com/files/2023-conocophillips-aim-presentation.pdf"
    
    # Download and save to data/conocophillips.pdf
    response = requests.get(url)
    with open("data/conocophillips.pdf", "wb") as f:
        f.write(response.content)
    
    print("PDF downloaded to data/conocophillips.pdf")

    次に、これらをllamaindex：

    のデフォルトとして登録します

    ステップ5：llamaparse

    でドキュメントを解析します

    from llama_index.llms.openai import OpenAI
    from llama_index.embeddings.openai import OpenAIEmbedding
    embed_model = OpenAIEmbedding(model="text-embedding-3-large")
    llm = OpenAI(model="gpt-4o")

    llamaparseはテキストと畫像を抽出できます（マルチモーダルの大規(guī)模モデルを介して）。各PDFページについて、それは返されます：

    from llama_index.core import Settings
    Settings.embed_model = embed_model
    Settings.llm = llm

    Markdown Text

    （テーブル、見出し、弾丸ポイントなど）
    レンダリングされた畫像
    • （ローカルで保存）

    print(f"Parsing slide deck...")
    md_json_objs = parser.get_json_result("data/conocophillips.pdf")
    md_json_list = md_json_objs[0]["pages"]

    

    print(md_json_list[10]["md"])

    !pip install -U llama-index-callbacks-arize-phoenix
    
    import nest_asyncio
    
    nest_asyncio.apply()

    

    ステップ6：アソシエイトテキストと畫像

    各ページのtextnode オブジェクト（llamaindexのデータ構(gòu)造）のリストを作成します。各ノードには、ページ番號(hào)と対応する畫像ファイルパスに関するメタデータがあります。

    PHOENIX_API_KEY = "<PHOENIX_API_KEY>"
    os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"api_key={PHOENIX_API_KEY}"
    llama_index.core.set_global_handler(
        "arize_phoenix", endpoint="https://llamatrace.com/v1/traces"
    )

    

    ステップ7：概要インデックスを作成します

    これらのテキストノードを手にすると、summaryindexを作成できます。

    summaryIndexは、ドキュメント全體で高レベルの要約を簡(jiǎn)単に取得または生成できるようにします。

    ステップ8：構(gòu)造化された出力スキーマを定義します

    import os
    import requests
    
    # Create the directories (ignore errors if they already exist)
    os.makedirs("data", exist_ok=True)
    os.makedirs("data_images", exist_ok=True)
    
    # URL of the PDF
    url = "https://static.conocophillips.com/files/2023-conocophillips-aim-presentation.pdf"
    
    # Download and save to data/conocophillips.pdf
    response = requests.get(url)
    with open("data/conocophillips.pdf", "wb") as f:
        f.write(response.content)
    
    print("PDF downloaded to data/conocophillips.pdf")

    パイプラインは、インターリーブテキストブロックと畫像ブロックを備えた最終出力を生成することを目的としています。そのために、2つのブロックタイプのカスタムPydanticモデル（Pydantic V2または互換性を確保する）を作成します。

    ReportOutput

    は、少なくとも1つの畫像ブロックを必要とし、最終的な答えがマルチモーダルであることを確認(rèn)してください。 ステップ9：構(gòu)造化されたクエリエンジンを作成 llamaindexを使用すると、「構(gòu)造化されたLLM」（つまり、出力が特定のスキーマに自動(dòng)的に解析されるLLM）を使用できます。方法は次のとおりです

    from llama_index.llms.openai import OpenAI
    from llama_index.embeddings.openai import OpenAIEmbedding
    embed_model = OpenAIEmbedding(model="text-embedding-3-large")
    llm = OpenAI(model="gpt-4o")

    結(jié)論

    Llamaindex、Llamaparse、およびOpenaIを組み合わせることにより、PDF（テキスト、テーブル、畫像を使用）を処理するマルチモーダルレポートジェネレーターを構(gòu)造化された出力に組み込むことができます。このアプローチは、より豊かで視覚的に有益な結(jié)果をもたらします。これは、複雑な企業(yè)または技術(shù)文書から批判的な洞察を収集するために利害関係者が必要とするものを標(biāo)準(zhǔn)的に提供します。

    このパイプラインを獨(dú)自のドキュメントに自由に調(diào)整したり、大規(guī)模なアーカイブの検索ステップを追加したり、基礎(chǔ)となる畫像を分析するためのドメイン固有のモデルを統(tǒng)合してください。ここに設(shè)立された基盤を使用すると、単純なテキストベースのクエリをはるかに超えるダイナミックでインタラクティブで視覚的に豊富なレポートを作成できます。 この素晴らしいパイプラインを開発してくれたLlamaindexのJerry Liuに感謝します。

    キーテイクアウト

    • llamaparseとllamaindexを使用して元のコンテンツの整合性を維持しながら、テキストとビジュアルを使用してPDFを構(gòu)造化された形式に変換します。
    テキストの概要と畫像を織り交ぜて、より良い文脈的理解を得るという視覚的に濃縮されたレポートを生成します。
    • 財(cái)務(wù)報(bào)告書の生成は、より洞察力のある動(dòng)的な出力のためにテキストと視覚要素の両方を統(tǒng)合することで強(qiáng)化できます。
    llamaindexとllamaparseのレバレッジは、財(cái)務(wù)報(bào)告の生成のプロセスを合理化し、正確で構(gòu)造化された結(jié)果を確保します。 大規(guī)模なアーカイブのレポート生成を最適化するために、処理する前に関連するドキュメントを取得します。
    • 視覚的解析を改善し、チャート固有の分析を組み込み、より深い洞察のためにテキストと畫像処理のモデルを組み合わせます。
    • よくある質(zhì)問
    • q1。 「マルチモーダルレポートジェネレーター」とは？マルチモーダルレポートジェネレーターは、1つのまとまりのある出力で複數(shù)のタイプのコンテンツ（主にテキストと畫像）を含むレポートを生成するシステムです。このパイプラインでは、PDFをテキスト要素と視覚要素の両方に解析し、それらを単一の最終レポートに結(jié)合します。なぜLlama-Index-Callbacks-Arize-Phoenixをインストールし、観察可能性をセットアップする必要があるのですか？ Arize Phoenix（Lamatraceを介して）などの観測(cè)可能性ツールでは、モデルの動(dòng)作を監(jiān)視およびデバッグし、クエリと応答を追跡し、リアルタイムで問題を特定できます。大規(guī)模または複雑なドキュメントと複數(shù)のLLMベースの手順を扱う場(chǎng)合に特に便利です。なぜ標(biāo)準(zhǔn)のPDFテキスト抽出器の代わりにllamaparseを使用するのですか？ ほとんどのPDFテキスト抽出器は、生のテキストのみを処理し、しばしばフォーマット、畫像、テーブルを失います。 Llamaparseは、テキストと畫像の両方（レンダリングされたページ畫像）を抽出することができます。これは、テーブル、チャート、またはその他のビジュアルを參照する必要があるマルチモーダルパイプラインを構(gòu)築するために重要です。 summaryindexを使用することの利點(diǎn)は何ですか？ summaryIndexは、コンテンツ（PDFのページなど）を整理するLlamainDexの抽象化であるため、包括的な要約をすばやく生成できます。それは、手動(dòng)でそれらをチャンクしたり、データの各部分の検索クエリを?qū)g行することなく、長(zhǎng)いドキュメントから高レベルの洞察を収集するのに役立ちます。最終レポートに少なくとも1つの畫像ブロックが含まれるようにするにはどうすればよいですか？ ReportOutput Pydanticモデルでは、ブロックリストに少なくとも1つのImageBlockが必要であることを強(qiáng)制します。これは、システムプロンプトとスキーマに記載されています。 LLMはこれらのルールに従う必要があります。そうしないと、有効な構(gòu)造化された出力が生成されません。
    • この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上がLlamaindexを使用したマルチモーダル財(cái)務(wù)報(bào)告の生成の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。