マルチモーダルAIエージェントを使用して、製品成分の秘密のロックを解除してください！ 複雑な成分リストを解読するのにうんざりしていませんか？この記事では、Gemini 2.0、Phidata、およびTavily Web検索を使用して、強(qiáng)力な製品成分アナライザーを構(gòu)築する方法について説明します。 時(shí)間のかかる個(gè)々の成分の検索に別れを告げ、インスタントの実用的な洞察にこんにちは！

重要な學(xué)習(xí)成果

このチュートリアルでは、このチュートリアルで説明します

ビジョン言語(yǔ)タスクのためにPhidataとGemini 2.0を活用するマルチモーダルAIエージェントアーキテクチャの設(shè)計(jì)。

エージェントワークフロー內(nèi)の強(qiáng)化されたコンテキストと情報(bào)の検索のタビリーWeb検索の統(tǒng)合。

畫(huà)像処理とWeb検索を巧みに組み合わせた製品成分アナライザーエージェントの構(gòu)築詳細(xì)な製品分析。
• マルチモーダルシナリオでエージェントのパフォーマンスを最適化するための効果的なシステムプロンプトと指示の作成の技術(shù)を習(xí)得します。
リアルタイムの畫(huà)像分析、栄養(yǎng)情報(bào)、およびパーソナライズされた健康に関する推奨事項(xiàng)のために、ユーザーフレンドリーな流線UIを開(kāi)発します。
• この記事は、データサイエンスブログの一部です
• 目次

マルチモーダルシステムの理解 実際のマルチモーダルアプリケーション マルチモーダルエージェントの力

製品成分アナライザーエージェントの構(gòu)築 必須リンク

結(jié)論
よくある質(zhì)問(wèn)
• マルチモーダルシステムの理解
• マルチモーダルシステムは、テキスト、畫(huà)像、オーディオ、ビデオなど、多様なデータ型を同時(shí)に処理および解釈するように設(shè)計(jì)されています。 Gemini 2.0 Flash、GPT-4O、Claude Sonnet 3.5、Pixtral-12Bなどのビジョン言語(yǔ)モデルは、これらのモダリティ間の複雑な関係を認(rèn)識(shí)し、複雑な入力から貴重な知識(shí)を抽出します。 この記事では、畫(huà)像を分析し、テキストの説明を生成するビジョン言語(yǔ)モデルに焦點(diǎn)を當(dāng)てています。 これらのシステムは、コンピュータービジョンと自然言語(yǔ)処理をシームレスにブレンドして、ユーザープロンプトに基づいて視覚情報(bào)を解釈します。
• 実世界のマルチモーダルアプリケーション
マルチモーダルシステムは、さまざまな産業(yè)に革命をもたらしています

財(cái)務(wù)：スクリーンショットを撮るだけで複雑な金融條件を即座に理解します。

eコマース：

製品ラベルを撮影して、詳細(xì)な成分分析と健康の洞察を取得します。

教育：教科書(shū)からの複雑な図と概念の簡(jiǎn)略化された説明を得る。

Healthcare：醫(yī)療報(bào)告書(shū)と処方ラベルの明確な説明を受け取ります。

• マルチモーダルエージェントの力
マルチモーダルエージェントへのシフトは、AI相互作用の大きな進(jìn)歩を表しています。 これらがとても効果的である理由は次のとおりです
• 視覚データとテキストデータの同時(shí)処理は、より正確でコンテキストが豊富な応答につながります。
複雑な情報(bào)が簡(jiǎn)素化されているため、より多くの視聴者が簡(jiǎn)単にアクセスできます。
• ユーザーは、包括的な分析のために単一の畫(huà)像をアップロードし、手動(dòng)の成分検索の必要性を排除します。
Web検索と畫(huà)像分析を組み合わせると、より完全で信頼できる洞察が提供されます。
• 製品成分アナライザーエージェントの構(gòu)築
製品成分分析エージェントを段階的に構(gòu)築しましょう

ステップ1：依存関係のセットアップ

必要なのは

です gemini 2.0フラッシュ：強(qiáng)力なマルチモーダル処理用。

タビリー検索：シームレスなWeb検索統(tǒng)合のため。

Phidata：エージェントシステムを調(diào)整し、ワークフローを管理する
• retrienlit：ユーザーフレンドリーなWebアプリケーションを作成します
• ステップ2：APIのセットアップと構(gòu)成apiキーを取得します：
gemini apiキー：

!pip install phidata google-generativeai tavily-python streamlit pillow

http://www.miracleart.cn/link/feac4a1c91eb74bfce13cb7c052c233b

tavily apiキー：

http://www.miracleart.cn/link/c73ff6dceadedf3652d678cd790ff167

• ステップ3：システムのプロンプトと手順
• 明確な命令は、最適なLLMパフォーマンスに不可欠です。 エージェントの役割と責(zé)任を定義します

ステップ4：エージェントオブジェクトの定義

from phi.agent import Agent
from phi.model.google import Gemini # needs a api key
from phi.tools.tavily import TavilyTools # also needs a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ['TAVILY_API_KEY'] = TAVILY_API_KEY
os.environ['GOOGLE_API_KEY'] = GOOGLE_API_KEY</replace-your-api-key></replace-your-api-key>

Phidataエージェントは、マークダウンを処理し、システムプロンプトと命令に基づいて動(dòng)作するように構(gòu)成されています。 Gemini 2.0フラッシュは推論モデルとして使用され、効率的なWeb検索のためにTavily Searchが統(tǒng)合されています。

ステップ5：マルチモーダル畫(huà)像処理

SYSTEM_PROMPT = """
You are an expert Food Product Analyst specialized in ingredient analysis and nutrition science. 
Your role is to analyze product ingredients, provide health insights, and identify potential concerns by combining ingredient analysis with scientific research. 
You utilize your nutritional knowledge and research works to provide evidence-based insights, making complex ingredient information accessible and actionable for users.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Read ingredient list from product image 
* Remember the user may not be educated about the product, break it down in simple words like explaining to 10 year kid
* Identify artificial additives and preservatives
* Check against major dietary restrictions (vegan, halal, kosher). Include this in response. 
* Rate nutritional value on scale of 1-5
* Highlight key health implications or concerns
* Suggest healthier alternatives if needed
* Provide brief evidence-based recommendations
* Use Search tool for getting context
"""

分析を開(kāi)始するために、畫(huà)像パスまたはURLをプロンプトとともに提供します。 両方のアプローチを使用した例は、元の記事で提供されています。 ステップ6＆7：Webアプリ開(kāi)発を合理化する

（元の記事の詳細(xì)なコード）

retrylitアプリケーションが作成され、畫(huà)像のアップロード、分析、および結(jié)果表示用のユーザーフレンドリーなインターフェイスが提供されます。 アプリには、製品、畫(huà)像のアップロード、ライブ寫(xiě)真キャプチャなどのタブが含まれています。 最適なパフォーマンスのために、畫(huà)像のサイズ変更とキャッシュが実裝されています

agent = Agent(
    model = Gemini(),
    tools = [TavilyTools()],
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    instructions = INSTRUCTIONS
)

本質(zhì)的なリンク

完全なコード：[GitHubリンクをこちらに挿入]

展開(kāi)アプリ：[ここに展開(kāi)されたアプリリンクを挿入]

結(jié)論

マルチモーダルAIエージェントは、複雑な情報(bào)との対話と理解をどのように変換し、理解しています。 製品成分アナライザーは、ビジョン、言語(yǔ)、およびWeb検索を組み合わせて、アクセス可能で実用的な洞察を提供する力を示しています。

よくある質(zhì)問(wèn)

• Q1。オープンソースのマルチモーダルビジョンモデルモデル：llava、pixtral-12b、multimodal-gpt、nvila、およびqwenは例です。
q2。ラマ3マルチモーダルですか？：
• はい、llama 3およびllama 3.2ビジョンモデルはマルチモーダルです。 q3。マルチモーダルLLM vs.マルチモーダルエージェント：
LLMプロセスマルチモーダルデータ。エージェントはLLMSおよびその他のツールを使用してタスクを?qū)g行し、マルチモーダル入力に基づいて決定を下します。
• プレースホルダーを?qū)g際のAPIキーに置き換えることを忘れないでください。 完全で機(jī)能的なガイドのために、完全なコードと展開(kāi)されたアプリリンクを追加する必要があります。

以上が製品成分分析のためのマルチモーダルエージェントを構(gòu)築しますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。