Langchain：言語モデルとエージェントを構(gòu)築、実験、分析するための強(qiáng)力なPythonライブラリ

コアポイント：

• Langchainは、言語モデルとエージェントの作成、実験、分析を簡(jiǎn)素化するPythonライブラリであり、自然言語処理のための幅広い機(jī)能を提供します。
• テキストを理解して生成できる多機(jī)能エージェントの作成を可能にし、さまざまな言語関連のタスクを?qū)g行するために特定の動(dòng)作とデータソースを構(gòu)成できます。
• Langchainは、大規(guī)模な言語モデル（LLM）、チャットモデル、テキスト埋め込みモデルの3つのタイプのモデルを提供します。それぞれが言語処理タスクに一意の機(jī)能を提供します。
また、大きなテキストを管理しやすいブロックにセグメント化し、複數(shù)のLLM関數(shù)をチェーンでリンクして複雑なタスクを?qū)g行し、OpenaI以外のさまざまなLLMおよびAIサービスと統(tǒng)合するなどの機(jī)能も提供します。

Langchainは、開発者と研究者が言語モデルとエージェントを作成、実験、分析できる強(qiáng)力なPythonライブラリです。カスタムモデルの構(gòu)築から効率的な操作テキストデータまで、自然言語処理（NLP）愛好家に豊富な機(jī)能セットを提供します。この包括的なガイドでは、Langchainの基本的なコンポーネントを掘り下げ、Pythonでそのパワーを活用する方法を示します。

環(huán)境設(shè)定： この記事を?qū)W習(xí)するには、新しいフォルダーを作成し、PIPを使用してLangchainとOpenaiをインストールしてください：

pip3 install langchain openai

エージェント：

Langchainでは、エージェントはテキストを理解して生成できるエンティティです。これらのエージェントは、特定の動(dòng)作とデータソースを構(gòu)成でき、さまざまな言語関連のタスクを?qū)g行するようにトレーニングされているため、さまざまなアプリケーション向けの多機(jī)能ツールになります。

langchainエージェントを作成：

代理店は、「ツール」を使用して必要なデータを収集し、適切な応答を作成するように構(gòu)成できます。以下の例をご覧ください。 SERP API（インターネット検索API）を使用して、質(zhì)問や入力に関連する情報(bào)を検索し、回答します。また、LLM-Mathツールを使用して數(shù)學(xué)操作を?qū)g行します。たとえば、単位を変換したり、2つの値間でパーセンテージの変更を見つけたりします。 ご覧のとおり、LLMのすべての基本的なインポートと初期化を完了した後、LLM = OpenAI（offer = "GPT-3.5-TURBO"、溫度= 0））、コードはツール= load_tools（["serpapi" 、 "llm-math"]、llm = llm）エージェントが動(dòng)作するために必要なツールをロードします。次に、intialize_agent関數(shù)を使用してエージェントを作成し、指定されたツールを提供し、zero_shot_react_descriptionの説明を提供します。つまり、以前の問題を覚えていません。

エージェンシーテスト例1：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

次の入力でこのエージェントをテストしましょう

ご覧のとおり、次のロジックを使用します。

• SERPインターネット検索APIを使用して、「風(fēng)力タービンエネルギー生産Worldwide 2022」を検索
分析の最良の結(jié)果
関連する數(shù)字を取得します
• LLM-Mathツールを使用して906 GWをジュールに変換します。
エージェンシーテスト例2：

Langchainエージェントは、インターネットの検索に限定されません。ほぼすべてのデータソース（獨(dú)自の）をLangchainエージェントに接続し、データについて質(zhì)問することができます。 CSVデータセットでトレーニングされたエージェントを作成してみましょう。

KaggleでShivam BansalからこのNetflix映畫とテレビ番組データセットをダウンロードして、ディレクトリに移動(dòng)します。このコードを新しいPythonファイルに追加します：

このコードは、create_csv_agent関數(shù)を呼び出し、netflix_titles.csvデータセットを使用します。次の図は、テストを示しています。

pip3 install langchain openai

上記のように、その論理は、キャスト列の「クリスチャンベール」のすべての出來事を探すことです。

このようなPandasデータフレームエージェントを作成することもできます：

実行すると、以下に示すように結(jié)果が表示されます。

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

これらはほんの一例です。 Langchainを使用して、ほぼすべてのAPIまたはデータセットを使用できます。

モデル：

Langchainには、大規(guī)模な言語モデル（LLM）、チャットモデル、テキスト埋め込みモデルの3種類のモデルがあります。いくつかの例を使用して、各タイプのモデルを探索しましょう。

大規(guī)模な言語モデル：

Langchainは、Pythonで大規(guī)模な言語モデルを使用して、テキスト入力に基づいてテキスト出力を生成する方法を提供します。チャットモデルほど複雑ではなく、単純な入出力言語タスクに最適です。 Openaiを使用した例は次のとおりです

上記のように、

GPT-3.5-ターボモデルを使用して、提供された入力の出力を生成します（「Matt NikonorovのRAP名を思いつく」）。この例では、LLMをより創(chuàng)造的にするために、溫度を0.9に設(shè)定します。 「Mc Megamatt」を思いついた。 9/10マークを付けました。

チャットモデル：

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

LLMモデルにラップ名を作成するのは楽しいですが、より複雑な答えや會(huì)話が必要な場(chǎng)合は、チャットモデルを使用してスキルを向上させる必要があります。技術(shù)的には、チャットモデルは大規(guī)模な言語モデルとどのように違いますか？ Langchainドキュメントの言葉では：

チャットモデルは、大規(guī)模な言語モデルのバリアントです。チャットモデルはバックグラウンドで大きな言語モデルを使用していますが、わずかに異なるインターフェイスを使用します。 「テキスト入力、テキスト出力」APIを使用するのではなく、「チャットメッセージ」を入力と出力のインターフェイスとして使用します。

これは、単純なPythonチャットモデルスクリプトです：

pip3 install langchain openai

上記のように、コードは最初にシステムメスを送信し、チャットボットに友好的で非公式なものを指示し、その後、ヒューマンセージを送信し、ジョコビッチがフェデラーよりも優(yōu)れていると私たちに納得させるようにチャットボットに指示します。

このチャットボットモデルを?qū)g行すると、以下に示す結(jié)果が表示されます。

埋め込み：

埋め込みは、テキストのブロック內(nèi)の単語と數(shù)字をベクトルに変換する方法を提供し、他の単語や數(shù)字に関連付けられます。これは抽象的に聞こえるかもしれないので、例を見てみましょう：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

これは、浮動(dòng)小數(shù)點(diǎn)數(shù)のリストを返します：[0.022762885317206383、-0.0127639898915797472、0.00481598172368168、-0.0094353992916202545これが埋め込みのように見えるものです。

埋め込まれたモデルの使用ケース：

データまたは特定のテキストサンプルに関連する質(zhì)問に答えるためにチャットボットまたはLLMをトレーニングしたい場(chǎng)合は、埋め込みを使用する必要があります。 3つの情報(bào)を含む「テキスト」列を備えたシンプルなCSVファイル（embs.csv）を作成しましょう。

これは、埋め込みを使用して「これまでで最も背の高い人間だった」という質(zhì)問を得るスクリプトです。

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

このコードを?qū)g行すると、「ロバートワドローはこれまでで最も背の高い人間でした」という出力が表示されます。コードは、各情報(bào)の埋め込みを取得し、「これまでで最も背の高い人間だったのは誰ですか？」という質(zhì)問に最も関連する埋め込みを見つけることにより、正解を見つけます。埋め込みパワー！

from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.agents import create_csv_agent
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

agent = create_csv_agent(
    OpenAI(temperature=0),
    "netflix_titles.csv",
    verbose=True,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)

agent.run("In how many movies was Christian Bale casted")

チャンク：

langchainモデルは、同時(shí)に大きなテキストを処理することができず、それらを使用して応答を生成することはできません。これは、ブロックとテキストセグメンテーションが入るところです。テキストデータをブロックに分割する2つの簡(jiǎn)単な方法を見てから、Langchainに供給します。

文字によるセグメントブロック：

ブロックの突然の中斷を避けるために、新しいラインまたはダブルニューラインの各発生時(shí)にテキストを分割することにより、テキストを段落ごとに分割できます。

再帰セグメンテーションブロック：

from langchain.agents import create_pandas_dataframe_agent
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.llms import OpenAI
import pandas as pd
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"
df = pd.read_csv("netflix_titles.csv")

agent = create_pandas_dataframe_agent(OpenAI(temperature=0), df, verbose=True)

agent.run("In what year were the most comedy movies released?")

特定の長(zhǎng)さの文字でテキストを厳密に分割したい場(chǎng)合は、recursiveCharacterTextSplitterを使用できます。

ブロックサイズとオーバーラップ：

上記の例を見ると、ブロックサイズと重複パラメーターが何を意味するのか、パフォーマンスにどのように影響するかを正確に知ることができます。これは、2つの方法で説明できます

• ブロックサイズは、各ブロックの文字の數(shù)を決定します。ブロックサイズが大きいほど、ブロック內(nèi)のデータが多いほど、Langchainを処理して出力を生成するのに時(shí)間がかかります。
• ブロックオーバーラップは、ブロック間で情報(bào)を共有して、コンテキストを共有するコンテンツです。ブロックのオーバーラップが高いほど、ブロックが冗長(zhǎng)になります。ブロックのオーバーラップが低くなるほど、ブロック間で共有されるコンテキストが少なくなります。通常、目的のブロックオーバーラップは、テキストタイプとユースケースによって異なるが、ブロックサイズの10％から20％です。

チェーン：

章は、基本的に複數(shù)のLLM関數(shù)がリンクされており、単純なLLM入力＆GTを介して実現(xiàn)できないより複雑なタスクを?qū)g行します。クールな例を見てみましょう：

pip3 install langchain openai

このコードは、プロンプトに2つの変數(shù)を入力し、創(chuàng)造的な答えを開発します（溫度= 0.9）。この例では、數(shù)學(xué)についてのホラー映畫の良いタイトルを思い付くように頼みます。このコードを?qū)g行した後の出力は「計(jì)算呪い」ですが、これは実際にはチェーンの完全な機(jī)能を示していません。

より実用的な例を見てみましょう：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

このコードは混亂しているように見えるかもしれないので、段階的に説明しましょう。

このコードは、NAS（ヒップホップアーティスト）の短い伝記を読み取り、テキストから次の値を抽出し、JSONオブジェクトとしてフォーマットします。

アーティストの名前
アーティストの音楽ジャンル
アーティストのファーストアルバム
アーティストのファーストアルバムのリリース年

プロンプトでは、「正しい形式で必ず回答してください」を指定して、JSON形式で常に出力を取得します。このコードの出力は次のとおりです

create_structed_output_chain関數(shù)にJSONパターンを提供することにより、チェーンをJSON形式に出力します。

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

Openaiを超えて：

私はLangchainのさまざまな機(jī)能の例としてOpenaiモデルを使用していますが、Openaiモデルに限定されません。他の多くのLLMおよびAIサービスでLangchainを使用できます。 （これはLangchainの統(tǒng)合LLMの完全なリストです。）

たとえば、

ラングチェーンと一緒にcoを使用できます。これはLangchain Cohere Integrationのドキュメントですが、実用的な例を提供するために、PIP3インストールCohereを使用してCohereをインストールした後、LangchainとCohereを使用してシンプルなQ＆Aコードを書くことができます。

上記のコードでは、次の出力が生成されます

from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.agents import create_csv_agent
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

agent = create_csv_agent(
    OpenAI(temperature=0),
    "netflix_titles.csv",
    verbose=True,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)

agent.run("In how many movies was Christian Bale casted")

結(jié)論：

from langchain.agents import create_pandas_dataframe_agent
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.llms import OpenAI
import pandas as pd
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"
df = pd.read_csv("netflix_titles.csv")

agent = create_pandas_dataframe_agent(OpenAI(temperature=0), df, verbose=True)

agent.run("In what year were the most comedy movies released?")

このガイドでは、Langchainのさまざまな側(cè)面と機(jī)能を見てきました。この知識(shí)を習(xí)得したら、Langchainの機(jī)能を使用して、研究者、開発者、愛好家であろうと、NLP作業(yè)を?qū)g行できます。

この記事には、すべての畫像とnas.txtファイルを含むGitHubにリポジトリを見つけることができます。

PythonでLangchainを使用して、幸せなコーディングと実験をお祈りします！

以上がPythonのLangchainの完全なガイドの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。