MicrosoftのTNT-LLM：分類學の生成とテキスト分類の革命

Microsoftは、速度と精度の両方で従來の方法を上回る、分類法の作成とテキスト分類を自動化する畫期的なシステムであるTNT-LLMを発表しました。 この革新的なアプローチは、大規(guī)模な言語モデル（LLM）の力を活用して、分類剤と分類器の生成を合理化および拡大し、手動介入を最小限に抑えます。 これは、動的で多様なテキストデータの管理が最重要であるBing Copilotのようなアプリケーションにとって特に有益です。 この記事では、効率的なニュース記事クラスタリングのためにGPT-4OとLanggraphを使用したTNT-LLMの実裝を示しています。 GPT-4OとLanggraphの詳細については、これらのリソースを參照してください。

Openaiのgpt-4o？

とは何ですか

GPT-4O APIチュートリアル：OpenAIのAPIを始めましょう
langgraphチュートリアル：ランググラフとは何ですか？
元のTNT-LLM研究論文「TNT-LLM：大規(guī)模な言語モデルを使用したテキストマイニング」は、システムに関する包括的な詳細を提供します。
• Tnt-llm
を理解します

tnt-llm（大規(guī)模な言語モデルを使用した分類法とテキスト分類）は、テキストデータから分類法を生成および分類するために設計された2段階のフレームワークです。

フェーズ1：分類生成

この初期フェーズでは、テキストドキュメントのサンプルと特定の指示を使用します（たとえば、「ニュース記事をクラスターするために分類法を生成する」）。 LLMは各ドキュメントを要約し、重要な情報を抽出します。 反復改良を通じて、LLMは分類法を構築、修正、および改良し、効果的なニュース記事分類のためのラベルの構造化された階層と説明をもたらします。

出典：wan et al。

フェーズ2：テキスト分類

第2フェーズでは、生成された分類法を使用して、より大きなデータセットにラベルを付けます。 LLMはこれらのラベルを適用し、軽量分類器（ロジスティック回帰など）のトレーニングデータを作成します。このトレーニングされた分類器は、データセット全體を効率的にラベル付けするか、リアルタイム分類を実行します。

出典：wan et al。

TNT-LLMの適応性のある性質により、意図の検出やトピックの分類など、さまざまなテキスト分類タスクに適しています。 TNT-llm

の利點

tnt-llmは、大規(guī)模なテキストマイニングと分類に大きな利點を提供します：

• 自動化された分類版生成：生のテキストから詳細で解釈可能な分類法の作成を自動化し、広範な手動努力とドメインの専門知識の必要性を排除します。
• スケーラブルな分類：大きなデータセットとリアルタイム分類を効率的に処理する軽量モデルを使用して、スケーラブルなテキスト分類を有効にします。
• 費用対効果：高品質の出力：
繰り返しの分類學的生成により、高品質、関連性、正確な分類が保証されます。
• 最小限の人間の介入：手動入力を減らし、潛在的なバイアスと矛盾を最小限に抑えます。
• 柔軟性：さまざまなテキスト分類タスクとドメインに適応し、さまざまなLLMとの統(tǒng)合、埋め込み方法、および分類器をサポートします。 TNT-llm
の実裝
• 段階的な実裝ガイドが次のとおりです インストール：

必要なパッケージをインストール：

APIキーとモデル名の環(huán)境変數を設定します：

コアコンセプト：

pip install langgraph langchain langchain_openai

ドキュメント：

クラスを使用して構造化された生のテキストデータ（記事、チャットログ）。

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

分類法：

クラスによって管理されている分類された意図またはトピックのクラスター。

単純なTNT-LLMアプリケーションの構築：

• 次のセクションでは、コードスニペットを使用して重要なプロセスを説明する実裝手順を詳しく説明します。 元のコードの長さにより、ここでの完全な複製は実用的ではありません。 ただし、以下はプロセスの構造化された概要を提供します。 Doc
• ステップ0：グラフ狀態(tài)クラスを定義し、データセットをロードし、GPT-4Oを初期化します。これには、データ構造の定義とニュース記事データセットのロードが含まれます。 GPT-4Oモデルは、パイプライン全體で使用するために初期化されます。 TaxonomyGenerationState
ステップ1：ドキュメントを要約する：

各ドキュメントはLLMプロンプトを使用して要約されています。

ステップ2：ミニバッチの作成：

要約ドキュメントは、並列処理のためにミニバッチに分割されます。

• ステップ3：初期分類法を生成：最初のミニバッチから初期分類法が生成されます。

• ステップ4：分類法の更新：後続のミニバッチが処理されると、分類法が繰り返し更新されます。

• ステップ5：レビュー分類法：最終的な分類法の正確性と関連性についてレビューされています。

• ステップ6：Tnt-llmパイプラインをStategraphで調整します：a Stategraphは、さまざまなステップの実行を調整します。

• ステップ7：TNT-llmのニュース記事分類法のクラスタリングと表示

結論

TNT-LLMは、大規(guī)模なテキストマイニングと分類のための強力で効率的なソリューションを提供します。その自動化機能は、構造化されていないテキストデータの分析に必要な時間とリソースを大幅に削減し、さまざまなドメインでデータ駆動型の意思決定を可能にします。 業(yè)界全體のさらなる開発と適用の可能性は実質的です。 さらなるLLMアプリケーション開発に興味がある人には、「Langchainを使用したLLMアプリケーションの開発」に関するコースが推奨されます。

以上がGPT-4OおよびLanggraphチュートリアル：TNT-LLMアプリケーションを構築しますの詳細內容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。