テキストの埋め込みは、自然言語処理（NLP）の基礎(chǔ)であり、単語やフレーズが実數(shù)の密度の高いベクターになるテキストの數(shù)値表現(xiàn)を提供します。これにより、マシンは単語間の意味的な意味と関係を理解し??、人間の言語を処理する能力を大幅に改善できます。

これらの埋め込みは、テキスト分類、情報検索、セマンティックな類似性の検出などのタスクに不可欠です。 Openaiは、それらを作成するためのADA V2モデルを推奨し、テキスト內(nèi)のコンテキストの意味と関連付けをキャプチャする際のGPTシリーズの強さを活用します。

先に進む前に、OpenaiのAPIとopenai Pythonパッケージに精通していることが想定されています（ガイダンスについては、「PythonのPopenai APIを介してGPT-3.5およびGPT-4を使用する」を參照）。クラスタリング、特にK-meansの理解も役立ちます（「PythonのScikit-Learnを使用したK-Meansクラスタリングの紹介」を參照）。

テキスト埋め込みのアプリケーション：

テキスト埋め込み：以下を含む多くの領(lǐng)域でアプリケーションを見つけます。

• テキスト分類：感情分析またはトピック識別のための正確なモデルの構(gòu)築。
• 情報検索：特定のクエリに関連する情報の取得、検索エンジン機能の模倣。
• セマンティックな類似性検出：テキストスニペット間のセマンティックな類似性の識別と定量化。
• 推奨システム：テキストインタラクションからのユーザーの好みを理解することにより、推奨品質(zhì)を向上させます。
• テキスト生成：よりコヒーレントで文脈的に関連するテキストを生成します。
• 機械の翻訳：橫斷的な意味的な意味をキャプチャすることにより、機械翻訳の品質(zhì)を向上させます。

セットアップとインストール：

次のPythonパッケージが必要です： os 、 openai 、 scipy.spatial.distance 、 sklearn.cluster.KMeans 、およびumap.UMAP 。それらを使用してそれらをインストールします：

 PIPインストール-U Openai Scipy Plotly-Express Scikit-LearnUMap-Learn

必要なライブラリをインポートします。

 OSをインポートします
Openaiをインポートします
Scipy.spatial Import距離から
pxとしてplotly.Expressをインポートします
Sklearn.Cluster Import KMeansから
UMAPからImport UMAPから

Openai APIキーを構(gòu)成します：

 openai.api_key = "<your_api_key_here> 「</your_api_key_here>

（交換することを忘れないでください<your_api_key_here></your_api_key_here>あなたの実際のキーで。）

埋め込みの生成：

このヘルパー関數(shù)はtext-embedding-ada-002モデルを使用して、埋め込みを生成します。

 def get_embeding（text_to_embed）：
    response = openai.embeding.create（
        Model = "Text-embedding-ada-002"、
        input = [text_to_embed]
    ））
    埋め込み= response ["data"] [0] ["埋め込み"]]
    埋め込みを返します

データセットと分析：

この例では、Amazonの楽器レビューデータセット（Kaggleまたは著者のGithubで入手可能）を使用しています。効率のために、100のレビューのサンプルが使用されます。

 PDとしてパンダをインポートします

data_url = "https://raw.githubusercontent.com/keitazoumana/experimentation-data/main/musical_instruments_reviews.csv"
Review_df = pd.read_csv（data_url）[['reviewtext']]
Review_df = Review_df.Sample（100）
Review_df ["Embedding"] = review_df ["ReviewText"]。astype（str）.apply（get_embeding）
Review_df.reset_index（drop = true、inplace = true）

セマンティックの類似性：

scipy.spatial.distance.pdist()を使用して計算されたユークリッド距離は、レビュー埋め込み間の類似性を測定します。距離が小さいことは、より大きな類似性を示します。

クラスター分析（k-means）：

K-Meansクラスタリンググループ同様のレビュー。ここでは、3つのクラスターが使用されます。

 kmeans = kmeans（n_clusters = 3）
kmeans.fit（review_df ["embedding"]。tolist（））

次元削減（UMAP）：

UMAPは、視覚化のために埋め込み次元を2に減らします。

 reducer = umap（）
embeddings_2d = reducer.fit_transform（review_df ["embedding"]。tolist（）））

視覚化：

散布図はクラスターを視覚化します：

 fig = px.scatter（x = embeddings_2d [：、0]、y = embeddings_2d [：、1]、color = kmeans.labels_）
fig.show（） 

さらなる調(diào)査：

高度な學(xué)習(xí)については、微調(diào)整GPT-3およびOpenai APIチートシートに関するデータカンプリソースを探索してください。

コードの例は、より簡潔で組織化された方法で提示され、読みやすさと理解を向上させます。畫像は要求に応じて含まれています。

以上がOpenai APIを使用したテキストの埋め込みを活用する：実用的なガイドの詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。