粒子分詞は、自然言語処理（NLP）タスクを扱うための基本的なステップです。これには、単語、サブワード、または文字などと呼ばれるマーカーと呼ばれる小さなユニットにテキストを壊すことが含まれます。

効率的な単語セグメンテーションは、言語モデルのパフォーマンスにとって重要であり、テキスト生成、翻訳、抽象化などのさまざまなNLPタスクの重要なステップとなっています。

Tiktokenは、Openaiによって開発された高速で効率的なシソーラスです。テキストをタグに変換するための強(qiáng)力なソリューションとその逆を提供します。その速度と効率性により、大規(guī)模なデータセットと複雑なモデルを扱う開発者とデータサイエンティストに最適です。

このガイドは、開発者、データサイエンティスト、およびTiktokenの使用を計畫している人を?qū)澫螭趣筏皮?、例を含む実用的なガイドを必要とする人向けに設(shè)計されています。

Openaiの基本

Openai APIなどを始めましょう！

今すぐ開始

ライブラリをインポートするには、実行されます

コーディングモデル

<code>pip install tiktoken</code>

Tiktokenのエンコーディングモデルは、テキストをタグに分割するルールを決定します。これらのモデルは、テキストのセグメント化とエンコードの方法を定義し、言語処理タスクの効率と精度に影響するため、重要です。異なるOpenAIモデルは、異なるエンコーディングを使用しています。

Tiktokenは、異なるユースケースに最適化された3つのコーディングモデルを提供します：

• O200K_Base：最新のGPT-4O-MINIモデルのエンコード。
• CL100K_BASE：GPT-4やGPT-3.5-ターボなどの新しいOpenAIモデルのコーディングモデル。
• p50k_base：コードアプリケーションで使用されるコーデックスモデル。
• R50K_Base：GPT-3の異なるバージョンの古いエンコード。

これらのモデルはすべて、OpenAIのAPIで使用できます。 APIは、ここにリストされているモデルよりもはるかに多くのモデルを提供することに注意してください。幸いなことに、Tiktokenライブラリは、どのエンコードをどのモデルで使用するかを簡単に確認(rèn)する方法を提供します。

たとえば、

テキスト埋め込みモデルが使用するエンコーディングモデルを知る必要がある場合、次のコマンドを?qū)g行して出力として答えを取得できます。

<code>pip install tiktoken</code>

出力として

を取得します。 Tiktokenを直接使用する前に、Openaiにはさまざまな文字列がどのようにトークン化されているかを確認(rèn)できるトークン化Webアプリケーションがあることに言及したいと思います。ここでアクセスできます。また、非オペナイモデルをサポートするサードパーティのオンラインタガー、Tiktokenizerもあります。

テキストをマーカー

としてエンコードします

tiktokenを使用してタグとしてテキストをエンコードするには、最初にエンコードされたオブジェクトを取得する必要があります。初期化するには2つの方法があります。まず、トークネイザーの名前を使用してこれを行うことができます：

<code>import tiktoken</code>

あるいは、特定のモデルのエンコーダーを取得するために、前述のencoding_for_model関數(shù)を?qū)g行することができます：

<code>print(tiktoken.encoding_for_model('text-embedding-3-small'))</code>

ここで、エンコードオブジェクトのエンコードメソッドを?qū)g行して、文字列をエンコードできます。たとえば、「I Love Datacamp」文字列を次のようにエンコードできます。ここでは、CL100K_BASEエンコーダーを使用します：

<code>encoding = tiktoken.get_encoding("[標(biāo)記器名稱]")</code>

[40、3021、2956、34955]を出力として取得します。

マークをテキストにデコードします

マークをテキストにデコードするには、エンコードされたオブジェクトで.decode（）メソッドを使用できます。

次のタグ[40、4048、264、2763、505、2956、34955]をデコードしましょう。

これらのマークは、「Datacampから多くのことを?qū)Wんだ」と解読されます。

<code>encoding = tiktoken.encoding_for_model("[模型名稱]")</code>

実用的なユースケースとヒント

エンコードとデコードに加えて、他の2つのユースケースも考えました。

コストの見積もりと管理

Openai APIにリクエストを送信する前にタグカウントを理解することで、コストを効率的に管理するのに役立ちます。 Openaiの請求は、処理されたタグの數(shù)に基づいているため、事前にタグ付きテキストを使用すると、API使用量のコストを見積もることができます。 Tiktokenを使用してテキストのタグを計算する方法は次のとおりです。

アレイの長さをチェックして、マークの數(shù)を確認(rèn)する必要があります。事前にタグの數(shù)を知ることにより、テキストを短縮するか、予算內(nèi)にとどまるために使用法を調(diào)整するかを決定できます。

<code>print(encoding.encode("我愛 DataCamp"))</code>

この方法の詳細(xì)については、PythonのTiktokenライブラリを使用してGPTのコストを推定するこのチュートリアルで読むことができます。

入力長検証

APIからOpenAIモデルを使用する場合、マーカーの入力と出力の最大數(shù)によって制限されます。これらの制限を超えると、エラーや出力が切り捨てられる可能性があります。 Tiktokenを使用すると、入力の長さを確認(rèn)し、マーキングの制限に準(zhǔn)拠していることを確認(rèn)できます。

結(jié)論

Tiktokenは、Openai言語モデルに合わせて調(diào)整された速度と効率を提供するオープンソースのシソーラスです。

Tiktokenを使用してテキストとそのさまざまなコーディングモデルをエンコードおよびデコードする方法を?qū)Wぶことで、大規(guī)模な言語モデルで作業(yè)を大幅に強(qiáng)化できます。

トップAI認(rèn)定を取得

AIを効果的かつ責(zé)任を持って使用できることを証明します。認(rèn)定され、雇われます

以上がTiktokenチュートリアル：テキストをトークン化するためのOpenai＆＃x27;のPythonライブラリの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。