AIGC について詳しく知りたい場合は、

51CTO AI を參照してください。これらの質(zhì)問は、インターネット上のどこにでもある従來の質(zhì)問バンクとは異なります。 -ボックス思考。

大規(guī)模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業(yè)界で効率とイノベーションを推進し、企業(yè)が競爭力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音聲認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は、大量のデータから學習することで、テキストを生成して質(zhì)問に答え、人間と會話して、正確で価値のある情報を提供することができます。 GenAI は、さまざまなクリエイティブな機能を生成できる LLM アルゴリズムとモデルに依存しています。ただし、GenAI と LLM はますます一般的になりつつありますが、その複雑さを深く理解できる詳細なリソースがまだ不足しています。職場に新しく入社した人は、GenAI や LLM の機能や実際の応用について面接を行うと、未知の領(lǐng)域に行き詰まっていると感じることがよくあります。

この目的のために、GenAI と LLM に関する技術(shù)面接の質(zhì)問を記録するこのガイドブックを作成しました。詳細な回答を備えたこのガイドは、面接の準備をし、自信を持って課題に取り組み、AI とデータ サイエンスの未來を形作る上での GenAI と LLM の影響と可能性をより深く理解できるように設(shè)計されています。

1. Python で埋め込み辭書を使用してナレッジ グラフを構(gòu)築するにはどうすればよいですか?

1 つの方法は、キーが単語、トークン、概念であるハッシュ (Python の辭書、キー値テーブルとも呼ばれます) を使用することです。または「數(shù)學」などのカテゴリ。各キーは値に対応し、それ自體がハッシュ、つまりネストされたハッシュです。ネストされたハッシュのキーは、「微積分」のような単語など、親ハッシュの親キーに関連する?yún)g語でもあります。値は重みです?！肝⒎e分」と「數(shù)學」は関連しており、一緒に現(xiàn)れることが多いため、「微積分」の値は高くなります。逆に、「レストラン」と「數(shù)學」が一緒に現(xiàn)れることはほとんどないため、「レストラン」の値は低くなります。

LLM では、ネストされたハッシュが埋め込み (高次元データを低次元空間にマッピングする方法。通常、コンピューター処理を容易にするために、離散的で非連続なデータを連続ベクトル表現(xiàn)に変換するために使用されます) である可能性があります。ネストされたハッシュには固定數(shù)の要素がないため、ベクトル データベースや行列よりもはるかに適切に離散グラフを処理できます。アルゴリズムが高速化され、必要なメモリが少なくなります。

2. データに 1 億個のキーワードが含まれている場合に階層的クラスタリングを?qū)g行するにはどうすればよいですか?

キーワードをクラスター化したい場合は、キーワード {A, B} の各ペアについて、學習する 2 つの単語間の A と B の類似度を計算できます。どれだけ似ているか。目標は、類似したキーワードのクラスターを生成することです。

Sklearn などの標準 Python ライブラリは、階層クラスタリングとも呼ばれる凝集クラスタリングを提供します。ただし、この例では、通常、1 億 x 1 億の距離行列が必要です。これは明らかに機能しません。実際には、ランダムな単語 A と B が同時に出現(xiàn)することはほとんどないため、距離行列は非常に離散的になります。解決策には、質(zhì)問 1 で説明したネストされたハッシュの使用など、離散グラフに適した方法の使用が含まれます。そのようなアプローチの 1 つは、基礎(chǔ)となるグラフ內(nèi)の接続コンポーネントのクラスタリングの検出に基づいています。

3. Wikipedia のような大規(guī)模なリポジトリをクロールして、個々のエントリだけでなく、基礎(chǔ)となる構(gòu)造を取得するにはどうすればよいですか?

これらのリポジトリはすべて、構(gòu)造化された要素を Web ページに埋め込んでおり、一見したところよりも興味深いコンテンツになっています。メタデータなど、一部の構(gòu)造要素は肉眼では見えません。インデックス、関連項目、ブレッドクラム、カテゴリなど、一部の項目は表示され、クロールされたデータにも存在します。これらの要素を個別に検索して、適切なナレッジ グラフや分類法を構(gòu)築できます。ただし、Beautiful Soup のようなツールに頼るのではなく、獨自のクローラーを最初から作成することもできます。構(gòu)造情報が豊富な LLM (xLLM など) により、より良い結(jié)果が得られます。さらに、リポジトリに構(gòu)造が不足している場合は、外部ソースから取得した構(gòu)造を使用してスクレイピングしたデータを拡張できます。このプロセスは「構(gòu)造拡張」と呼ばれます。

4. コンテキスト トークンを使用して LLM 埋め込みを強化するにはどうすればよいですか?

埋め込みは、あらゆるドキュメント內(nèi)で見つかる最小のテキスト要素で構(gòu)成されます。 「data」と「science」のように必ずしも 2 つのトークンを持つ必要はなく、「data^science」、「data」、「science」、「data~science」の 4 つのトークンを持つことができます。最後のものは、「データサイエンス」という用語の発見を表しています。 1 つ目は、「データ」と「サイエンス」の両方が、隣接する位置ではなく、特定の段落內(nèi)のランダムな位置に存在することを意味します。このようなトークンは、マルチトークンまたはコンテキスト トークンと呼ばれます。これらはある程度の優(yōu)れた冗長性を提供しますが、注意しないと巨大な埋め込みが発生する可能性があります。解決策には、不要なトークンを削除する (最も長いトークンを保持する) ことや、可変サイズの埋め込みを使用することが含まれます。コンテキストに応じたコンテンツは、LLM の錯覚を軽減するのに役立ちます。

5. モデルの評価とトレーニングに関連する多くの問題を解決するための自己調(diào)整を?qū)g裝するにはどうすればよいですか?

これは、ニューラル ネットワークのブラック ボックスではなく、説明可能な AI に基づくシステムに適用されます。アプリケーションのユーザーがハイパーパラメータを選択し、気に入ったパラメータをマークできるようにします。この情報を使用して、理想的なハイパーパラメータを見つけ、デフォルト値に設(shè)定します。これは、ユーザー入力に基づいた自動強化學習です。また、ユーザーが希望する結(jié)果に基づいてお気に入りのスーツを選択できるため、アプリケーションをカスタマイズできるようになります。 LLM 內(nèi)では、ユーザーが特定のサブ LLM を選択できるようにすることで (検索タイプやカテゴリに基づいて)、パフォーマンスをさらに向上させることができます。出力內(nèi)の各項目に関連性スコアを追加すると、システムを微調(diào)整するのにも役立ちます。

6. ベクトル検索の速度を數(shù)桁向上させるにはどうすればよいですか?

LLM では、可変長の埋め込みを使用すると、埋め込みのサイズが大幅に削減されます。したがって、フロントエンド プロンプトでキャプチャされたものと同様のバックエンド埋め込みの検索が高速化されます。ただし、キーと値のテーブルなど、異なるタイプのデータベースが必要になる場合があります。トークンのサイズと埋め込みテーブルを減らすことも別の解決策です。1 兆トークンのシステムでは、プロンプトに答えるためにトークンの 95% が抽出されることはありません。ただのノイズなので取り除きましょう。コンテキスト トークンの使用 (質(zhì)問 4 を參照) は、情報をよりコンパクトな方法で保存するもう 1 つの方法です。最後に、圧縮された埋め込みに対して近似最近傍 (ANN) 検索が実行されます。確率的バージョン (pANN) ははるかに高速に実行できます。以下の図を參照してください。最後に、キャッシュ メカニズムを使用して、最も頻繁にアクセスされる埋め込みまたはクエリを保存し、リアルタイム パフォーマンスを向上させます。

確率的近似最近傍探索 (pANN)

経験によれば、トレーニング セットのサイズを 50% 削減するとより良い結(jié)果が得られ、過學習効果は大幅に減少します。 LLM では、インターネット全體を検索するよりも、いくつかの適切な入力ソースを選択する方が良いでしょう。萬能ではなく、トップレベル カテゴリごとに専用の LLM を使用すると、埋め込みの數(shù)がさらに削減されます。各チップは、データベース全體ではなく、特定のサブ LLM をターゲットにします。

7. モデルから最良の結(jié)果を得る理想的な損失関數(shù)は何ですか?

最良の解決策は、モデル評価メトリクスを損失関數(shù)として使用することです。これがめったに行われない理由は、ニューラル ネットワーク內(nèi)でニューロンが活性化されるたびに非常に迅速に更新できる損失関數(shù)が必要であるためです。ニューラル ネットワークのコンテキストでは、別の解決策は、各エポックの後に評価メトリックを計算し、損失が最小のエポック生成ソリューションではなく、最良の評価スコアを持つエポック生成ソリューションに留まるというものです。

私は現(xiàn)在、評価指標と損失関數(shù)が同じであるシステムに取り組んでいます。ニューラル ネットワークに基づいていません。當初、私の評価指標は多変量コルモゴロフ-スミルノフ距離 (KS) でした。しかし、多くの計算を行わないと、ビッグ データの KS でアトミックな更新を?qū)g行することは非常に困難です。これにより、何十億ものアトミックな更新が必要になるため、KS は損失関數(shù)としては不適切になります。しかし、累積分布関數(shù)を數(shù)百萬のビンを含む確率密度関數(shù)に変更することで、損失関數(shù)としても機能する優(yōu)れた評価指標を思いつくことができました。

原題: 7 Cool Technical GenAI & LLM Job Interviewquestions、著者: Vincent Granville

リンク: https://www.datasciencecentral.com/7-cool-technical-genai-llm-job-interview-questions/。

AIGC について詳しくは、こちらをご覧ください:

51CTO AI.x コミュニティ

https://www.51cto.com/aigc/