この記事では、Technology Innovation Institute（TII）が開発した強(qiáng)力なオープンソースラージモデル（LLM）であるFalcon 40Bを探ります。 飛び込む前に、機(jī)械學(xué)習(xí)と自然言語処理（NLP）の基本的な理解が推奨されます。 chatgpt、llms、生成AIなどの重要な概念の包括的な紹介については、AIファンダメンタルズスキルトラックを検討してください。

FALCON 40B モデルアーキテクチャとトレーニング GPT-3の変更されたバージョンであるFalcon 40Bのアーキテクチャは、回転位置埋め込みと注意メカニズムの強(qiáng)化（マルチクエリの注意とフラッシュ放送）を利用しています。 デコーダーブロックは、効率のために2層正規(guī)化スキームを備えた並列注意とMLP構(gòu)造を採用しています。 トレーニングには、高品質(zhì)で強(qiáng)體されたインターネットコーパスであるRefinedWebからの1兆個(gè)のトークンが含まれ、AWS Sagemakerで384 A100 40GB GPUを使用しました。

Falcon Blogの畫像

重要な機(jī)能と利點(diǎn)FALCON 40Bのマルチクエリの注意メカニズムは、事前削減に大きな影響を與えることなく、推論のスケーラビリティを改善します。 指示バージョン（FALCON-7B-InstructおよびFalcon-40B-Instruct）も利用可能で、アシスタントスタイルのタスクでパフォーマンスを向上させるために微調(diào)整されています。 そのApache 2.0ライセンスは、制限なしに商業(yè)使用を可能にします。 Openllmリーダーボードのベンチマークは、Llama、Stablelm、Redpajama、Mpt。などの他のオープンソースモデルを上回るFalcon 40bを示しています。

Open LLMリーダーボードからの畫像

始めましょう：推論と微調(diào)整

Falcon 40bを?qū)g行するには、重要なGPUリソ??ースが必要です。 4ビットの量子化により、40GB A100 GPUでの実行が可能になりますが、小型Falcon 7BはGoogle Colabを含む消費(fèi)者グレードのハードウェアにより適しています。 提供されたコードの例は、コラブ上のFalcon 7bの4ビット量子化を使用した推論を示しています。 QloraとSFTトレーナーでの微調(diào)整についても説明し、TRLライブラリを活用して新しいデータセットに効率的に適応します。 この例では、Guanacoデータセットを使用しています

falcon-180b：巨大な跳躍

3.5兆トークンで訓(xùn)練されたFalcon-180bは、パフォーマンスでFalcon 40bを超えています。 ただし、その1800億パラメーターには、推論のために相當(dāng)な計(jì)算リソース（約8xA100 80GB GPU）が必要です。 會(huì)話タスク用に微調(diào)整されたFalcon-180b-chatのリリースは、よりアクセスしやすい代替品を提供します。

Falcon-180b Demoの畫像

結(jié)論

FALCON 40Bは、パフォーマンスとアクセシビリティのバランスをとる、説得力のあるオープンソースLLMオプションを提供します。 完全なモデルには重要なリソースが必要ですが、その小さなバリエーションと微調(diào)整機(jī)能により、研究者と開発者にとって貴重なツールになります。 獨(dú)自のLLMを構(gòu)築することに興味がある人にとって、Pythonのキャリアトラックを持つ機(jī)械學(xué)習(xí)科學(xué)者は価値のある考慮事項(xiàng)です。 公式リソース：

公式ハグの顔ページ：Tiiuae（Technology Innovation Institute） ブログ：ファルコンは抱きしめる顔のエコシステムに上陸しました

リーダーボード：LLMリーダーボードをオープン
モデルカード：tiiuae/falcon-40b?hugging face
データセット：tiiuae/falcon-refinedweb

以上がF(xiàn)alcon 40Bの紹介：アーキテクチャ、トレーニングデータ、および機(jī)能の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。