deepgemmの導(dǎo)入 - 密集したgemmsとmoe gemmsをサポートするFP8 GEMMライブラリ、V3/R1のトレーニングと推論を強(qiáng)化します。

hopper gpus上の最大1350 fp8 tflops

oly使いやすいように設(shè)計(jì)された最小限の依存関係

compilent完全にコンパイルされています…

- deepseek（@deepseek_ai）2025年2月26日

このリリースは、Deepseek FlashML（1日目）とDeepseek Deepep（2日目）の発売の成功に続きます。

gemmとは？

とは何ですか
• deepgemm
の必要性 DeepGemmの重要な機(jī)能
• パフォーマンスベンチマーク
• インストール手順
• 結(jié)論
• gemmとは？

一般的なマトリックス乗算（GEMM）は、2つのマトリックスを増やして3分の1を生成する基本的な線形代數(shù)操作です。 多數(shù)のアプリケーションで広く使用されており、その式は次のとおりです

GEMMは、特にニューラルネットワークトレーニングと推論のための深い學(xué)習(xí)において、モデルのパフォーマンスの最適化に重要です。

とは何ですか

典型的なFP8形式には次のものが含まれます

1サインビット 5指數(shù)ビット

2分?jǐn)?shù)ビット

このコンパクトな構(gòu)造により、大規(guī)模なモデルのトレーニングに最適な、より速い計(jì)算とメモリの使用量が減少する可能性があります。 精度はわずかに損なわれる可能性がありますが、これはしばしば受け入れられ、計(jì)算オーバーヘッドの減少によりパフォーマンスの向上につながります。

• この畫像は、FP8（E4M3およびE5M2形式）とFP16およびBF16を比較し、異なる浮動(dòng)小數(shù)點(diǎn)形式の精度と範(fàn)囲のトレードオフを示しています。
  deepgemm

  の必要性 DeepGEMMは、多様なGEMM操作のために軽量で高性能でユーザーフレンドリーなライブラリを提供することにより、マトリックスの乗算の課題に対処します。

  AIコミュニティで最適化されたFP8 GEMMの重要な必要性を満たします。 小さなメモリフットプリントを備えた高性能

  • 密度とMOEの両方のレイアウトをサポートしています。
  大規(guī)模なAIモデルのトレーニングと実行には
  • 重要です。
  • 専用のGEMMタイプを使用してMoEアーキテクチャを最適化します
  DeepSeekのAIモデルを直接強(qiáng)化します
  • より広範(fàn)なAI開発エコシステムに利益をもたらします。
  • deepgemm
  • の重要な機(jī)能
  deepgemmの強(qiáng)みには以下が含まれます

  ハイパフォーマンス：nvidiaホッパーgpusで最大1350 fp8 tflopsを達(dá)成します。

  軽量設(shè)計(jì)：
  単純化された使用のための最小依存関係。
  • ジャストインタイムコンピレーション：
  合理化されたユーザーエクスペリエンスのために、実行時(shí)にカーネルをコンパイルします。
  • 簡(jiǎn)潔なコアロジック：コアコードの約300行、多くのエキスパートチューニングされたカーネルを上回る。
  多様なレイアウトのサポート：
  • サポート：密集したMOEレイアウトと2つのMOEレイアウト。
  • パフォーマンスベンチマーク さまざまなマトリックス構(gòu)成にわたるDeepGEMMの効率を以下に示します：

  カスタムスタイル

  / .custom-table { 幅：100％; 國(guó)境崩壊：崩壊; /

  境界線が2倍にならないようにします

  / マージン：20px 0; } .custom-tableth、.custom-table td { 國(guó)境：1pxソリッド＃000; /可視境界 パディング：12px; /快適なパディング/ テキストアライグ：センター; /中央のテキスト

  ヘッダーの明るい灰色/ font-weight：bold; } /レスポンシブ調(diào)整/ @media（max-width：768px）{ .custom-tableth、.custom-table td { フォントサイズ：14px; /小さな畫面上の小さなテキスト/ パディング：8px; } }

  表1：deepgemmパフォーマンスベンチマーク

  インストール手順

  deepgemmのインストールは簡(jiǎn)単です：

  ステップ1：前提條件

  • ホッパーアーキテクチャgpus（SM_90A）
  • python 3.8
  • cuda 12.3（推奨：12.8）
  • pytorch 2.1
  • cutlass 3.6（gitサブモジュールにすることができます）

  ステップ2：リポジトリをクローン

  git clone --recursive [email?protected]:deepseek-ai/DeepGEMM.git

  ステップ3：ライブラリをインストールします

  python setup.py install

  ステップ4：deepgemmをインポート

  import deep_gemm

  詳細(xì)な手順については、DeepGEMM GitHubリポジトリを參照してください

  結(jié)論

  DeepGEMMは、高度な機(jī)械學(xué)習(xí)タスクに最適な高性能で使いやすいFP8 GEMMライブラリです。 その軽量設(shè)計(jì)、速度、柔軟性により、AI開発者にとって貴重なツールになります。 Deepseekの4日目のリリースに関する最新情報(bào)については、Analytics Vidhyaブログを確認(rèn)してください！