> DeepSeek釋放DeepGemm：AI

>的高性能FP8 GEMM庫 作為#opensourceweek的一部分，DeepSeek揭開了DeepGemm，這是一個優(yōu)化的尖端庫，可為有效的FP8常規(guī)矩陣乘法（GEMMS）優(yōu)化。 該庫支持稠密和混合物（MOE）GEMM，證明對V3/R1型號訓(xùn)練和推理而言是無價的。 DeepGemm旨在顯著提高AI工作量的性能和效率，從而加強了DeepSeek對開源創(chuàng)新的承諾。

？ #opensourceweek的第3天：deepgemm

介紹DeepGemm - FP8 GEMM庫支持密集和Moe Gemms，為V3/R1培訓(xùn)和推理提供動力。

?hopper gpus上的最多1350 fp8 tflops

?最小依賴性，旨在易於使用
?完全編譯的時間……

- DeepSeek（@deepseek_ai）2025年2月26日

此版本是在DeepSeek FlashMl（第1天）和DeepSeek Deepep（第2天）的成功推出之後。 目錄的

表

什麼是Gemm？

• 什麼是fp8？
• 需要deepgemm
DeepGemm
• 的關(guān)鍵特徵
>
• >性能基準(zhǔn)
• >安裝說明
• 結(jié)論

什麼是Gemm？

一般矩陣乘法（GEMM）是一種基本線性代數(shù)操作，可乘以兩個矩陣以產(chǎn)生第三個矩陣。 它的公式廣泛使用，是：

GEMM對於模型性能優(yōu)化至關(guān)重要，尤其是在神經(jīng)網(wǎng)絡(luò)培訓(xùn)和推理的深度學(xué)習(xí)中。

>此圖表顯示了GEMM，突出顯示了瓷磚（將矩陣分為較小的塊 - mtile，ntile，ktile），以優(yōu)化加速使用。 這通過增強的數(shù)據(jù)局部性和並行性提高了性能。

>

什麼是fp8？

> fp8（8位浮點）是一種高性能計算格式，可降低精度和有效的數(shù)值數(shù)據(jù)表示。 這對於處理機器學(xué)習(xí)中大型數(shù)據(jù)集的計算需求特別有益。 典型的FP8格式包括：

> 1個標(biāo)誌位

5個指數(shù)位

2個分?jǐn)?shù)位
• >這種緊湊的結(jié)構(gòu)可實現(xiàn)更快的計算和減少的內(nèi)存使用情況，非常適合訓(xùn)練大型模型。 雖然精確度可能會略有損害，但這通常是可以接受的，即使是由於計算開銷降低而導(dǎo)致性能提高。

此圖像將FP8（E4M3和E5M2格式）與FP16和BF16進(jìn)行了比較，說明了不同浮點格式的精度和範(fàn)圍之間的權(quán)衡。

>

需要深gemmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm的 DeepGemm通過為各種GEMM操作提供輕巧，高性能和用戶友好的庫來解決矩陣乘法挑戰(zhàn)。

填補了在AI社區(qū)中優(yōu)化FP8 GEMM的關(guān)鍵需求。

高性能，具有較小的內(nèi)存足跡。

支持密集和MOE佈局。
>對於大型AI模型培訓(xùn)和執(zhí)行至關(guān)重要。
• >用專門的GEMM類型優(yōu)化MOE體系結(jié)構(gòu)。
直接增強了DeepSeek的AI模型。
受益於更廣泛的AI開發(fā)生態(tài)系統(tǒng)。
DeepGemmMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM
• > DeepGemm的優(yōu)勢包括：
• 高性能：
• 在NVIDIA HOPPER GPU上最多可達(dá)到1350 FP8 TFLOPS。

輕量級設(shè)計：簡化用法的最小依賴項。

即時彙編：

在運行時編譯內(nèi)核，以進(jìn)行簡化的用戶體驗。
• 簡潔的核心邏輯：大約300行的核心代碼，表現(xiàn)優(yōu)於許多專家調(diào)整的內(nèi)核。
• 支持各種佈局：支持密集和兩個MOE佈局。
• 性能基準(zhǔn)
DeepGemm在各種矩陣配置上的效率如下：
/

表/的自定義樣式/ .custom-table { 寬度：100％； 邊界爆發(fā)：崩潰； /確保邊界不要加倍

/ 保證金：20px 0; } .custom-table th，.custom-table TD 邊界：1PX實心＃000; /

可見邊框

/ 填充：12px; /

舒適的填充/ 文字平衡：中心； /中心文本/ } .custom-table th { 背景色：＃f8f9fa; /淺灰色，用於標(biāo)頭

響應(yīng)式調(diào)整/ @Media（最大寬度：768px）{ .custom-table th，.custom-table TD 字體大小：14px; /較小的屏幕上的較小文本/ 填充：8px; } } 表1：DeepGemm performance Benchmarks

表1：

>安裝說明

DeepGemm安裝很簡單：

步驟1：先決條件
>料斗架構(gòu)GPU（SM_90A）
• python 3.8
• > cuda 12.3（推薦：12.8）
>
• > pytorch 2.1
• Cutlass 3.6（可以是git子模塊）
步驟2：克隆存儲庫

>

>

git clone --recursive [email?protected]:deepseek-ai/DeepGEMM.git

步驟3：安裝庫

>

>

python setup.py install

步驟4：導(dǎo)入deepgemm

>

有關(guān)詳細(xì)說明，請參見DeepGemm github存儲庫。

import deep_gemm

結(jié)論

DeepGemm是一個高性能的，用戶友好的FP8 GEMM庫，非常適合高級機器學(xué)習(xí)任務(wù)。 它的輕巧設(shè)計，速度和靈活性使其成為AI開發(fā)人員的寶貴工具。 檢查Analytics Vidhya博客以獲取有關(guān)DeepSeek的第4天版本的最新信息！

以上是DeepGemm在DeepSeek開源週的第3天發(fā)布的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！