> DeepSeek釋放DeepGemm：AI

>的高性能FP8 GEMM庫 作為#opensourceweek的一部分，DeepSeek揭開了DeepGemm，這是一個(gè)優(yōu)化的尖端庫，可為有效的FP8常規(guī)矩陣乘法（GEMMS）優(yōu)化。 該庫支持稠密和混合物（MOE）GEMM，證明對(duì)V3/R1型號(hào)訓(xùn)練和推理而言是無價(jià)的。 DeepGemm旨在顯著提高AI工作量的性能和效率，從而加強(qiáng)了DeepSeek對(duì)開源創(chuàng)新的承諾。

？ #opensourceweek的第3天：deepgemm

介紹DeepGemm - FP8 GEMM庫支持密集和Moe Gemms，為V3/R1培訓(xùn)和推理提供動(dòng)力。

?hopper gpus上的最多1350 fp8 tflops

?最小依賴性，旨在易于使用
?完全編譯的時(shí)間……

- DeepSeek（@deepseek_ai）2025年2月26日

此版本是在DeepSeek FlashMl（第1天）和DeepSeek Deepep（第2天）的成功推出之后。 目錄的

表

什么是Gemm？

• 什么是fp8？
• 需要deepgemm
DeepGemm
• 的關(guān)鍵特征
>
• >性能基準(zhǔn)
• >安裝說明
• 結(jié)論

什么是Gemm？

一般矩陣乘法（GEMM）是一種基本線性代數(shù)操作，可乘以兩個(gè)矩陣以產(chǎn)生第三個(gè)矩陣。 它的公式廣泛使用，是：

GEMM對(duì)于模型性能優(yōu)化至關(guān)重要，尤其是在神經(jīng)網(wǎng)絡(luò)培訓(xùn)和推理的深度學(xué)習(xí)中。

>此圖表顯示了GEMM，突出顯示了瓷磚（將矩陣分為較小的塊 - mtile，ntile，ktile），以優(yōu)化加速使用。 這通過增強(qiáng)的數(shù)據(jù)局部性和并行性提高了性能。

>

什么是fp8？

> fp8（8位浮點(diǎn)）是一種高性能計(jì)算格式，可降低精度和有效的數(shù)值數(shù)據(jù)表示。 這對(duì)于處理機(jī)器學(xué)習(xí)中大型數(shù)據(jù)集的計(jì)算需求特別有益。 典型的FP8格式包括：

> 1個(gè)標(biāo)志位

5個(gè)指數(shù)位

2個(gè)分?jǐn)?shù)位
• >這種緊湊的結(jié)構(gòu)可實(shí)現(xiàn)更快的計(jì)算和減少的內(nèi)存使用情況，非常適合訓(xùn)練大型模型。 雖然精確度可能會(huì)略有損害，但這通常是可以接受的，即使是由于計(jì)算開銷降低而導(dǎo)致性能提高。

此圖像將FP8（E4M3和E5M2格式）與FP16和BF16進(jìn)行了比較，說明了不同浮點(diǎn)格式的精度和范圍之間的權(quán)衡。

>

需要深gemmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm的 DeepGemm通過為各種GEMM操作提供輕巧，高性能和用戶友好的庫來解決矩陣乘法挑戰(zhàn)。

填補(bǔ)了在AI社區(qū)中優(yōu)化FP8 GEMM的關(guān)鍵需求。

高性能，具有較小的內(nèi)存足跡。

支持密集和MOE布局。
>對(duì)于大型AI模型培訓(xùn)和執(zhí)行至關(guān)重要。
• >用專門的GEMM類型優(yōu)化MOE體系結(jié)構(gòu)。
直接增強(qiáng)了DeepSeek的AI模型。
受益于更廣泛的AI開發(fā)生態(tài)系統(tǒng)。
DeepGemmMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM
• > DeepGemm的優(yōu)勢包括：
• 高性能：
• 在NVIDIA HOPPER GPU上最多可達(dá)到1350 FP8 TFLOPS。

輕量級(jí)設(shè)計(jì)：簡化用法的最小依賴項(xiàng)。

即時(shí)匯編：

在運(yùn)行時(shí)編譯內(nèi)核，以進(jìn)行簡化的用戶體驗(yàn)。
• 簡潔的核心邏輯：大約300行的核心代碼，表現(xiàn)優(yōu)于許多專家調(diào)整的內(nèi)核。
• 支持各種布局：支持密集和兩個(gè)MOE布局。
• 性能基準(zhǔn)
DeepGemm在各種矩陣配置上的效率如下：
/

表/的自定義樣式/ .custom-table { 寬度：100％； 邊界爆發(fā)：崩潰； /確保邊界不要加倍

/ 保證金：20px 0; } .custom-table th，.custom-table TD 邊界：1PX實(shí)心＃000; /

可見邊框

/ 填充：12px; /

舒適的填充/ 文字平衡：中心； /中心文本/ } .custom-table th { 背景色：＃f8f9fa; /淺灰色，用于標(biāo)頭

響應(yīng)式調(diào)整/ @Media（最大寬度：768px）{ .custom-table th，.custom-table TD 字體大小：14px; /較小的屏幕上的較小文本/ 填充：8px; } } 表1：DeepGemm performance Benchmarks

表1：

>安裝說明

DeepGemm安裝很簡單：

步驟1：先決條件
>料斗架構(gòu)GPU（SM_90A）
• python 3.8
• > cuda 12.3（推薦：12.8）
>
• > pytorch 2.1
• Cutlass 3.6（可以是git子模塊）
步驟2：克隆存儲(chǔ)庫

>

>

git clone --recursive [email?protected]:deepseek-ai/DeepGEMM.git

步驟3：安裝庫

>

>

python setup.py install

步驟4：導(dǎo)入deepgemm

>

有關(guān)詳細(xì)說明，請(qǐng)參見DeepGemm github存儲(chǔ)庫。

import deep_gemm

結(jié)論

DeepGemm是一個(gè)高性能的，用戶友好的FP8 GEMM庫，非常適合高級(jí)機(jī)器學(xué)習(xí)任務(wù)。 它的輕巧設(shè)計(jì)，速度和靈活性使其成為AI開發(fā)人員的寶貴工具。 檢查Analytics Vidhya博客以獲取有關(guān)DeepSeek的第4天版本的最新信息！

以上是DeepGemm在DeepSeek開源周的第3天發(fā)布的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！