1/8 softmax的注意：傳統(tǒng)的注意機(jī)制，將繩索（旋轉(zhuǎn)位置嵌入）納入一半的注意力頭尺寸，從而無(wú)需犧牲表現(xiàn)就可以推斷長(zhǎng)度。

• > minimax-text-01的獨(dú)特MOE架構(gòu)將其與諸如DeepSeek-V3：之類的模型區(qū)分開
• 與DeepSeek的無(wú)滴方法不同，
  使用輔助損失來(lái)維持跨專家的平衡令牌分配。
  • >全局路由器：優(yōu)化令牌分配，以在專家組之間進(jìn)行工作負(fù)載分配。
  • top-k路由：>選擇每個(gè)令牌的top-2專家（與DeepSeek的Top-8 1共享專家相比）。
  專家配置：
  • 使用32位專家（與DeepSeek的256 1共享），專家隱藏的維度為9216（vs. DeepSeek的2048）。 每層的總激活參數(shù)與DeepSeek（18,432）相同。 訓(xùn)練和縮放策略
  培訓(xùn)基礎(chǔ)設(shè)施：
  使用了大約2000 h100 gpus，采用了高級(jí)并行性技術(shù)，例如專家張量并行性（ETP）和線性注意序列序列并行性和平行性（LASP）。 針對(duì)8位量化進(jìn)行了優(yōu)化，以在8x80GB H100節(jié)點(diǎn)上有效推斷。
  • 培訓(xùn)數(shù)據(jù)：使用WSD樣學(xué)習(xí)率計(jì)劃進(jìn)行了大約12萬(wàn)億代幣培訓(xùn)。 該數(shù)據(jù)包括高質(zhì)量和低質(zhì)量來(lái)源的混合物，以及全局重復(fù)數(shù)據(jù)刪除和4倍重復(fù)的高質(zhì)量數(shù)據(jù)。
  • >長(zhǎng)篇下說(shuō)訓(xùn)練：一種三個(gè)基礎(chǔ)的方法：階段1（128K上下文），第2階段（512k上下文）和第3階段（1M上下文），使用線性插值來(lái)管理上下文長(zhǎng)度縮放期間的分布變化。
  >
  • > >訓(xùn)練后優(yōu)化
  迭代微調(diào)：使用脫機(jī)DPO和在線grpo進(jìn)行對(duì)齊的監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）的周期。
  >
  • 長(zhǎng)篇小說(shuō)微調(diào)：
  一個(gè)分階段的方法：短篇小寫SFT→長(zhǎng)篇小寫SFT→短篇小寫→短上下文rl→長(zhǎng)上下文RL，對(duì)于上下文的長(zhǎng)篇小說(shuō)性能至關(guān)重要。
  • 關(guān)鍵創(chuàng)新

  deepnorm：

  >
  一種后構(gòu)體結(jié)構(gòu)增強(qiáng)了剩余連接縮放和訓(xùn)練穩(wěn)定性。
  • 批次尺寸熱身：
  逐漸將批次尺寸從16m增加到128m令牌，以進(jìn)行最佳訓(xùn)練動(dòng)力學(xué)。
  • 有效的并行性：
  利用環(huán)的注意來(lái)最大程度地減少長(zhǎng)序列和填充優(yōu)化的內(nèi)存開銷，以減少浪費(fèi)的計(jì)算。
  • 核心學(xué)術(shù)基準(zhǔn)

  （此處包括用于一般任務(wù)，推理任務(wù)和數(shù)學(xué)和編碼任務(wù)的基準(zhǔn)結(jié)果的表，此處包括原始輸入表。）

  （其他評(píng)估參數(shù)鏈接保留）

  >開始使用minimax-text-01

  （用于使用擁抱臉部變壓器的minimax-text-01的代碼示例保持不變。） 重要鏈接

  聊天機(jī)器人
  • 在線API
  • 文檔
  結(jié)論

  > minimax-Text-01表現(xiàn)出令人印象深刻的功能，在長(zhǎng)期和通用任務(wù)中實(shí)現(xiàn)了最先進(jìn)的表現(xiàn)。盡管存在改進(jìn)領(lǐng)域，但其開源性質(zhì)，成本效益和創(chuàng)新的建筑使其成為AI領(lǐng)域的重要參與者。 它特別適用于記憶密集型和復(fù)雜的推理應(yīng)用，盡管編碼任務(wù)的進(jìn)一步完善可能是有益的。