1/8 softmax的注意：傳統(tǒng)的注意機制，將繩索（旋轉(zhuǎn)位置嵌入）納入一半的注意力頭尺寸，從而無需犧牲表現(xiàn)就可以推斷長度。

• > minimax-text-01的獨特MOE架構(gòu)將其與諸如DeepSeek-V3：之類的模型區(qū)分開
• 與DeepSeek的無滴方法不同，
  使用輔助損失來維持跨專家的平衡令牌分配。
  • >全局路由器：優(yōu)化令牌分配，以在專家組之間進(jìn)行工作負(fù)載分配。
  • top-k路由：>選擇每個令牌的top-2專家（與DeepSeek的Top-8 1共享專家相比）。
  專家配置：
  • 使用32位專家（與DeepSeek的256 1共享），專家隱藏的維度為9216（vs. DeepSeek的2048）。 每層的總激活參數(shù)與DeepSeek（18,432）相同。 訓(xùn)練和縮放策略
  培訓(xùn)基礎(chǔ)設(shè)施：
  使用了大約2000 h100 gpus，採用了高級並行性技術(shù)，例如專家張量並行性（ETP）和線性注意序列序列並行性和平行性（LASP）。 針對8位量化進(jìn)行了優(yōu)化，以在8x80GB H100節(jié)點上有效推斷。
  • 培訓(xùn)數(shù)據(jù)：使用WSD樣學(xué)習(xí)率計劃進(jìn)行了大約12萬億代幣培訓(xùn)。 該數(shù)據(jù)包括高質(zhì)量和低質(zhì)量來源的混合物，以及全局重複數(shù)據(jù)刪除和4倍重複的高質(zhì)量數(shù)據(jù)。
  • >長篇下說訓(xùn)練：一種三個基礎(chǔ)的方法：階段1（128K上下文），第2階段（512k上下文）和第3階段（1M上下文），使用線性插值來管理上下文長度縮放期間的分佈變化。
  >
  • > >訓(xùn)練後優(yōu)化
  迭代微調(diào)：使用脫機DPO和在線grpo進(jìn)行對齊的監(jiān)督微調(diào)（SFT）和強化學(xué)習(xí)（RL）的周期。
  >
  • 長篇小說微調(diào)：
  一個分階段的方法：短篇小寫SFT→長篇小寫SFT→短篇小寫→短上下文rl→長上下文RL，對於上下文的長篇小說性能至關(guān)重要。
  • 關(guān)鍵創(chuàng)新

  deepnorm：

  >
  一種後構(gòu)體結(jié)構(gòu)增強了剩餘連接縮放和訓(xùn)練穩(wěn)定性。
  • 批次尺寸熱身：
  逐漸將批次尺寸從16m增加到128m令牌，以進(jìn)行最佳訓(xùn)練動力學(xué)。
  • 有效的並行性：
  利用環(huán)的注意來最大程度地減少長序列和填充優(yōu)化的內(nèi)存開銷，以減少浪費的計算。
  • 核心學(xué)術(shù)基準(zhǔn)

  （此處包括用於一般任務(wù)，推理任務(wù)和數(shù)學(xué)和編碼任務(wù)的基準(zhǔn)結(jié)果的表，此處包括原始輸入表。）

  （其他評估參數(shù)鏈接保留）

  >開始使用minimax-text-01

  （用於使用擁抱臉部變壓器的minimax-text-01的代碼示例保持不變。） 重要鏈接

  聊天機器人
  • 在線API
  • 文檔
  結(jié)論

  > minimax-Text-01表現(xiàn)出令人印象深刻的功能，在長期和通用任務(wù)中實現(xiàn)了最先進(jìn)的表現(xiàn)。儘管存在改進(jìn)領(lǐng)域，但其開源性質(zhì)，成本效益和創(chuàng)新的建築使其成為AI領(lǐng)域的重要參與者。 它特別適用於記憶密集型和復(fù)雜的推理應(yīng)用，儘管編碼任務(wù)的進(jìn)一步完善可能是有益的。