>本文探討了技術(shù)創(chuàng)新研究所（TII）開(kāi)發(fā)的強(qiáng)大開(kāi)源大語(yǔ)模型（LLM）Falcon 40b。 潛水之前，建議對(duì)機(jī)器學(xué)習(xí)和自然語(yǔ)言處理（NLP）有基本的了解。 考慮我們的AI基礎(chǔ)知識(shí)技能軌道，以全面介紹Chatgpt，LLM和Generative AI。

理解獵鷹40b Falcon 40b屬于TII的LLM的Falcon家族，以及Falcon 7b和Falcon 180b。 作為因果解碼模型，它符合各種自然語(yǔ)言生成任務(wù)。 它的多語(yǔ)言功能包括英語(yǔ)，德語(yǔ)，西班牙語(yǔ)和法語(yǔ)，并部分支持其他幾種語(yǔ)言。

模型體系結(jié)構(gòu)和培訓(xùn)

> GPT-3的修改版本 Falcon 40b的體系結(jié)構(gòu)，利用旋轉(zhuǎn)位置嵌入和增強(qiáng)的注意力機(jī)制（多傳奇注意力和閃存）。 解碼器塊采用平行的注意力和MLP結(jié)構(gòu)，具有兩層歸一化方案以提高效率。 培訓(xùn)涉及1萬(wàn)億個(gè)代幣，來(lái)自精制Web，這是一個(gè)高質(zhì)量，重復(fù)的互聯(lián)網(wǎng)語(yǔ)料庫(kù)，并在AWS SageMaker上使用了384 A100 40GB GPU。

Falcon Blog

的圖像

> > 關(guān)鍵功能和優(yōu)點(diǎn)

> 獵鷹40B的多質(zhì)量注意機(jī)制可提高推理的可伸縮性，而不會(huì)顯著影響預(yù)處理。 還提供了指導(dǎo)版本（Falcon-7b-Instruct和Falcon-40B-Inscruct），并進(jìn)行了微調(diào)，以改善助理式任務(wù)的性能。 它的Apache 2.0許可證允許商業(yè)使用而無(wú)需限制。 OpenLLM排行榜上的基準(zhǔn)測(cè)試顯示Falcon 40b的表現(xiàn)優(yōu)于Llama，Stablelm，Redpajama和MPT。

>

圖像來(lái)自O(shè)pen LLM排行榜

>入門：推理和微調(diào)

>

>運(yùn)行Falcon 40b需要大量的GPU資源。 盡管4位量化允許在40GB A100 GPU上執(zhí)行，但較小的Falcon 7B更適合包括Google Colab在內(nèi)的消費(fèi)級(jí)硬件。 提供的代碼示例證明了使用4位量化的Colab上的Falcon 7b進(jìn)行推理。 還討論了與Qlora和SFT培訓(xùn)師進(jìn)行微調(diào)，利用TRL庫(kù)有效地適應(yīng)了新數(shù)據(jù)集。 該示例使用鳥(niǎo)根數(shù)據(jù)集。>

Falcon-180b：一個(gè)巨大的Leap

>Falcon-180b接受了3.5萬(wàn)億個(gè)令牌培訓(xùn)，甚至超過(guò)了獵鷹40B的性能。 但是，其1800億個(gè)參數(shù)需要進(jìn)行大量計(jì)算資源（約8xA100 80GB GPU）進(jìn)行推理。 Falcon-180b-chat的發(fā)布，用于對(duì)話任務(wù)，提供了更容易訪問(wèn)的替代方案。

Falcon-180b demo

結(jié)論

Falcon 40b提供了引人入勝的開(kāi)源LLM選項(xiàng)，平衡性能和可訪問(wèn)性。 盡管完整的模型需要大量資源，但其較小的變體和微調(diào)功能使其成為研究人員和開(kāi)發(fā)人員的寶貴工具。 對(duì)于那些有興趣建立自己的LLM的人來(lái)說(shuō)，具有Python職業(yè)曲目的機(jī)器學(xué)習(xí)科學(xué)家是值得考慮的。

官方資源：

>官方擁抱面部頁(yè)面：TIIUAE（技術(shù)創(chuàng)新研究所）

博客：獵鷹已經(jīng)降落在擁抱的面孔生態(tài)系統(tǒng)> 排行榜：打開(kāi)LLM排行榜

型號(hào)卡：tiiuae/falcon-40b·擁抱臉
數(shù)據(jù)集：tiiuae/falcon-refinedweb

以上是Falcon 40B簡(jiǎn)介：建筑，培訓(xùn)數(shù)據(jù)和功能的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！