Transformers 改變了人工智能，在 NLP、計算機(jī)視覺和多模式數(shù)據(jù)集成方面提供了無與倫比的性能。這些模型擅長通過注意力機(jī)制識別數(shù)據(jù)中的模式，使其成為復(fù)雜任務(wù)的理想選擇。然而，由于傳統(tǒng)結(jié)構(gòu)的計算成本較高，變壓器模型的快速擴(kuò)展需要改進(jìn)。

Transformers 徹底改變了人工智能，在自然語言處理 (NLP)、計算機(jī)視覺和多模式數(shù)據(jù)集成方面提供了無與倫比的性能。這些模型擅長通過注意力機(jī)制識別數(shù)據(jù)中的模式，使其成為復(fù)雜任務(wù)的理想選擇。然而，由于傳統(tǒng)結(jié)構(gòu)的計算成本較高，變壓器模型的快速擴(kuò)展需要改進(jìn)。隨著這些模型的增長，它們需要大量的硬件資源和訓(xùn)練時間，并且隨著模型大小的增加呈指數(shù)級增長。

縮放變壓器的主要障礙在于其線性投影層內(nèi)的固定參數(shù)。這種靜態(tài)結(jié)構(gòu)限制了模型在不完全重新訓(xùn)練的情況下擴(kuò)展的能力，隨著模型大小的增加，這種能力會呈指數(shù)級增長。當(dāng)架構(gòu)發(fā)生修改時，例如增加通道尺寸，這些傳統(tǒng)模型通常需要全面的重新訓(xùn)練。

因此，這些擴(kuò)展的計算成本變得非常高，而且該方法缺乏靈活性。無法動態(tài)添加新參數(shù)會抑制增長，使這些模型不太適應(yīng)不斷發(fā)展的人工智能應(yīng)用程序，并且在時間和資源方面成本更高。

從歷史上看，管理模型可擴(kuò)展性的方法包括使用 Net2Net 等方法復(fù)制權(quán)重或重構(gòu)模型，其中復(fù)制神經(jīng)元擴(kuò)展層。然而，這些方法通常會破壞預(yù)訓(xùn)練模型的平衡，導(dǎo)致收斂速度變慢并增加訓(xùn)練復(fù)雜性。

雖然這些方法取得了漸進(jìn)的進(jìn)展，但它們在擴(kuò)展過程中保持模型完整性方面仍然面臨限制。 Transformer 嚴(yán)重依賴靜態(tài)線性投影，導(dǎo)致參數(shù)擴(kuò)展成本高昂且不靈活。 GPT 和其他大型 Transformer 等傳統(tǒng)模型經(jīng)常從頭開始重新訓(xùn)練，每個新的擴(kuò)展階段都會產(chǎn)生高昂的計算成本。

現(xiàn)在，馬克斯普朗克研究所、谷歌和北京大學(xué)的研究人員開發(fā)了一種名為 Tokenformer 的新架構(gòu)，通過將模型參數(shù)視為令牌，從根本上重新構(gòu)想了 Transformer，從而允許令牌和參數(shù)之間進(jìn)行動態(tài)交互。

在這個框架中，Tokenformer 引入了一個稱為令牌參數(shù)注意（Pattention）層的新穎組件，它有助于增量擴(kuò)展。該模型可以添加新的參數(shù)標(biāo)記而無需重新訓(xùn)練，大大降低了訓(xùn)練成本。

通過在同一框架內(nèi)表示輸入令牌和參數(shù)，Tokenformer 可以靈活擴(kuò)展，為研究人員提供更高效、資源意識更強的模型架構(gòu)，同時保持可擴(kuò)展性和高性能。

Tokenformer 的 Pattention 層使用輸入 token 作為查詢，而模型參數(shù)作為鍵和值，這與標(biāo)準(zhǔn) Transformer 方法不同，僅依賴于線性投影。

模型的擴(kuò)展是通過添加新的鍵值參數(shù)對、保持輸入和輸出維度不變并避免完全重新訓(xùn)練來實現(xiàn)的。 Tokenformer 的架構(gòu)設(shè)計為模塊化，使研究人員能夠通過合并額外的代幣來無縫擴(kuò)展模型。

這種增量擴(kuò)展功能支持預(yù)訓(xùn)練權(quán)重的有效重用，同時能夠快速適應(yīng)新數(shù)據(jù)集或更大的模型大小，而不會破壞學(xué)習(xí)的信息。

Tokenformer 的性能優(yōu)勢非常顯著，因為該模型在保持準(zhǔn)確性的同時顯著降低了計算成本。例如，Tokenformer 將參數(shù)從 1.24 億擴(kuò)展到 14 億，而訓(xùn)練成本僅為傳統(tǒng) Transformer 所需的一半。

在一項實驗中，該模型針對 14 億個參數(shù)配置實現(xiàn)了 11.77 的測試?yán)Щ蠖?，幾乎與從頭開始訓(xùn)練的類似大小的 Transformer 的 11.63 困惑度相匹配。

這種效率意味著 Tokenformer 可以在多個領(lǐng)域?qū)崿F(xiàn)高性能，包括語言和視覺建模任務(wù)，而資源支出只是傳統(tǒng)模型的一小部分。

Tokenformer 提出了許多關(guān)于推進(jìn)人工智能研究和改進(jìn)基于 Transformer 的模型的關(guān)鍵要點。其中包括：

將參數(shù)視為令牌可以實現(xiàn)增量模型擴(kuò)展，而無需重新訓(xùn)練。

令牌參數(shù)注意層有助于高效的參數(shù)擴(kuò)展。

模塊化架構(gòu)通過合并額外的代幣來支持無縫模型增長。

該模型以最少的資源消耗在不同領(lǐng)域?qū)崿F(xiàn)了高性能。

總之，Tokenformer 提供了一種變革性方法來擴(kuò)展基于 Transformer 的模型。該模型架構(gòu)通過將參數(shù)視為令牌、降低成本并保持跨任務(wù)的模型性能來實現(xiàn)可擴(kuò)展性和資源效率。

這種靈活性代表了變壓器設(shè)計的突破，提供了一種無需重新訓(xùn)練即可適應(yīng)先進(jìn)人工智能應(yīng)用需求的模型。 Tokenformer 的架構(gòu)為未來的人工智能研究帶來了希望，提供了可持續(xù)、高效地開發(fā)大規(guī)模模型的途徑。

查看 HuggingFace 上的論文、GitHub 頁面和模型。

這項研究的所有功勞都?xì)w功于該項目的研究人員。另外，不要忘記在 Twitter 上關(guān)注我們并加入我們的 Telegram 頻道和 LinkedIn 群組。如果您喜歡我們的工作，您一定會喜歡我們的時事通訊。不要忘記加入我們的 55k ML SubReddit。

[我們的贊助機(jī)會]與 100 萬每月讀者和 50 萬社區(qū)成員推廣您的研究/產(chǎn)品/網(wǎng)絡(luò)研討會

以上是Tokenformer：通過將參數(shù)視為令牌來重新思考 Transformer的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！