其採(cǎi)用了兩種收集方式：

1. 對(duì)於短於 32k 的 SFT 資料序列：利用現(xiàn)有的基於 LongAlpaca12k 的長(zhǎng)上下文資料集、來(lái)自 Open Orca 的 GPT-4 樣本、Long Data Collections。

2. 對(duì)於序列長(zhǎng)度在 32k 到 128k 之間的資料：由於收集此類 SFT 樣本的難度很大，因此他們選擇了合成資料集。他們使用了 NarrativeQA，既包含真實(shí)的總結(jié)（ground truth），也包含語(yǔ)義相關(guān)的段落。他們將所有相關(guān)段落組裝到了一起，並隨機(jī)插入真實(shí)總結(jié)以模擬用於問(wèn)答對(duì)的真實(shí)長(zhǎng)文件。

然後，將前兩個(gè)階段得到的全長(zhǎng)的 SFT 資料集和短 SFT 資料集組合在一起，再進(jìn)行訓(xùn)練。這裡學(xué)習(xí)率設(shè)定為 3e-5，批量大小為 32。

長(zhǎng)上下文檢索器遇上長(zhǎng)上下文 LLM

當(dāng)前 LLM 使用的 RAG 流程存在一些問(wèn)題：

1. 為了產(chǎn)生準(zhǔn)確答案，top-k 逐塊檢索會(huì)引入不可忽略的上下文碎片。舉個(gè)例子，之前最佳的基於密集嵌入的檢索器僅支援 512 token。

2. 小top-k（例如5 或10）會(huì)導(dǎo)致召回率相對(duì)較低，而大top-k（例如100）則會(huì)導(dǎo)致產(chǎn)生結(jié)果變差，因?yàn)橹暗腖LM 無(wú)法很好地使用太多已分塊的上下文。

為了解決這個(gè)問(wèn)題，該團(tuán)隊(duì)提出使用最近期的長(zhǎng)上下文檢索器，其支援成千上萬(wàn) token。具體來(lái)說(shuō)，他們選擇使用 E5-mistral 嵌入模型作為檢索器。

表 1 比較了 top-k 檢索的不同區(qū)塊大小和上下文視窗中的 token 總數(shù)。

比較 token 數(shù)從 3000 到 12000 的變化情況，團(tuán)隊(duì)發(fā)現(xiàn) token 越多，結(jié)果越好，這就確認(rèn)了新模型的長(zhǎng)上下文能力確實(shí)不錯(cuò)。他們還發(fā)現(xiàn)，如果總 token 數(shù)為 6000，則成本和效能之間會(huì)有比較好的權(quán)衡。當(dāng)將總 token 數(shù)設(shè)定為 6000 後，他們又發(fā)現(xiàn)文字區(qū)塊越大，結(jié)果越好。因此，在實(shí)驗(yàn)中，他們選擇的預(yù)設(shè)設(shè)定是區(qū)塊大小為 1200 以及 top-5 的文字區(qū)塊。

實(shí)驗(yàn)

評(píng)估基準(zhǔn)

為了進(jìn)行全面的評(píng)估，分析不同的上下文長(zhǎng)度，該團(tuán)隊(duì)使用了三類評(píng)估基準(zhǔn)：

1. 長(zhǎng)上下文基準(zhǔn)，超過(guò)100K token；中等長(zhǎng)上下文基準(zhǔn)，低於32K token；

3. 短上下文基準(zhǔn)，低於4K token。

如果下游任務(wù)可以使用 RAG，就會(huì)使用 RAG。

該團(tuán)隊(duì)首先進(jìn)行了基於合成數(shù)據(jù)的 Needle in a Haystack（大海撈針）測(cè)試，然後測(cè)試了模型的真實(shí)世界長(zhǎng)上下文理解和 RAG 能力。

1. 大海撈針測(cè)試

Llama3-ChatQA-2-70B 能否在文本之海中找到目標(biāo)針？這是一個(gè)常用於測(cè)試 LLM 長(zhǎng)上下文能力的合成任務(wù)，可看作是在評(píng)估 LLM 的閾值水準(zhǔn)。圖 1 展示了新模型在 128K token 中的表現(xiàn)，可以看到新模型的準(zhǔn)確度達(dá)到了 100%。此測(cè)試證實(shí)新模型具有堪稱完美的長(zhǎng)上下文檢索能力。

2. 超過(guò) 100K token 的長(zhǎng)上下文評(píng)估

在來(lái)自 InfiniteBench 的真實(shí)世界任務(wù)上，該團(tuán)隊(duì)評(píng)估了模型在上下文長(zhǎng)度超過(guò) 100K token 時(shí)的性能表現(xiàn)。結(jié)果見(jiàn)表 2。

可以看到，新模型的表現(xiàn)優(yōu)於許多當(dāng)前最佳模型，例如GPT4-Turbo-2024-04-09 (33.16)、GPT4-1106 preview (28.23)、Llama-3-70B-Instruct -Gradient-262k (32.57) 和Claude 2 (33.96)。此外，新模型的成績(jī)也已經(jīng)非常接近 Qwen2-72B-Instruct 得到的最高分?jǐn)?shù) 34.88。整體來(lái)看，英偉達(dá)的這個(gè)新模型頗具競(jìng)爭(zhēng)力。

3. token 數(shù)在 32K 以內(nèi)的中等長(zhǎng)上下文評(píng)估

表 3 給出了上下文的 token 數(shù)在 32K 以內(nèi)時(shí)各模型的性能表現(xiàn)。

可以看到，GPT-4-Turbo-2024-04-09 的分?jǐn)?shù)最高，為 51.93。新模型的分?jǐn)?shù)為 47.37，比 Llama-3-70B-Instruct-Gradient-262k 高，但低於 Qwen2-72B-Instruct。原因可能是 Qwen2-72B-Instruct 的預(yù)訓(xùn)練大量使用了 32K token，而團(tuán)隊(duì)使用的持續(xù)預(yù)訓(xùn)練語(yǔ)料庫(kù)小得多。此外，他們還發(fā)現(xiàn)所有 RAG 解決方案的表現(xiàn)都遜於長(zhǎng)上下文解決方案，這表明所有這些當(dāng)前最佳的長(zhǎng)上下文 LLM 都可以在其上下文視窗內(nèi)處理 32K token。

4. ChatRAG Bench：token 數(shù)低於 4K 的短上下文評(píng)估

在 ChatRAG Bench 上，該團(tuán)隊(duì)評(píng)估了模型在上下文長(zhǎng)度少於 4K token 時(shí)的性能表現(xiàn)，見(jiàn)表 4。

新模型的平均分?jǐn)?shù)為 54.81。儘管這個(gè)成績(jī)不如 Llama3-ChatQA-1.5-70B，但依然優(yōu)於 GPT-4-Turbo-2024-04-09 和 Qwen2-72B-Instruct。這證明了一點(diǎn)：將短上下文模型擴(kuò)展成長(zhǎng)上下文模型是有代價(jià)的。這也引出了一個(gè)值得探索的研究方向：如何進(jìn)一步擴(kuò)展上下文視窗同時(shí)又不影響其在短上下文任務(wù)上的表現(xiàn)？

5. 對(duì)比 RAG 與長(zhǎng)上下文

表 5 和表 6 比較了使用不同的上下文長(zhǎng)度時(shí)，RAG 與長(zhǎng)上下文解決方案的表現(xiàn)。當(dāng)序列長(zhǎng)度超過(guò) 100K 時(shí)，僅報(bào)告了 En.QA 和 En.MC 的平均分?jǐn)?shù)，因?yàn)?RAG 設(shè)定無(wú)法直接用於 En.Sum 和 En.Dia。

可以看到，當(dāng)下游任務(wù)的序列長(zhǎng)度低於 32K 時(shí)，新提出的長(zhǎng)上下文解決方案優(yōu)於 RAG。這意味著使用 RAG 可以節(jié)省成本，但準(zhǔn)確度會(huì)下降。

另一方面，當(dāng)上下文長(zhǎng)度超過(guò) 100K 時(shí)，RAG（Llama3-ChatQA-2-70B 使用 top-5，Qwen2-72B-Instruct 使用 top-20）優(yōu)於長(zhǎng)上下文解決方案。這意味著當(dāng) token 數(shù)超過(guò) 128K 時(shí)，即使當(dāng)前最佳的長(zhǎng)上下文 LLM，也可能難以實(shí)現(xiàn)有效的理解和推理。團(tuán)隊(duì)建議在這種情況下，能使用 RAG 就盡量使用 RAG，因?yàn)槠淠軒?lái)更高的準(zhǔn)確度和更低的推理成本。