一個(gè)可以自動(dòng)分析 PDF、網(wǎng)頁、海報(bào)、Excel 圖表內(nèi)容的大模型，對(duì)於打工人來說簡(jiǎn)直不要太方便。

上海 AI Lab，香港中文大學(xué)等研究機(jī)構(gòu)提出的 InternLM-XComposer2-4KHD（簡(jiǎn)寫為 IXC2-4KHD）模型讓這成為了現(xiàn)實(shí)。

相比於其他多模態(tài)大模型不超過1500x1500 的分辨率限制，該工作將多模態(tài)大模型的最大輸入圖像提升到超過4K （3840 x1600）分辨率，並支援任意長(zhǎng)寬比和336 像素～4K 動(dòng)態(tài)分辨率變化。

發(fā)布三天，模型就登頂 Hugging Face 視覺問答模型熱度排行榜第一。

輕鬆拿捏4K 影像理解

先來看效果~

研究人員輸入論文（ShareGPT4V: Improving Large Multi-Modal Models with Better Captions）的首頁截圖（解析度為2550x3300），並詢問論文哪個(gè)模型在MMBench 上的表現(xiàn)最高。

要注意的是，該資訊在輸入截圖的正文文字部分並未提及，僅出現(xiàn)在一個(gè)相當(dāng)複雜的雷達(dá)圖中。面對(duì)這麼刁鑽的問題，IXC2-4KHD 成功理解了雷達(dá)圖中的訊息，正確回答問題。

面對(duì)更極端解析度的影像輸入（816 x 5133），IXC2-4KHD 輕鬆理解影像包括7 個(gè)部分，並準(zhǔn)確說明了每個(gè)部分包含的文字訊息內(nèi)容。

隨後，研究人員也在16 個(gè)多模態(tài)大模式評(píng)測(cè)指標(biāo)上全面測(cè)試了IXC2-4KHD 的能力，其中5 項(xiàng)評(píng)測(cè)（DocVQA、ChartQA、InfographicVQA 、TextVQA、OCRBench）著重模型的高解析度影像理解能力。

僅使用7B 參數(shù)量，IXC2-4KHD 在其中10 項(xiàng)評(píng)測(cè)取得了媲美甚至超越GPT4V 和Gemini Pro 的結(jié)果，展現(xiàn)了不局限於高分辨率圖像理解，而是對(duì)各種任務(wù)和場(chǎng)景的泛用能力。

△僅 7B 參數(shù)量的 IXC2-4KHD 效能媲美 GPT-4V 和 Gemini-Pro 如何實(shí)現(xiàn) 4K 動(dòng)態(tài)解析度？

為了實(shí)現(xiàn)4K 動(dòng)態(tài)解析度的目標(biāo)，IXC2-4KHD 包含了三個(gè)主要設(shè)計(jì)：

（1）動(dòng)態(tài)解析度訓(xùn)練：

△4K 解析度影像處理策略

在IXC2-4KHD 的框架中，輸入影像在保持長(zhǎng)寬比的情況下，隨機(jī)放大到介於輸入面積和最大面積（不超過55x336x336，等價(jià)於3840 x1617 解析度）的一個(gè)中間尺寸。

隨後，將影像自動(dòng)切塊成多個(gè) 336x336 的區(qū)域，分別抽取視覺特徵。這種動(dòng)態(tài)解析度的訓(xùn)練策略可以讓模型適應(yīng)任意解析度的視覺輸入，同時(shí)也彌補(bǔ)了高解析度訓(xùn)練資料不足的問題。

實(shí)驗(yàn)表明，隨著動(dòng)態(tài)解析度上限的增加，模型在高解析度影像理解任務(wù)（InfographicVQA、DocVQA、TextVQA）上實(shí)現(xiàn)了穩(wěn)定的效能提升，並且在4K 解析度仍然未達(dá)到上界，展現(xiàn)了更高解析度進(jìn)一步擴(kuò)展的潛力。

（2）加入切塊佈局資訊：

為了讓模型能夠適應(yīng)變化豐富的動(dòng)態(tài)分辨率，研究人員發(fā)現(xiàn)需要將切塊佈局資訊作為額外的輸入。為了實(shí)現(xiàn)這個(gè)目的，研究人員採取了一個(gè)簡(jiǎn)單的策略：一個(gè)特殊的『換行』（’ n ’）令牌被插入到每一行的切塊之後，用於告知模型切塊的佈局。實(shí)驗(yàn)表明，添加切塊佈局信息，對(duì)於變化幅度比較小的動(dòng)態(tài)分辨率訓(xùn)練（HD9 代表切塊區(qū)域個(gè)數(shù)不超過9）影響不大，而對(duì)於動(dòng)態(tài)4K 分辨率訓(xùn)練則可以帶來顯著的性能提升。

（3）推理階段擴(kuò)展解析度

研究人員也發(fā)現(xiàn)，使用動(dòng)態(tài)解析度的模型，可以在推理階段透過增加最大切塊上限直接擴(kuò)展分辨率，並帶來額外的性能增益。例如將 HD9（最多 9 個(gè)）的訓(xùn)練模型直接使用 HD16 進(jìn)行測(cè)試，可以在 InfographicVQA 上觀察到高達(dá) 8% 的效能提升。

IXC2-4KHD 將多模態(tài)大模型支援的分辨率提升到了4K 的水平，研究人員表示目前這種透過增加切塊個(gè)數(shù)來支持更大圖像輸入的策略遇到了計(jì)算代價(jià)和顯存的瓶頸，因此他們計(jì)劃提出更有效率的策略在未來實(shí)現(xiàn)更高解析度的支援。

論文連結(jié)：

https://arxiv.org/pdf/2404.06512.pdf

專案連結(jié)：

##標(biāo)題註明，告訴我們：

你是誰，從哪裡來，投稿內(nèi)容

附上論文/ 專案主頁鏈接，以及聯(lián)絡(luò)方式哦

我們會(huì)（盡量）及時(shí)回覆你

點(diǎn)這裡追蹤我，記得標(biāo)星哦～

一鍵三連「分享」、「按讚」和「在看」

科技前沿進(jìn)展日日相見~

以上是輕鬆拿捏 4K 高畫質(zhì)影像理解！這個(gè)多模態(tài)大模型自動(dòng)分析網(wǎng)頁海報(bào)內(nèi)容，打工人簡(jiǎn)直不要太方便的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！