多模態(tài)文件理解能力新SOTA！

阿里mPLUG團隊發(fā)布最新開源工作mPLUG-DocOwl 1.5，針對高解析度圖片文字辨識、通用文件結構理解、指令遵循、外部知識引入四大挑戰(zhàn)，提出了一系列解決方案。

話不多說，先來看效果。

複雜結構的圖表一鍵辨識轉換為Markdown格式：

#不同樣式的圖表都可以：

#更細節(jié)的文字辨識與定位也能輕鬆搞定：

#還能對文件理解給出詳細解釋：

#要知道，「文檔理解」目前是大語言模型實現(xiàn)落地的一個重要場景，市面上有很多輔助文檔閱讀的產品，有的主要透過OCR系統(tǒng)進行文字識別，配合LLM進行文字理解可以達到不錯的文件理解能力。

不過，由於文件圖片類別多元、文字豐富且排版複雜，難以實現(xiàn)圖表、資訊圖表、網(wǎng)頁等結構複雜圖片的一般理解。

目前爆火的多模態(tài)大模型QwenVL-Max、Gemini, Claude3、GPT4V都具備很強的文檔圖片理解能力，然而開源模型在這個方向上的進展緩慢。

而阿里新研究mPLUG-DocOwl 1.5在10個文檔理解基準上拿下SOTA，5個資料集上提升超過10個點，部分資料集上超過智譜17.3B的CogAgent，在DocVQA上達到82.2的效果。

除了具備基準上簡單回答的能力，透過少量「詳細解釋」（reasoning）資料的微調，DocOwl 1.5-Chat也能具備多模態(tài)文件領域詳細解釋的能力，具有很大的應用潛力。

阿里mPLUG團隊從2023年7月份開始投入多模態(tài)文件理解的研究，陸續(xù)發(fā)布了mPLUG-DocOwl、 UReader、mPLUG-PaperOwl、mPLUG-DocOwl 1.5，開源了一系列文件理解大模型和訓練資料。

本文從最新工作mPLUG-DocOwl 1.5出發(fā)，剖析「多模態(tài)文件理解」領域的關鍵挑戰(zhàn)和有效解決方案。

挑戰(zhàn)一：高解析度圖片文字辨識

區(qū)分於一般圖片，文件圖片的特點在於形狀大小多樣化，其可以包含A4大小的文件圖、短而寬的表格圖、長而窄的手機網(wǎng)頁截圖以及隨手拍攝的場景圖等等，解析度的分佈十分廣泛。

主流的多模態(tài)大模型編碼圖片時，往往直接縮放圖片的大小，例如mPLUG-Owl2和QwenVL縮放到448x448，LLaVA 1.5縮放到336x336。

簡單的縮放文件圖片會導致圖片中的文字模糊形變從而不可辨認。

為了處理文件圖片，mPLUG-DocOwl 1.5延續(xù)了其前序工作UReader的切圖做法，模型結構如圖1所示：

#△圖1：DocOwl 1.5模型結構圖

UReader最早提出在已有多模態(tài)大模型的基礎上，透過無參數(shù)的形狀適應切圖模組（Shape -adaptive Cropping Module）得到一系列子圖，每張子圖透過低解析度編碼器進行編碼，最後透過語言模型關聯(lián)子圖直接的語意。

此切圖策略可以最大程度利用已有通用視覺編碼器（例如CLIP ViT-14/L）的能力進行文件理解，大幅減少重新訓練高分辨率視覺編碼器的代價。形狀適應的切圖模組如圖2所示：

△圖2：形狀適應的切圖模塊。

挑戰(zhàn)二：通用文檔結構理解

對于不依賴OCR系統(tǒng)的文檔理解來說，識別文字是基本能力，要實現(xiàn)文檔內容的語義理解、結構理解十分重要，例如理解表格內容需要理解表頭和行列的對應關系，理解圖表需要理解線圖、柱狀圖、餅圖等多樣化結構，理解合同需要理解日期署名等多樣化的鍵值對。

mPLUG-DocOwl 1.5著力于解決通用文檔等結構理解能力，通過模型結構的優(yōu)化和訓練任務的增強實現(xiàn)了顯著更強的通用文檔理解能力。

結構方面，如圖1所示，mPLUG-DocOwl 1.5放棄了mPLUG-Owl/mPLUG-Owl2中Abstractor的視覺語言連接模塊，采用基于“卷積 全連接層”的H-Reducer進行特征聚合以及特征對齊。

相比于基于learnable queries的Abstractor，H-Reducer保留了視覺特征之間的相對位置關系，更好的將文檔結構信息傳遞給語言模型。

相比于保留視覺序列長度的MLP，H-Reducer通過卷積大幅縮減了視覺特征數(shù)量，使得LLM可以更高效地理解高分辨率文檔圖片。

考慮到大部分文檔圖片中文字優(yōu)先水平排布，水平方向的文字語義具有連貫性，H-Reducer中采用1x4的卷積形狀和步長。論文中，作者通過充分的對比實驗證明了H-Reducer在結構理解方面的優(yōu)越性以及1x4是更通用的聚合形狀。

訓練任務方面，mPLUG-DocOwl 1.5為所有類型的圖片設計了統(tǒng)一結構學習（Unified Structure Learning）任務，如圖3所示。

△圖3：統(tǒng)一結構學習

Unified Structure Learning既包括了全局的圖片文字解析，又包含了多粒度的文字識別和定位。

在全局圖片文字解析任務中，對于文檔圖片和網(wǎng)頁圖片，采用空格和換行的形式可以最通用地表示文字的結構；對于表格，作者在Markdown語法的基礎上引入表示多行多列的特殊字符，兼顧了表格表示的簡潔性和通用性；對于圖表，考慮到圖表是表格數(shù)據(jù)的可視化呈現(xiàn)，作者同樣采用Markdown形式的表格作為圖表的解析目標；對于自然圖，語義描述和場景文字同等重要，因此采用圖片描述拼接場景文字的形式作為解析目標。

在“文字識別和定位”任務中，為了更貼合文檔圖片理解，作者設計了單詞、詞組、行、塊四種粒度的文字識別和定位，bounding box采用離散化的整數(shù)數(shù)字表示，范圍0-999。

為了支持統(tǒng)一的結構學習，作者構建了一個全面的訓練集DocStruct4M，涵蓋了文檔/網(wǎng)頁、表格、圖表、自然圖等不同類型的圖片。

經過統(tǒng)一結構學習，DocOwl 1.5具備多領域文檔圖片的結構化解析和文字定位能力。

△圖4: 結構化文字解析

如圖4和圖5所示：

△圖5: 多粒度文字識別和定位

挑戰(zhàn)三：指令遵循

“指令遵循”（Instruction Following）要求模型基于基礎的文檔理解能力，根據(jù)用戶的指令執(zhí)行不同的任務，例如信息抽取、問答、圖片描述等。

延續(xù)mPLUG-DocOwl的做法，DocOwl 1.5將多個下游任務統(tǒng)一為指令問答的形式，在統(tǒng)一的結構學習之后，通過多任務聯(lián)合訓練的形式得到一個文檔領域的通用模型（generalist）。

此外，為了使得模型具備詳細解釋的能力，mPLUG-DocOwl曾嘗試引入純文本指令微調數(shù)據(jù)進行聯(lián)合訓練，有一定效果但并不理想。

在DocOwl 1.5中，作者基于下游任務的問題，通過GPT3.5以及GPT4V構建了少量的詳細解釋數(shù)據(jù)（DocReason25K）。

透過聯(lián)合文件下游任務和DocReason25K進行訓練，DocOwl 1.5-Chat既可以在基準上實現(xiàn)更優(yōu)的效果：

△圖6：文檔理解Benchmark評測

又能給予詳細的解釋：

#△圖7：文件理解詳細解釋

挑戰(zhàn)四：外部知識引入

文件圖片由於資訊的豐富性，進行理解的時候往往需要額外的知識引入，例如特殊領域的專業(yè)名詞及其意義等等。

為了研究如何引入外部知識進行更好的文檔理解，mPLUG團隊著手於論文領域提出了mPLUG-PaperOwl，構建了一個高品質論文圖表分析資料集M-Paper，涉及447k的高清論文圖表。

該資料中為論文中的圖表提供了上下文作為外部知識來源，並且設計了「要點」（outline）作為圖表分析的控制訊號，幫助模型更好地掌握用戶的意圖。

基於UReader，作者在M-Paper上微調得到mPLUG-PaperOwl，展現(xiàn)了初步的論文圖表分析能力，如圖8所示。

△圖8：論文圖表分析

mPLUG-PaperOwl目前只是引入外部知識進文檔理解的初步嘗試，仍然面臨著領域局限性、知識來源單一等問題需要進一步解決。

總的來說，本文從最近發(fā)布的7B最強多模態(tài)文檔理解大模型mPLUG-DocOwl 1.5出發(fā)，總結了不依賴OCR的情況下，進行多模態(tài)文檔理解的關鍵四個關鍵挑戰(zhàn)（“高解析度圖片文字識別”，“通用文件結構理解”，“指令遵循”， “外部知識引入” ）和阿里巴巴mPLUG團隊給出的解決方案。

儘管mPLUG-DocOwl 1.5大幅提升了開源模型的文檔理解表現(xiàn)，其距離閉源大模型以及現(xiàn)實需求仍然有較大差距，在自然場景中文字識別、數(shù)學計算、通用型等方面仍然有進步空間。

mPLUG團隊會進一步優(yōu)化DocOwl的效能並進行開源，歡迎大家持續(xù)關注和友好討論！

GitHub連結：https://github.com/X-PLUG/mPLUG-DocOwl
論文連結：https://arxiv.org/abs/2403.12895