微軟近日宣布了一項重大開源項目——OmniParser，這是一款專為解析和識別屏幕上可交互圖標(biāo)設(shè)計的AI工具。傳統(tǒng)自動化方法受限于HTML或視圖層次結(jié)構(gòu)，而現(xiàn)有的視覺語言模型在處理復(fù)雜GUI元素時又顯得力不從心。為此，微軟推出了這款純視覺基礎(chǔ)的工具，旨在解決當(dāng)前屏幕解析技術(shù)的局限性。

OmniParser結(jié)合了可交互區(qū)域檢測模型、圖標(biāo)描述模型和OCR模塊，無需依賴HTML標(biāo)簽或視圖層次結(jié)構(gòu)等顯式基礎(chǔ)數(shù)據(jù)。這一特性使得它能夠在桌面、移動設(shè)備和網(wǎng)頁等多種平臺上跨平臺工作，顯著提高了用戶界面的解析準(zhǔn)確性。OmniParser還能將識別出的屏幕元素轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)。

在實際測試中，OmniParser展現(xiàn)出了卓越的性能。在ScreenSpot數(shù)據(jù)集中，它的準(zhǔn)確率提高了73%，遠超依賴HTML解析的模型。同時，當(dāng)GPT-4V使用OmniParser的輸出后，圖標(biāo)的正確標(biāo)記率從70.5%提升至93.8%。這些改進充分證明了OmniParser在解決當(dāng)前GUI交互模型根本缺陷方面的有效性。

微軟已在Hugging Face上發(fā)布了OmniParser，這一舉措將有助于普及這一前沿技術(shù)，進一步推動多模態(tài)AI的發(fā)展，特別是在無障礙、自動化和智能用戶輔助等領(lǐng)域。