微軟近期在人工智能領(lǐng)域再次邁出重要一步，推出了OmniParser V2.0，這是一款基于純視覺(jué)技術(shù)的GUI智能體解析工具，能夠精準(zhǔn)識(shí)別并解析屏幕上的可交互圖標(biāo)。此前，該工具與GPT-4V的結(jié)合已顯著提升了其識(shí)別能力。

在2月12日，微軟官方網(wǎng)站上正式發(fā)布了OmniParser的最新版本。這一版本不僅延續(xù)了前代產(chǎn)品的優(yōu)勢(shì)，還實(shí)現(xiàn)了與多個(gè)先進(jìn)AI模型的兼容，包括OpenAI的多個(gè)版本（4o、o1、o3-mini）、DeepSeek R1、Qwen 2.5VL以及Anthropic的Sonnet等。這意味著這些模型在OmniParser的助力下，能夠轉(zhuǎn)變?yōu)椴倏赜?jì)算機(jī)的AI智能體。

相較于V1版本，OmniParser V2.0在訓(xùn)練數(shù)據(jù)上進(jìn)行了大幅升級(jí)，采用了更大規(guī)模的交互元素檢測(cè)數(shù)據(jù)和圖標(biāo)功能標(biāo)題數(shù)據(jù)。這一改進(jìn)使得V2.0在檢測(cè)較小的可交互UI元素時(shí)，準(zhǔn)確率有了顯著提升，同時(shí)推理速度也更快，延遲降低了60%。

在高分辨率Agent基準(zhǔn)測(cè)試ScreenSpot Pro中，OmniParser V2.0與GPT-4o的結(jié)合展現(xiàn)出了驚人的效果。測(cè)試結(jié)果顯示，V2.0+GPT-4o的準(zhǔn)確率高達(dá)39.6%，而GPT-4o單獨(dú)使用時(shí)，準(zhǔn)確率僅為0.8%。這一對(duì)比充分展示了OmniParser V2.0在提升AI模型性能方面的巨大潛力。

為了加速不同智能體設(shè)置的實(shí)驗(yàn)進(jìn)程，微軟還推出了OmniTool這一開(kāi)源工具。OmniTool是一個(gè)集成了屏幕理解、定位、動(dòng)作規(guī)劃和執(zhí)行等基本功能的Docker化Windows系統(tǒng)。這一工具為將大模型轉(zhuǎn)變?yōu)橹悄荏w提供了關(guān)鍵支持，極大地簡(jiǎn)化了實(shí)驗(yàn)過(guò)程。

對(duì)于對(duì)OmniParser和OmniTool感興趣的開(kāi)發(fā)者而言，微軟已經(jīng)提供了開(kāi)源地址，方便他們獲取并使用這些工具，以進(jìn)一步推動(dòng)人工智能技術(shù)的發(fā)展。