微软开源创新框架:可将DeepSeek,变成AI Agent siyushenqi.com • 2025 年 8 月 13 日 下午9:48 • 行业动态 • 阅读 465 微软发布了OmniParser的最新版本V2.0,这是一个视觉Agent解析框架,能够将DeepSeek-R1、GPT-4o、Qwen-2.5VL等大模型转化为可在计算机上使用的AI Agent。与V1相比,V2在检测较小的可交互UI元素时准确率更高,推理速度更快,延迟降低了60%,在ScreenSpot Pro基准测试中,V2+GPT-4o的准确率达到了39.6%,相比原始GPT-4o的0.8%有显著提升。 摘要 微软开源了OmniTool,这是一个基于Docker的轻量级Windows 11虚拟机,包含屏幕理解、定位、动作规划和执行等功能。OmniTool由OmniParser V2、OmniBox和Gradio三大组件构成,支持将多种大模型快速转化为Agent,同时OmniBox相比传统Windows虚拟机占用的磁盘空间减少了50%。 OmniParser V2通过将用户界面从像素空间解析为结构化元素,使大模型能够理解和操作这些元素。它类似于自然语言处理中的分词操作,但针对的是视觉信息。V2通过多阶段解析流程,首先检测可交互元素的位置,然后理解其功能和语义,并生成结构化的UI表示,帮助大模型进行动作预测。 OmniParser包含三个重要模块:可交互区域检测模块、功能语义模块和结构化表示与动作生成模块。可交互区域检测模块利用深度学习技术识别用户界面中的交互点;功能语义模块为每个图标生成描述其功能的文本;结构化表示与动作生成模块整合前两个模块的输出,形成类似DOM的UI表示,帮助大模型更好地理解屏幕内容。 OmniParser能够显著提升大模型在复杂用户界面中的操作能力,例如识别网页中的按钮、输入框等功能元素,并帮助模型预测下一步动作。它为开发者提供了一个高效、低资源消耗的测试环境,尤其适合硬件资源有限的开发者。OmniParser的开源地址为Hugging Face和GitHub,方便开发者使用和研究。 微软在官网发布了视觉Agent解析框架OmniParser最新版本V2.0,可将DeepSeek-R1、GPT-4o、Qwen-2.5VL等模型,变成可在计算机使用的AI Agent。 与V1版本相比,V2在检测较小的可交互UI元素时准确率更高、推理速度更快,延迟降低了60%。在高分辨率Agent基准测试ScreenSpot Pro中,V2+GPT-4o的准确率达到了惊人的39.6%,而GPT-4o原始准确率只有0.8%,整体提升非常大。 除了V2,微软还开源了omnitool,这是一个基于Docker的 Windows 系统,涵盖屏幕理解、定位、动作规划和执行等功能,也是将大模型变成Agent的关键工具。 开源地址:https://huggingface.co/microsoft/OmniParser-v2.0 Github:https://github.com/microsoft/OmniParser/ https://github.com/microsoft/OmniParser/tree/master/omnitool OmniParser V2简单介绍 目前,将大模型变成Agent的关键难点在于,需要能够可靠地识别用户界面中的可交互图标,同时必须理解截图中各种元素的语义,并准确将预期动作与屏幕上的对应区域关联起来。 而V2通过将用户界面从像素空间“标记化”解析为结构化元素,使得大模型能够理解和操作这些元素。这有点类似于自然语言处理中的分词操作,但针对的是视觉信息。通过这种方式,大模型可以在解析后的可交互元素集合上进行基于检索的下一步动作预测。 例如,当一个大模型需要完成一个复杂的网页操作任务时, V2可以帮助它识别网页中的按钮、输入框等元素,并理解这些元素的功能如登录按钮、搜索框等。 大模型就可以更准确地预测下一步需要执行的动作,比如点击登录按钮,或在搜索框中输入关键词。 简单来说,你可以把V2看成是大模型的“眼睛”,可以让其更好地理解和操作复杂的用户界面。 OmniTool是一个集成化工具,支持开箱即用,可以将DeepSeek-R1、GPT-4o、Qwen-2.5VL等模型变成Agent,一共由V2、OmniBox和Gradio三大块组成。 V2上面已经介绍过了,OmniBox则是一个基于 Docker 的轻量级Windows 11虚拟机。与传统的Windows虚拟机相比,OmniBox占用的磁盘空间减少了50%,同时提供了相同的计算机使用 API。 用户可以在更小的资源消耗下,快速搭建和运行 GUI 自动化任务的测试环境。这对于硬件资源有限的开发者来说非常方便。 Gradio UI提供了一个交互界面,可以帮助开发者轻松地与V2和大模型进行交互,快速测试和验证自动化任务的效果。 Gradio UI的使用非常简单,只需要在本地机器上启动OmniBox和 Gradio服务器,然后通过浏览器访问Gradio UI提供的界面即可。 OmniParser核心架构 OmniParser的核心思想是将用户界面的视觉信息,转化为易于理解和操作的结构化数据。不过这个过程比较复杂,需要多个模块协作才能完成。 首先,OmniParser需要从用户界面截图中识别出所有可交互的元素,例如,按钮、图标和输入框等。这些元素是用户与界面交互的基础,因此准确地检测它们是至关重要的第一步。 接下来,OmniParser不仅要识别这些元素的位置,还要理解它们的功能和语义。例如,一个带有三个点的图标可能表示“更多选项”,而一个放大镜图标则可能代表“搜索”。这种对功能的深入理解,才能使得大模型能够更准确地预测用户可能需要执行的操作。 为了实现这些目标,OmniParser采用了多阶段的解析流程。在第一阶段,可交互区域检测模块利用深度学习技术,从用户界面截图中识别出所有可能的交互点。这一模块的训练数据集,包含了来自流行网页的67,000张独特截图,每张截图都标注了从DOM树中提取的可交互区域的边界框。 通过使用模型对这些数据进行训练,OmniParser能够以极高的准确率识别出屏幕上的可交互元素,并为每个元素分配一个唯一的标识符。 但仅仅识别出可交互元素的位置是不够的。在复杂的用户界面中,一个按钮的形状和颜色可能与其他按钮相似,其功能却截然不同。所以,OmniParser内置了功能语义模块。 该模块的目标是为每个检测到的图标生成一个描述其功能的文本。微软开发了一个包含7,185个图标描述对的数据集,并使用BLIP-v2模型对其进行微调,能够更准确地描述常见应用图标的语义信息。 例如,它不再仅仅描述一个图标为“带有三个点的圆形图标”,而是能够理解并生成“用于访问更多选项的图标”这样的描述。 OmniParser的第三个重要模块是结构化表示与动作生成模块。这一模块将前两个模块的输出整合在一起,形成一个结构化的、类似DOM的UI表示。不仅包含了叠加了边界框和唯一ID的截图,还包含了每个图标的语义描述。 这可以帮助DeepSeek-R1、GPT-4o、Qwen-2.5VL等模型更轻松地理解屏幕内容,并专注于动作预测。例如,当任务是“点击设置按钮”时,OmniParser不仅提供了设置按钮的边界框和ID,还提供了其功能描述,颗显著提高了模型的准确性和鲁棒性。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32882.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 昆仑万维发布Matrix-Zero世界模型,开启空间智能新时代 上一篇 2025 年 8 月 13 日 下午9:47 微信测试接入DeepSeek 下一篇 2025 年 8 月 13 日 下午9:48 相关推荐 行业动态 掘金超300亿的潮玩市场 “泡泡玛特”们在东南亚掀起了开盲盒热潮 欧美,日本之后,潮玩淘金地下一站是东南亚? siyushenqi.com 2025 年 8 月 12 日 502000 私域神器每周精选 No.30|多款精品游戏寻海外发行、流量合作 本期精选的合作类型涵盖多款精品手游资源合作与流量需求,寻购清理工具源代码等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 行业动态 从挪车到箭头逃脱,新游蝉联美国游戏榜TOP10,极简挪箭头能否为新玩法原型? 海内外厂商纷纷跟进,休闲益智IAA又有新玩法。 siyushenqi.com 2025 年 12 月 14 日 503000 行业动态 画个圈就能搜索!谷歌Gemini Pro植入旗舰,开启手机AI大战 近日,三星在加利福尼亚州圣何塞隆重发布了最新的Galaxy S24系列手机,AI要素拉满!网友一片热情,纷纷实测 siyushenqi.com 2025 年 8 月 13 日 385000 行业动态 突发!Stable Diffusion 3,可通过API使用啦 本次继续由知名API管理平台Fireworks AI提供服务。 siyushenqi.com 2025 年 8 月 13 日 415000 时隔四年再发力战术竞技,这款游戏蕴含着光子怎样的“野心” 新思路,新挑战。 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 423000 行业动态 私域神器每周合作精选 No.86|国内竖屏短剧全球授权;畅读寻海外优质短剧;多款游戏产品寻合作/流量 本期精选的合作类型涵盖国内竖屏短剧全球授权;畅读寻海外优质短剧;多款游戏产品寻合作/流量。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 466000 行业动态 3C新手卖家,短短数月日出万单,他出海东南亚究竟有什么砝码? 炒过股,入过金融行业、涉猎风投、券商投行,深圳市大助科技有限公司CEO张正豪曾经的履历让人眼前一亮 siyushenqi.com 2025 年 8 月 13 日 393000 行业动态 2023年北欧电商市场报告 北欧国家普遍拥有较高的互联网普及率,人口数量增长和人均GDP也高于欧洲平均水平,拥有较好的电商发展条件。 siyushenqi.com 2025 年 8 月 12 日 453000 行业动态 独家:4259款AI产品关键指标排名与分析 最全的AI产品榜单(也许) siyushenqi.com 2025 年 8 月 14 日 486000 爱情价更高,海外Tinder这类的约会App到底有多赚 以下文章来源于九日论道 ,作者BenjaminDxc (扬帆出海 注:推荐个很不错的文章来自九日论道,也是业内资深从业者,欢迎大家关注。) 关于约会App,全球头部的两款超级大山:Tinder和 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 477000 印度厂商Nukebox推新作《Room Flip》,可自定义角色外型的三消+装修游戏 开发过《餐车厨师》和《海绵宝宝: 大闹蟹堡王》的印度厂商Nukebox Studios最近又推出了一款新作 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 527000 行业动态 2025,AI硬件回归真实世界 2025年AI硬件迎来第二轮爆发,已出现百万级出货量的潜在爆款:Meta Ray-Ban AI眼镜、Plaud.AI卡片录音机等率先跨过“大众门槛”。 siyushenqi.com 2025 年 8 月 13 日 489000 行业动态 美团本月上线巴西,计划投资10亿美金 10月30日正式上线桑托斯、圣维森特,已签约700+餐厅、培训2000+骑手,计划2025年底覆盖圣保罗市。 siyushenqi.com 2025 年 10 月 15 日 389000 下载量突破10亿次!网文出海如何做好海外原创与投放买量? 全球图书与工具书类应用海外下载量突破10亿次 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 253000 行业动态 短剧Q3季报|《风月变》《逃出大英博物馆》皆破1,短剧市场提质效果明显 短剧Q3季报|德塔文2023年第三季度微短剧市场报告 siyushenqi.com 2025 年 8 月 19 日 425000 行业动态 利用RCS群发实现精准触达的客户细分策略 RCS群发通过提供多种互动功能和丰富的多媒体支持,使企业能够实现更加个性化和智能化的客户触达。相比传统短信,RCS的跨平台支持和数据分析功能使得营销策略更加精准。结合客户细分策略,企业可以根据不同客户群体的需求和行为,定制个性化的营销... siyushenqi.com 2026 年 1 月 25 日 391000 行业动态 占领全球混休榜单,把混休单品月流水拉到千万美元,欧洲第二大游戏市场竟然是它? 18亿美金收购案后,这里获25亿融资:“休闲游戏兵工厂”2025仍受瞩目。 siyushenqi.com 2026 年 1 月 29 日 368000 行业动态 为何拼多多TEMU与字节TikTok Shop都瞄准欧洲? 欧洲市场曾是电商“难啃的骨头”,消费者线上购物谨慎、品牌忠诚度高,物流、支付、数据安全立法规范严格。但如今电商环境变化,通货膨胀下性价比成新王道,传统零售受挫,折扣店和电商崛起,电商用户教育工作取得进展,品牌忠诚度阶段性下滑,为TEMU、Shein和TikTok Shop等带来新机遇。 siyushenqi.com 2025 年 8 月 5 日 489000 行业动态 未售先火,最高近27万玩家在线,又一款黑马射击游戏爆了 有点“上头”也有点“下头”。 siyushenqi.com 2025 年 8 月 18 日 460000 TikTok首度加入美区黑五热战 能否复制抖音电商神话? TikTok Shop会是一个不错的机会,但是对从0-1出海的品牌而言,并不见得是门好生意 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 467000 行业动态 通过信用证收款的合同,难点在什么地方? 从管理的角度看,使用L/C 作为收款方式的出口商,主要目的是能在出货后根据 LC 所规定的单据通过银行取得货款,所以就管理的层次来说提升制作单据的水准,达到零瑕疵的境界,是最主要的目标。如果银行认为你提供的单据有不符点,银行有权拒付。 提交零瑕疵的单据,说起来容易,实际操作很困难。 常见的问题主要有: (1) LC条款中,对单据的有些要求无论你怎样努力都做不… siyushenqi.com 2025 年 8 月 13 日 下午9:48 465000 行业动态 1110亿美元推进收购华纳兄弟,派拉蒙计划整合流媒体 派拉蒙以1110亿美元收购华纳兄弟探索,计划将Paramount+与HBO Max合并,整合后用户超2亿,直面流媒体巨头竞争。 siyushenqi.com 2026 年 3 月 5 日 233000 中国卖家霸屏亚马逊飙升榜!哪些类目最受关注? 据跨境眼消息,从亚马逊美国站的销售额来看,在过去12个月中,美国站本土卖家的销售额排名第一 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 391000 行业动态 AI应用出海,科技圈必争的一场竞技角斗 9月10日,中美两大科技巨头苹果和华为选择在同一天召开新品发布会,华为Mate XT和苹果16的硬刚,也成为科技圈的热议话题。 siyushenqi.com 2025 年 8 月 13 日 427000 行业动态 TikTok Shop正式推出商家自运营模式,向大批卖家抛出橄榄枝 TikTok Shop紧紧咬住了美国电商市场。 siyushenqi.com 2025 年 8 月 12 日 442000 行业动态 月之暗面们拒绝成为OpenAI 本土AI圈陷入路线纷争已久。 siyushenqi.com 2025 年 8 月 13 日 455000 营收破15亿!小家电黑马强势席卷海外 徕芬,2019年成立,22年营收破15亿,短短几年拿下多平台高速吹风机行业TOP1,被称为「国货之光」。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 481000 行业动态 格子互动创始人&CEO-凌天格确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会圆桌嘉宾 格子互动创始人&CEO-凌天格确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 22 日 591000 行业动态 OpenClaw自动执行任务案例详解与技巧 OpenClaw提供多种任务自动执行模式,包括定时调度、后台运行和复杂任务隔离,能够显著提升重复性工作效率和稳定性。通过智能管理各类任务,它帮助减少人工干预,使资源使用更合理,同时保障任务的可靠执行。 siyushenqi.com 2026 年 3 月 10 日 361000 发表回复 请登录后评论...登录后才能评论 提交