微软开源视觉GUI智能体:增强GPT-4V能力,超3800颗星 siyushenqi.com • 2025 年 8 月 13 日 下午9:22 • 行业动态 • 阅读 430 微软研究人员开源了名为OmniParser的纯视觉GUI智能体,旨在解决多模态视觉大模型在将预测动作转换为UI实际操作时的难题,特别是在理解和推理视觉内容方面。 摘要 OmniParser能够将用户界面截图解析为结构化元素,显著增强了模型对应界面区域预测的能力,减轻了GPT-4V等模型在动作预测时的负担。 OmniParser的核心组件包括一个微调的交互式图标检测模型、一个微调的图标描述模型以及OCR光学字符识别模块,这些组件协同工作生成用户界面的结构化表示,并在截图上叠加显示潜在可互动元素的边界框。 研究人员利用大规模数据集和Set-of-Marks方法训练模型,使其能够识别多种类型的可互动图标,并在不同上下文环境中识别新样式或未曾见过的图标。 在多个基准测试中,与OmniParser集成后的GPT-4V性能得到显著提升,超过了同类模型,在不同任务中显示出更高的操作准确性和图标分配能力。 随着GPT-4V等多模态视觉大模型的出现,在理解和推理视觉内容方面获得了巨大进步。但是将预测的动作准确转换为UI上的实际操作时却很难。 例如,难以准确识别用户界面内可交互的图标,以及在理解屏幕截图中各种元素的语义并将预期动作与屏幕上相应区域的关联。 为了解决这个难题,微软研究人员开源了纯视觉GUI智能体OmniParser,能够轻松将用户界面截图解析为结构化元素,显著增强GPT-4V等模型对应界面区域预测的能力。目前,OmniParser在Github上非常火,已经超过3800颗星。 开源地址:https://github.com/microsoft/OmniParser 通常在UI识别操作任务中,模型需要具备两个关键能力:一是理解当前UI屏幕的内容,包括分析整体布局以及识别带有数字 ID 标注的图标的功能;二是基于当前屏幕状态预测下一步有助于完成任务的动作。 研究人员发现,将这两个任务整合在一个模型中执行会给模型带来较大负担,影响其性能表现。因此,OmniParser 采用了一种分阶段处理的策略,在屏幕解析阶段预先提取相关信息,来减轻GPT - 4V在动作预测时的负担,使其能够更好地聚焦于核心任务。 OmniParser的核心组件包括一个微调的交互式图标检测模型、一个微调的图标描述模型以及OCR光学字符识别模块。这三个组件协同工作,可以生成用户界面的结构化表示,类似于文档对象模型,并且还会在截图上叠加显示潜在可互动元素的边界框。 在OmniParser的整体架构中,可互动区域检测模型扮演着至关重要的角色,是识别用户界面截图中所有潜在可互动元素的关键组件。为了训练这样一个高效的检测模型,研究人员采取了一系列策略和技术手段。 首先,利用先前构建的大规模数据集,该模型被赋予了识别多种类型可互动图标的能力。这些图标包括但不限于按钮、链接、菜单选项等常见控件。通过对大量带有精确边界框标注的真实网页截图进行学习,模型逐渐掌握了不同类型图标之间的细微差别,以及它们在不同上下文环境中可能出现的变化形式。不仅提高了模型的泛化能力,也使其能够在遇到新样式或未曾见过的图标时仍能做出准确判断。 除了直接使用图像作为输入外,研究人员还引入了一种称为Set-of-Marks的方法来辅助训练过程。这种方法通过在原始截图上叠加一层高亮显示的边界框来明确指出哪些区域属于可互动元素,可以有效地引导模型关注那些真正重要的地方,而非整个屏幕的所有细节。 此外,相比于其他类似工作中采用的真实DOM树节点位置信息或者人工标注的数据集,这种方式具有更好的灵活性和适用范围,特别是在移动端设备的小屏幕上也能表现出色。 图标描述模型的主要职责是对检测出来的图标进行功能性语义的理解,不仅要识别出图标本身,还要能够解释其在用户界面中的具体作用。 研究人员首先定义了一套详细的标签体系,涵盖了许多常见的图标类型及其对应的功能说明。例如,“搜索”图标通常代表查找功能,“设置”图标则指向系统配置选项。 基于这套体系,他们精心挑选并标注了一批高质量的图标样本,以便让模型学会如何根据视觉特征来推断图标背后的含义。为了增强模型处理未知图标的能力,训练过程中还特意加入了一些变异或非标准样式的图标案例,以提高GPT-4V的泛化能力,能够基于更丰富的信息作出更加合理的决策。 OCR则主要用于识别和转换图像中的文本内容。经过性能优化的OCR不仅可以轻松应对常规印刷体文字,还能有效处理手写体或其他特殊字体的情况。此外,为了进一步提高识别精度,研究人员还引入了预处理步骤,如图像去噪、倾斜校正等方式,确保输入至OCR引擎的图像质量达到最佳状态。 值得一提的是,OCR在集成到OmniParser整体架构后,与其他组件之间实现了无缝衔接。当可互动区域检测模型定位到某个包含文字的按钮或字段时,OCR模块便会被激活迅速读取其中的文字信息,极大提升了模型的识别能力和范围。 在多个基准测试结果显示,GPT-4V在与OmniParser集成后性能得到显著提升,超过同类模型。例如,在SeeAssign任务评估中加入局部语义信息后,GPT-4V正确分配图标的能力大幅提升; 在ScreenSpot基准测试中显著提高了GPT-4V在不同平台上的操作准确性;在Mind2Web基准测试中,其表现优于使用HTML信息辅助的GPT-4V;在AITW基准测试中,也使GPT-4V在移动导航任务中的表现得到显著提升。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32652.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 美团的这些AI应用,倒把我给整不会了 上一篇 2025 年 8 月 13 日 下午9:22 1.4 万亿美元的 Meta,被迫卷入 AI 竞争的无限游戏 下一篇 2025 年 8 月 13 日 下午9:22 相关推荐 跨境电商,谁主沉浮 八仙过海,各显神通。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 431000 行业动态 上线一个月流水超2亿,Niantic找到了它的第二个爆款 逆转局面。 siyushenqi.com 2025 年 8 月 19 日 445000 行业动态 OpenClaw的技能生态:ClawHub安全性与管理 OpenClaw平台通过ClawHub生态系统,结合开放与安全性,打造了一个充满活力的技能市场。该平台在提供便捷技能资源的同时,也面临恶意技能和安全隐患的风险。随着技能数量激增,安全治理成为平台管理的重点,必须通过技术手段及社区规则确... siyushenqi.com 2026 年 3 月 10 日 286000 行业动态 外贸企业该怎样应对客户的拒绝? 外贸业务员在工作中被客户拒绝是很常见的事。那么,客户每一次的拒绝都是真实的拒绝吗?也不都是。有些客户也在谈判的时候也会用一些技巧,也有欲擒故纵的拒绝。所以,当我们被客户拒绝的时候,该如何应对客户的拒绝呢? 一、被客户拒绝的潜台词 客户为什么拒绝我们?这个问题的答案客户是不会告诉我们的,或许也会只会用一些理由来推辞。所以,我们只能根据与客户的沟通来分析客户拒绝… siyushenqi.com 2025 年 8 月 13 日 下午9:22 430000 行业动态 刘强东压力巨大,京东国际化,不成功便成仁 刘强东:是否国际化,决定京东未来的生死。 siyushenqi.com 2025 年 8 月 5 日 419000 行业动态 解密:海外运动服装品牌的运营之道 海外服装DTC品牌如何逆势生长 siyushenqi.com 2025 年 8 月 12 日 447000 行业动态 PAGC最后72小时免费报名,广州见!拓人脉,找合作,聊出海,再忙也要去! 倒计时3天!垂直精准的互联网出海人商业狂欢日! siyushenqi.com 2025 年 8 月 17 日 510000 行业动态 上线就为50万美国人配对成功,这款社交应用吃到ChatGPT红利,月流水增长80% 美国也有“世纪佳缘”了? siyushenqi.com 2025 年 8 月 17 日 426000 行业动态 我做跨境这些年,聊聊WhatsApp接码注册海外账号的那些坑 作为同时运营亚马逊、独立站和社媒矩阵的跨境电商从业者,我分享自己在实际业务中使用WhatsApp接码注册海外账号的真实经历,包括踩过的坑、注册流程、成功率提升技巧,以及在社媒引流和客户运营中的实际应用。 siyushenqi.com 2026 年 3 月 6 日 345000 行业动态 乐堂集团 海外负责人 安旭 确认担任 PAGC 2025丨第五届全球产品与增长展会 游戏出海增长峰会演讲嘉宾! 乐堂集团 海外负责人 安旭 确认担任 PAGC 2025丨第五届全球产品与增长展会 游戏出海增长峰会演讲嘉宾! siyushenqi.com 2025 年 8 月 17 日 410000 小家电也有大商机!这个品牌稳坐TikTok直播间销售额Top1 小家电的市场可并不“小” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 691000 行业动态 “在非洲直接复制中国模式行不通”丨投资人看非洲 13亿人口所蕴含的巨大红利,日渐提高的智能手机普及率以及年轻化的人口结构所象征的无限互联网生态发展潜力 siyushenqi.com 2025 年 8 月 26 日 453000 行业动态 大模型降价潮再起! 阿里云宣布本年度第三轮大模型降价,其中通义千问视觉理解模型全线降价超过80%,Qwen-VL-Plus降价81%,Qwen-VL-Max降价85%,创下行业内的新低价格。 siyushenqi.com 2025 年 8 月 13 日 426000 行业动态 Shein和Temu加大在欧广告投放力度 在美国政府加征关税和取消小额包裹免税政策的背景下,中国快时尚电商平台Shein和Temu减少了在美国的数字广告支出,同时大幅增加了在欧洲的广告投入。这一调整表明它们正在将业务重心从美国市场转向欧洲市场。 siyushenqi.com 2025 年 8 月 5 日 503000 行业动态 AI漫剧、微短剧、图文剧,短剧出海高效对接,就在12.11深圳“剧佳拍档” 《剧佳拍档——短剧出海对接会》12月11日深圳见。 siyushenqi.com 2025 年 12 月 10 日 401000 行业动态 接连四次自降身价,美国版美团混得到底有多惨? 估值缩水80%、IPO遥遥无期…… siyushenqi.com 2025 年 8 月 24 日 444000 行业动态 多款亚马逊热卖品暴雷,近万件产品被紧急召回 近万件亚马逊热卖品被紧急召回? siyushenqi.com 2025 年 8 月 12 日 465000 行业动态 DeepSeek宣布涨价,投资人称DeepSeek对商业化不感兴趣 DeepSeek-V3的API服务在2月9日结束优惠体验期,价格调整为每百万输入tokens 0.5元(缓存命中)/2元(缓存未命中),每百万输出tokens 8元。 siyushenqi.com 2025 年 8 月 13 日 420000 行业动态 月流水近6万美元,单月收入暴增800%,AI社交产品迎来新增长期了? AI社交产品短时间内靠什么赚到钱? siyushenqi.com 2025 年 8 月 18 日 489000 行业动态 iMessage营销的精准策略:如何利用其提升外贸转化率 个性化信息提升用户体验 即时反馈促进客户互动 利用多媒体增强营销效果 分析数据优化营销策略 建立客户信任与忠诚度 个性化信息提升用户体验 iMessage营销的一个核心优势在于其能够向客户传递个性化的信息。通过分析客户的购买历史、浏览行为以及兴趣爱好,企业可以为每个客户定制专属消息,这样的个性化体验大大提升了用户的参与度和满意度。根据研究显示,当客户收到个性… siyushenqi.com 2025 年 8 月 13 日 下午9:22 430000 腾讯即将上线的这款大作,藏着一个被忽略的社交密码 《无畏契约》的女性用户多得让人有些难以置信 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 432000 行业动态 国际巨头,启动最大规模裁员 亚马逊下周启动第二轮裁员,AWS、零售、Prime Video及HR部门均受影响,3万目标完成后白领员工将少一成,AI自动化加速替代人工。 siyushenqi.com 2026 年 1 月 29 日 457000 行业动态 重押海外:阿里、京东、顺丰再拼“内力” 快递物流企业都在抛弃过去“轻”布局的思路,加紧建设海外物流网络,增强供应链服务能力,除了建海外仓,连快递物流业始终头疼的“最后一公里”也没放弃。在国际领域,它们之间更多是合力、助力,远未达到红海市场。 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 孙正义向OpenAI投资5亿美元,估值1500亿美元 孙正义的软银集团向人工智能研究实验室OpenAI投资了5亿美元,该轮融资估值超过1500亿美元。 siyushenqi.com 2025 年 8 月 13 日 446000 行业动态 6000部短剧的名字里,写着中国人最隐秘的欲望 中文短剧命名学。 siyushenqi.com 2025 年 8 月 18 日 479000 行业动态 通过LinkedIn矩阵优化外贸企业的全球客户获取路径 客户定位优化 品牌曝光与信任度提升 有效的网络关系建立 销售转化率提升 全球市场拓展 客户定位优化 LinkedIn矩阵优化通过数据分析,帮助外贸企业精准定位全球潜在客户。通过分析客户的行业、地区、公司规模、职位等维度,外贸企业能够明确市场需求,降低获取客户的成本,提高营销效率。精准的客户定位不仅能够帮助企业提升客户匹配度,还能够在激烈的全球市场竞争中脱颖而… siyushenqi.com 2025 年 8 月 13 日 下午9:22 430000 行业动态 PC/手机双平台 米哈游新作《绝区零》预约人数单日突破100万 日前,《崩坏3》《原神》开发商米哈游正式公布了全新动作游戏《绝区零》预告片,并同步开启首测招募。根据米哈游官方的最新消息,在上线仅一天之后,《绝区零》全平台预约人数已经突破100万人次 siyushenqi.com 2025 年 8 月 25 日 524000 行业动态 姚润昊退出上海叠纸科技公司 创始人姚润昊卸任上海叠纸科技法定代表人、执行董事,姚飞接棒,完成公司成立以来首次核心人事变动。 siyushenqi.com 2025 年 10 月 30 日 477000 行业动态 2025年8月菲律宾市场中国出海应用畅销榜 Top50 2025年8月菲律宾市场中国出海应用畅销榜 Top50。 siyushenqi.com 2025 年 9 月 15 日 431000 快手首份“出海”成绩单:1.5亿月活,剑指南美、东南亚 快手交出了新的成绩单。 5月24日,快手科技(1024.HK)发布2021年第一季度财报。根据最新财报,截至2021年3月31日,快手中国应用程序及小程序的平均日活跃用户达到3.792亿,同比增长 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 477000 发表回复 请登录后评论...登录后才能评论 提交