谷歌版贾维斯即将问世,最强Gemini 2.0加持!AI自主操控电脑时代来临 siyushenqi.com • 2025 年 8 月 13 日 下午9:21 • 行业动态 • 阅读 453 微软研究团队开发了OmniParser,这是一个能够将用户界面截图解析为结构化元素的工具,旨在提高AI在不同操作系统和应用程序上执行任务的能力。 摘要 OmniParser通过结合微调后的可交互图标检测模型、图标描述模型和OCR模块,显著提升了GPT-4V在对应界面区域预测行动的能力,从而允许AI更准确地理解和执行用户意图。 通过在ScreenSpot、Mind2Web和AITW等基准测试上的评估,OmniParser显示出了在不同平台和应用上提高AI任务执行性能的潜力,尤其是在没有额外HTML信息的情况下。 OmniParser使用了一个微调的数据集来检测可交互图标,并通过算法优化了边界框和ID的标记,以提高AI对用户界面的理解。 通过整合图标功能的局部语义,OmniParser帮助GPT-4V更准确地识别和操作屏幕上的元素,提高了任务执行的准确性。 AI接管人类电脑,就是下一个未来! 几天前,Anthropic向所有人展示了,Claude 3.5自主看屏幕操作光标完成复杂任务,足以惊掉下巴。 刚刚,Information独家爆料称,谷歌正开发同类新项目「Project Jarvis」,能将Chrome网页任务自动化。 谷歌「贾维斯」将由未来版Gemini 2.0驱动,预计在12月亮相。 起这个名字,是为了向钢铁侠中的J.A.R.V.I.S致敬。 无独有偶,微软团队悄悄放出的OmniParser,也在笃定AI智能体操控屏幕的未来。 论文地址:https://arxiv.org/pdf/2408.00203 OmniParser主要是一个屏幕解析的工具,可以将截图转化为结构化数据,帮助AI精准理解用户意图。 不仅如此,OpenAI内部已有了AI智能体雏形,可以操控计算机完成在线订餐、自动查询解决编程难题等任务。 包括苹果在内,预计在明年发布跨多个APP屏幕识别能力。最新迭代的Ferret-UI 2,就是通用UI模型。 可见,「Computer use」已经成为科技大厂们,重点发力的下一个战场。 谷歌「贾维斯」年底出世,最强Gemini 2加持 代号为Jarvis Project项目,本质上是一个大动作模型(LAM),也是谷歌一直以来在做的大模型方向。 它专门针对谷歌Chrome浏览器,进行了优化。 具体操作原理,与Claude 3.5类似,通过截屏、解析屏幕内容,然后自动点击按钮,或输入文本,最终帮助人们完成基于网页的日常任务。 不论是收集研究信息、购物,或是预定航班等任务,谷歌「贾维斯」均可实现。 不过,它在执行不同操作时,中间会有几秒钟的思考时间。 因此,在终端设备中运行还不太现实,仍然需要云上操作。 5月的谷歌I/O大会上,谷歌CEO劈柴曾展示了,Gemini和Chrome如何协同工作的样貌。 如前所述,谷歌「贾维斯」将由Gemini 2.0加持,也就意味着年底我们可以看到进步版Gemini模型。 尽管Sam Altman否认了Orion模型的发布,但外媒猜测,预计年底OpenAI也将放出新核弹 微软OmniParser也下场了 紧接着Claude「计算机使用」发布之后,微软就开源了AI框架OmniParser。 假设你想要去布赖斯峡谷国家公园,不知是否需要订票入园,这时OmniParser可以带你查询。 它会解析屏幕后,自动点击「permits」按钮,然后再截屏找到「布赖斯峡谷国家公园」,最后就可以完成用户任务。 可见,想要把类似GPT-4V的多模态大模型应用于操作系统上,模型还需要具备强大的屏幕解析能力,主要包括两方面: 1、准确地识别用户界面中的可交互图标; 2、理解屏幕截图中各种元素的语义,并准确将预期动作与屏幕上的相应区域关联起来。 基于上述思路,微软最新提出的OmniParser模型,可以将用户界面截图解析为结构化元素,显著增强了GPT-4V在对应界面区域预测行动的能力。 方法 一个复杂的操作任务通常可以分解成多个子行动步骤,在执行过程中,模型需要具备以下能力: 1、理解当前步骤的用户界面,即分析屏幕内容中大体上在展示什么、检测到的图标功能是什么等; 2、预测当前屏幕上的下一个动作,来帮助完成整个任务。 研究人员发现,将这两个目标分解开,比如在屏幕解析阶段只提取语义信息等,可以减轻GPT-4V的负担;模型也能够从解析后的屏幕中利用更多信息,动作预测准确率更高。 因此,OmniParser结合了微调后的可交互图标检测模型、微调后的图标描述模型以及光学字符识别(OCR)模块的输出,可以生成用户界面的结构化表示,类似于文档对象模型(DOM),以及一个叠加潜在可交互元素边界框的屏幕截图。 可交互区域检测(Interactable Region Detection) 从用户界面屏幕中识别出「可交互区域」非常关键,也是预测下一步行动来完成用户任务的基础。 研究人员并没有直接提示GPT-4V来预测屏幕中操作范围的xy坐标值,而是遵循先前的工作,使用标记集合方法在用户界面截图上叠加可交互图标的边界框,并要求GPT-4V生成要执行动作的边界框ID。 为了提高准确性,研究人员构造了一个用于可交互图标检测的微调数据集,包含6.7万个不重复的屏幕截图,其中所有图像都使用从DOM树派生的可交互图标的边界框进行标记。 为了构造数据集,研究人员首先从网络上公开可用的网址中提取了10万个均匀样本,并从每个URL的DOM树中收集网页的可交互区域的边界框。 除了可交互区域检测,还引有一个OCR模块来提取文本的边界框。 然后合并OCR检测模块和图标检测模块的边界框,同时移除重叠度很高的框(阈值为重叠超过90%)。 对于每个边界框,使用一个简单的算法在边框旁边标记一个ID,以最小化数字标签和其他边界框之间的重叠。 整合功能的局部语义(Incorporating Local Semantics of Functionality) 研究人员发现,在很多情况下,如果仅输入叠加了边界框和相关ID的用户界面截图可能会对GPT-4V造成误导,这种局限性可能源于GPT-4V无法「同时」执行「识别图标的语义信息」和「预测特定图标框上的下一个动作」的复合任务。 为了解决这个问题,研究人员将功能局部语义整合到提示中,即对于可交互区域检测模型检测到的图标,使用一个微调过的模型为图标生成功能描述;对于文本框,使用检测到的文本及其标签。 然而,目前还没有专门为用户界面图标描述而训练的公共模型,但这类模型非常适合目标场景,即能够为用户界面截图提供快速准确的局部语义。 研究人员使用GPT-4o构造了一个包含7000对「图标-描述」的数据集,并在数据集上微调了一个BLIP-v2模型,结果也证明了该模型在描述常见应用图标时更加可靠。 实验评估 SeeAssign任务 为了测试GPT-4V模型正确预测边界框描述所对应的标签ID的能力,研究人员手工制作了一个名为SeeAssign的数据集,其中包含了来自3个不同平台(移动设备、桌面电脑和网络浏览器)的112个任务样本,每个样本都包括一段简洁的任务描述和一个屏幕截图。 根据难度,任务被分为三类:简单(少于10个边界框)、中等(10-40个边界框)和困难(超过40个边界框)。 GPT-4V不带局部语义的提示: Here is a UI screenshot image with bounding boxes and corresponding labeled ID overlayed on top of it, your task is {task}. Which icon box label you should operate on? Give a brief analysis, then put your answer in the format of \n‘‘‘ Box with label ID: [xx]‘‘‘\n 带局部语义的提示: Here is a UI screenshot image with bounding boxes and corresponding labeled ID overlayed on top of it, and here is a list of icon/text box description: {parsed_local_semantics}. Your task is {task}. Which bounding box label you should operate on? Give a brief analysis, then put your answer in the format of \n‘‘‘Box with label ID: [xx]‘‘‘\n 从结果来看,GPT-4V经常错误地将数字ID分配给表格,特别是当屏幕上有很多边界框时;通过添加包括框内文本和检测到的图标的简短描述在内的局部语义,GPT-4V正确分配图标的能力从0.705提高到0.938 ScreenSpot评估 ScreenSpot数据集是一个基准测试数据集,包含了来自移动设备(iOS、Android)、桌面电脑(macOS、Windows)和网络平台的600多个界面截图,其中任务指令是人工创建的,以确保每个指令都对应用户界面屏幕上的一个可操作元素。 结果显示,在三个不同的平台上,OmniParser显著提高了GPT-4V的基线性能,甚至超过了专门在图形用户界面(GUI)数据集上微调过的模型,包括SeeClick、CogAgent和Fuyu,并且超出的幅度很大。 还可以注意到,加入局部语义(表中的OmniParser w. LS)可以进一步提高整体性能,即在文本格式中加入用户界面截图的局部语义(OCR文本和图标边界框的描述),可以帮助GPT-4V准确识别要操作的正确元素。 Mind2Web评估 测试集中有3种不同类型的任务:跨领域、跨网站和跨任务,可以测试OmniParser在网页导航场景中的辅助能力。 结果显示,即使没有使用网页的HTML信息,OmniParser也能大幅提高智能体的性能,甚至超过了一些使用HTML信息的模型,表明通过解析屏幕截图提供的语义信息非常有用,特别是在处理跨网站和跨领域任务时,模型的表现尤为出色。 AITW评估 研究人员还在移动设备导航基准测试AITW上对OmniParser进行了评估,测试包含3万条指令和71.5万条轨迹。 结果显示,用自己微调的模型替换了原有的IconNet模型,并加入了图标功能的局部语义信息后,OmniParser在大多数子类别中的表现都有了显著提升,整体得分也比之前最好的GPT-4V智能体提高了4.7%。 这表明了,模型能够很好地理解和处理移动设备上的用户界面,即使在没有额外训练数据的情况下也能表现出色。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32638.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 字节大模型内部赛马,下一个爆款 or 烧钱深坑? 上一篇 2025 年 8 月 13 日 下午9:21 让 AI 从「语言智能」进化到「现实智能」,这家手机公司想得最透彻 下一篇 2025 年 8 月 13 日 下午9:21 相关推荐 行业动态 狂飙284天后,一批「模仿」ChatGPT的创业公司或将倒闭 大模型带来的热潮还不满一年,很多相关的初创公司已经面临严重的问题。 siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 国产AI Agent横空出世,背后公司成立不满三年 初创公司蝴蝶效应推出了AI代理产品Manus的早期预览版,声称能够解决复杂多变的任务。其华丽的执行过程吸引了众多网友申请,导致官网注册页面一度崩溃。Manus通过虚拟机图形用户界面展示任务执行过程,提升了用户体验。 siyushenqi.com 2025 年 8 月 13 日 447000 全球化产品成未来趋势,《黎明之海》引领游戏业“文艺复兴” 作为第九艺术,游戏行业被越来越多的公众认可,并且成为了主流娱乐方式之一。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 427000 行业动态 亚马逊大规模删评,前台review又有变动! 突发!亚马逊前台又有大变动。 siyushenqi.com 2025 年 8 月 12 日 407000 行业动态 “仅退款”争议背后:沉默的消费者消失在舆论场 中国电商消费者真的被过度保护了吗? siyushenqi.com 2025 年 8 月 5 日 457000 热点趋势|11月销量大涨8倍!世界杯加持,国产投影仪出海火爆 全球十大热卖品,投影仪位列榜首 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 430000 行业动态 从种草平台到外卖巨头,印度版“美团点评”是怎样炼成的 从小网站到即将 IPO, Zomato 摸索了十二年。 siyushenqi.com 2025 年 8 月 25 日 478000 行业动态 短剧的灵魂拷问:AI能做剧,但能做好剧吗? AI已接管微短剧三大环节,剧本、场景、视频合成,2小时即可成片,效率碾压传统流程。 siyushenqi.com 2025 年 9 月 24 日 414000 越南最强发行商,如何靠着音乐做到第一 专注一点成为最强! siyushenqi.com 2025 年 8 月 24 日 • 行业动态 467000 行业动态 阶跃星辰CEO姜大昕确认演讲,微软、Google、小米、小红书、Kimi的专家同台分享Agent实践 Agentic AI Summit 2026 将于2026年1月16-17日在中关村展示中心会议中心举办。 siyushenqi.com 2026 年 1 月 9 日 419000 多轮跳票,首日畅销前20,这款游戏的美术音乐你不得不服 水彩风格的人物和别出心裁的混色以及墨迹效果,让其在一众角色以复杂元素为主的二次元手游中脱颖而出 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 373000 我们对比5月手游下载及收入Top10产品 发现了这些赚钱的趋势 结合近期App Annie发布的全球下载及Top10榜单,对比了数十款爆品手游后,私域神器梳理了手游出海的6大趋势。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 499000 亚马逊也玩“618”大促!暴乱之下的这些产品卖爆了! 据CNBC报道,亚马逊已经为“夏季促销”活动设定了具体日期,旨在使受到冠状病毒大流行的影响以及Prime Day活动的延误的卖家重拾信心,提高销量。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 383000 行业动态 解锁Z世代下的“神秘学”,AI玄学应用出海报告重磅来袭!(文内附获取方式) 当AI遇上玄学,Z世代正在重塑全球“神秘经济”。 siyushenqi.com 2025 年 8 月 26 日 609000 Lazada在东南亚:十年征战,本土生根 或许,“本土”二字,正是解码Lazada在东南亚十年战事的密钥所在。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 442000 “不图利,只为名”,这款游戏上线一个月用户破2000万 在玩家等待新的高质MMO出现时,3年前在韩国上线的《失落的方舟》,在今年的2月11日终于登陆了西方市场。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 386000 行业动态 文心一言能带百度起飞吗? 摆在百度面前最为关键的问题是,大模型的商业化问题,以及有大模型加持的百度业务,能否迎来一个飞跃? siyushenqi.com 2025 年 8 月 14 日 435000 行业动态 免费榜一“马”当先,今天二次元又出王炸! B站出“马”了 siyushenqi.com 2025 年 8 月 19 日 472000 行业动态 京东死磕低价,拼多多奉陪到底 黄峥:你可以说我low,但你无法忽视我。 siyushenqi.com 2025 年 8 月 5 日 422000 我联动我自己,米哈游两大IP如何碰撞出新火花? 以下文章来源于游戏陀螺,作者游戏陀螺,内容仅供网友参考学习。私域神器欢迎行业优质稿件投稿。 今天(6月10日),不少舰长翘首以盼的《崩坏3》4.9版本终于正式上线了。 本次版 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 516000 行业动态 蔡浩宇这款“什么都不能做”的AI,试图定义下一代游戏NPC? AnuNeko 不是“提效工具”,而是一款刻意剔除功能、只保留闲聊的“赛博人类观察样本”,为游戏 NPC 的拟人化做预演。 siyushenqi.com 2025 年 12 月 3 日 362000 行业动态 Shein危机后续:本月几个关键节点,或将改变整个产业 11月7日法国政府“解禁令”让Shein暂保运营权,但11月26日听证会将最终决定其能否继续留在法国市场。 siyushenqi.com 2025 年 11 月 13 日 341000 行业动态 拼多多想明白了,开始给大批商家退款 黄峥:有时候外界看到的,和实质存在的会不同。 siyushenqi.com 2025 年 8 月 5 日 407000 行业动态 OpenAI发布Windows版ChatGPT,高级语音能用了 OpenAI向所有Windows用户开放了桌面版ChatGPT,这是对之前版本的扩展,提供了更多功能。 siyushenqi.com 2025 年 8 月 13 日 383000 拇指游玩、37手游、游莱互动、安久科确认参加第三届全球产品与增长大会-游戏研发发行对接会 拇指游玩、37手游、游莱互动、安久科确认参加第三届全球产品与增长大会-游戏研发发行对接会 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 472000 3个月完成两轮融资 欢澄互娱CEO:用互动游戏再造社交类App的3.0时代 率先做出改变的人,才有可能成为头部玩家 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 452000 PAGC 2025丨展会推荐官 深圳秀蛋科技 项目负责人 杨虎锦、EVTGAMES 商务负责人 侯景之、星蝶网络 CEO 王宇翔 邀您参与万人出海展会 PAGC 2025丨展会推荐官 深圳秀蛋科技 项目负责人 杨虎锦、EVTGAMES 商务负责人 侯景之、星蝶网络 CEO 王宇翔 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 467000 行业动态 阿里领投穹彻智能 穹彻智能2025年10月获阿里战略投资,两年完成5轮、累计数亿元级融资,创国内具身智能最快融资节奏。 siyushenqi.com 2025 年 10 月 20 日 411000 行业动态 聚合新兴市场本地化支付,Grepay服务B2C客户跨境收单需求 与陷入费率“内卷”的收款业务相比,收单业务更重视本地化。 siyushenqi.com 2025 年 8 月 13 日 455000 行业动态 回顾2023,那些令 AI 圈大地震的瞬间! 在经过了一年的热闹非凡之后,在2024年即将来临之际,本文带大家盘点一下2023年必看的AI大事件。 siyushenqi.com 2025 年 8 月 13 日 395000 发表回复 请登录后评论...登录后才能评论 提交