微软开源浏览器Agent,可实时跟踪、控制智能体,超4000颗星 siyushenqi.com • 2025 年 8 月 13 日 下午10:12 • 行业动态 • 阅读 359 Magentic-UI目前在Github上超4000颗星,并且支持MIT许可证商用。 摘要 Magentic-UI是微软开源的一个专用于浏览器网络任务的Agent,它是一个以人为本的研究原型界面,由多智能体系统驱动,能够浏览和执行网络操作、生成和执行代码以及生成和分析文件。它基于微软之前开源的Magentic-One系统开发而成,并支持人机协同的控制方法来提升智能体的执行效率和准确率。 Magentic-UI的最大亮点之一是以人类为中心,与传统Agent不同,它将人类深度融入到任务执行的各个环节。在规划阶段,Magentic-UI会与用户进行协同规划,生成初步分步计划后,允许用户通过计划编辑器或文本反馈进行修改;在任务执行过程中,强调与用户的协同执行,实时向用户展示具体行动并反馈网页信息,用户可随时暂停操作、提供反馈或接管操作,还具有“行动保护”机制,确保操作安全。 根据GAIA测试数据,配备拥有辅助信息的模拟用户时,Magentic-UI的任务完成率从自主模式下的30.3%提升至51.9%,准确率提高了71%。此外,Magentic-UI在执行任务时仅在10%的情况下向模拟用户寻求帮助,且平均每次任务仅需帮助1.1次。 当用户向Magentic-UI提出任务请求时,系统接收输入后,核心组件协调器利用大语言模型能力生成初步分步计划,然后进入协同规划阶段,用户可修改计划,确认或修改后的计划进入执行阶段,执行过程高度透明和协作式,用户可实时了解并干预操作。Magentic-UI还具备自我计划学习特性,可从任务执行中学习并保存计划,形成计划库,未来遇到相似任务可快速调用并优化。 微软在官网开源了一个专用于浏览器网络任务的Agent——Magentic-UI。 Magentic-UI是基于微软曾经开源的 Magentic-One基础之上开发而成,并支持人机协同的控制方法来提升智能体的执行效率和准确率。 根据GAIA测试数据显示,当配备拥有辅助信息的模拟用户时,Magentic-UI 的任务完成率从自主模式下的30.3%提升至51.9%,准确率提高了71%。此外,Magentic-UI 在执行任务时仅在10%的情况下向模拟用户寻求帮助,且平均每次任务仅需帮助1.1次。 开源地址:https://github.com/microsoft/magentic-ui Magentic-UI以人为本 Magentic-UI最大亮点之一便是以人类为中心,与传统 Agent 的不同在于其将人类深度融入到任务执行的各个环节,而不是单纯追求完全自动化。 传统 Agent 往往以实现任务的自主完成为目标,强调的是机器的独立性和自动化程度,用户可能对 Agent 的具体操作过程和决策依据不够了解,甚至在出现问题时难以及时干预和纠正。 而Magentic-UI 则采用了人机协作的模式,充分考虑了人类在任务执行中的作用和价值,通过与用户紧密协作来完成任务,让用户能够实时掌控 Agent 的行为,并根据需要进行调整和指导。 在规划阶段,Magentic-UI 会与用户进行协同规划,不会直接按照预设的程序或算法来制定任务计划,而是先与用户沟通交流,了解用户的需求和期望,然后生成一个初步的分步计划,并允许用户通过计划编辑器或提供文本反馈的方式直接修改这个计划。 用户可以根据自己的经验和对任务的理解,对计划中的步骤进行添加、删除、调整顺序等操作,甚至可以重新撰写某些步骤,以确保计划更符合实际需求。这种协同规划的方式,使得用户能够将自己的专业知识和经验融入到任务计划中,从而提高任务完成的质量和效率。 在任务执行过程中,Magentic-UI也强调与用户的协同执行。它会实时向用户展示自己即将采取的具体行动,比如要点击哪个按钮、输入什么内容、访问哪个网页等,同时也会将观察到的网页信息实时反馈给用户。 用户可以随时暂停 Agent 的操作,通过自然语言向 Agent 提供反馈,指出问题、提出建议或进行纠正,甚至可以直接接管浏览器的操作,亲自完成某些步骤,然后再将控制权交还给Agent。这种协同执行的方式,让用户能够及时发现并解决 Agent 在执行过程中可能出现的问题,避免了因 Agent 的错误操作而导致任务失败或产生不良后果。 Magentic-UI还具有独特的“行动保护”机制,即在执行一些可能不可逆的操作之前,会征求用户的许可。这些操作可能包括关闭标签页、点击有副作用的按钮、提交表单等。 用户可以根据自己的判断,决定是否允许Agent执行这些操作,从而避免了因 Agent 的盲目操作而带来的风险。Magentic-UI 还采用了沙盒技术,将浏览器和代码执行器等工具运行在隔离的环境中,进一步确保了操作的安全性,防止了 Agent 可能带来的安全威胁。 Magentic-UI框架简单介绍 当用户向Magentic-UI 提出一个自动化任务请求时,系统首先会接收用户的输入,这可以是简单的文本指令,也可以是附带图像的复杂需求。Magentic-UI 的核心组件协调器,会根据用户的输入,利用其背后的大语言模型(LLM)能力,生成一个初步的分步计划。这个计划详细列出了完成任务所需的各个步骤,包括需要访问的网页、需要执行的操作以及可能需要调用的其他工具。 生成初步计划后,Magentic-UI 并不会直接开始执行,而是进入一个关键的协同规划阶段。在这个阶段,用户可以通过一个直观的计划编辑界面,直接对 Magentic-UI 生成的计划进行修改。用户可以添加、删除或调整计划中的步骤,甚至可以完全重新撰写某些步骤。 Magentic-UI会实时反馈用户的修改建议,并根据用户的反馈调整计划。这一过程确保了用户能够将自己的专业知识和期望融入到任务计划中,从而提高任务完成的准确性和效率。 经过用户确认或修改后的计划会被发送到执行阶段。Magentic-UI 的执行过程是高度透明和协作式的。系统会实时向用户展示它即将采取的具体行动,例如,点击按钮、输入搜索词或访问特定网页。 同时,Magentic-UI 也会将它在网页上观察到的信息实时反馈给用户。用户可以随时暂停Magentic-UI 的操作,并通过自然语言提供反馈,指出问题或提出建议。如果用户认为某个步骤需要亲自操作,他们甚至可以直接接管浏览器的操作,完成特定步骤后再将控制权交还给 Magentic-UI。 Magentic-UI的另一个重要特性是自我计划学习。在完成任务后,它可以从用户的反馈和任务执行过程中学习并保存分步计划,形成一个计划库。 在未来的任务中,当用户输入与之前相似的任务时,Magentic-UI 可以快速检索并调用相应的计划,从而大大提高任务执行的效率。并且,用户可以随时查看和修改保存的计划,根据需要进行调整和优化,以便更好地应对不同的任务场景。 目前,Magentic-UI在Github超4000颗星,并且支持MIT 许可证商用。 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33149.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 10个月收获1600万用户,“遇见”老年的自己,AI图像应用开始“玩穿越” 上一篇 2025 年 8 月 13 日 下午10:12 破釜沉舟出海,阿里云图什么 下一篇 2025 年 8 月 13 日 下午10:13 相关推荐 行业动态 Google什么时候这么会做产品了? 把笔记当中枢,一键出PPT/视频/信息图,结果严格基于用户材料,几乎零幻觉,上手即用。 siyushenqi.com 2025 年 12 月 4 日 390000 行业动态 私域神器在外贸获客自动化中的应用 提升外贸获客效率 优化客户管理流程 增强客户粘性 推动销售增长 实现精准营销 提升外贸获客效率 在全球化的市场环境中,外贸企业面临的获客竞争愈加激烈。传统的获客方式往往需要投入大量的时间和人力,效率较低。随着技术的发展,私域神器的引入,极大地提升了外贸获客的效率。通过自动化工具,企业可以高效地识别潜在客户并快速展开沟通,大幅缩短了从客户获取到成交的时间。 例… siyushenqi.com 2025 年 12 月 29 日 348000 行业动态 TikTok Shop重返印尼,为什么要和Tokopedia合作? TikTok为什么最终会选择和Tokopedia合作,而不是其他电商平台?以独立App回归的方式真的不可行吗? siyushenqi.com 2025 年 8 月 12 日 427000 行业动态 全球首个混合推理模型发布,Claude 能「思考」了,实测发现这些细节 Claude 3.7 Sonnet 是 Anthropic 推出的全球首款双模式混合推理模型,支持标准模式和扩展思考模式。标准模式提供快速响应,扩展思考模式则进行深度自我反思,显著提升在数学、物理和编程等复杂任务上的表现。该模型注重实用导向,减少了不必要的拒绝率(45%),并强化了代码协作能力。 siyushenqi.com 2025 年 8 月 13 日 461000 这家为亚马逊游戏开发内容的工作室,打算怎样做大做强? 在“故意处于隐蔽模式”四年后,Secret Society Games希望提高工作室声望,并以一种崭新的面貌向世界展示自己。此前,Secret Society一直不太注重对自我形象的包装,在公司官网上只提到了几名团队成员,以及他们过去参与3A游戏开发的经验,对当前项目的介绍也只有寥寥数语:“专注于联合开发和原创IP项目”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 458000 行业动态 私域神器每周精选 No.38|优质游戏寻流量渠道 海外科技类产品寻youtuber资源 本期精选的合作类型涵盖优质游戏寻流量渠道 海外科技类产品寻youtuber资源等信息。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 455000 行业动态 大盘破3000亿后,我们还应该留意什么 单一品类产品此消彼长,产品断档,端转手间隔期过长 siyushenqi.com 2025 年 8 月 18 日 431000 行业动态 私域神器助力外贸获客的实战经验分享 精准营销 客户社群 数据分析 个性化服务 精准营销:外贸获客的基础 精准营销是私域营销的核心组成部分,它通过社交媒体、数据分析和目标客户定位,实现外贸企业在不同市场中的精确推广。外贸企业在国际市场中,需要通过深入了解客户需求和行为特征,精准制定营销方案,才能有效提高获客效率。 首先,精准营销能够帮助外贸企业降低市场推广成本,提升资源利用效率。通过分析客户的购… siyushenqi.com 2025 年 12 月 27 日 408000 行业动态 中国制造正在杀死欧洲圣诞市场? 圣诞集市“义乌化”,从巴黎到曼彻斯特,80%木制挂件、雪花球产自浙江,租金倒逼商家采买中国制造,本土手工艺被边缘化。 siyushenqi.com 2025 年 12 月 27 日 311000 行业动态 Shopee四大站点开启本地化履约,在拉美加速狂奔 Shopee瞄准拉美市场持续发力。 siyushenqi.com 2025 年 8 月 19 日 442000 播放超千万!国人假发视频走红TikTok 最近几年,佩戴假发逐渐在全球流行起来,并发展成为一种时尚美学。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 499000 行业动态 Llama 3.1磁力链提前泄露!开源模型王座一夜易主,GPT-4o被超越 Llama 3.1又被提前泄露了!开发者社区再次陷入狂欢:最大模型是405B,8B和70B模型也同时升级,模型大小约820GB。基准测试结果惊人,磁力链全网疯转。 siyushenqi.com 2025 年 8 月 13 日 390000 后发先至,网易这匹SLG黑马跑出来了 想象空间有多大? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 464000 行业动态 2024年最新WhatsApp耐发号购买与养号实操指南 耐发号购买渠道与风险防控 养号环境搭建与设备管理 养号实操流程与周期规划 防封号策略与合规要求 对比分析 耐发号购买渠道与风险防控 在2024年,随着WhatsApp账号管控愈发严格,耐发号的购买渠道选择与风险防控成为运营者关注的重点。正规渠道不仅能有效规避诈骗风险,还能确保账号的稳定性和安全性。建议优先选择经过认证的平台或有良好口碑的服务商进行购买,切勿因… siyushenqi.com 2025 年 12 月 26 日 328000 韩国游戏市场规模2021年突破1100亿人民币,创历史新高 2022年韩国游戏市场规模将达到人民币约1230亿 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 480000 从家族工厂到上市大卖!天元宠物国内买地、海外建厂 宠物出海,不能只为别人做嫁衣。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 508000 行业动态 2026开年具身智能赛道最大融资诞生 具身智能企业银河通用完成25亿元融资,国家人工智能产业基金首次投资该赛道,创下2026年开年最大单笔融资纪录。 siyushenqi.com 2026 年 3 月 5 日 304000 曾对标SHEIN的阿里独立站allyLikes,流量大幅下滑! 再造一个SHEIN,真有那么简单吗? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 391000 行业动态 传音的非洲神话还能撑多久? 2025年传音净利润同比下滑53.43%,主因存储芯片成本激增、非洲市占率遭三星反超,新兴市场增长乏力,手机出海企业面临成本与竞争双重压力。 siyushenqi.com 2026 年 3 月 18 日 239000 出海北美,如何绕过头部产品也“翻车”的跨境支付问题? 随着游戏出海竞逐全球市场白热化,北美市场愈发成为大厂扩张版图,中小团队尽力瞄准的“兵家必争之地”。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 460000 行业动态 上线三年、首月营收5亿,腾讯将《幻塔》海外运营交回完美世界 《幻塔》国际服的运营商将从腾讯变更为完美世界,变更将于2025年2月23日生效。 siyushenqi.com 2025 年 8 月 17 日 502000 行业动态 又到年底,那些AGI预言“实现”到哪一步了? 回顾2024年AI领域的一些重要预测,包括AI能力、安全性和积极影响的突破性进展,以及视频AI的快速发展。然而,实际进展并不如预期,例如GPT-5的缺席、Scaling Law的挑战以及Sora项目的延迟。 siyushenqi.com 2025 年 8 月 13 日 435000 行业动态 FunPlus出海营销之道:内容为王 数据驱动 打造精品化游戏产品 12月30日下午,由Morketing主办的第六届“Morketing Summit 2021·灵眸大赏”游戏场将以“玩家思维·体验时代”为主题在上海浦东嘉里大酒店召开。 siyushenqi.com 2025 年 8 月 3 日 441000 行业动态 莉莉丝又把外国人征服了? 在一众电商平台中,亚马逊的物流优势越来越明显。 siyushenqi.com 2025 年 8 月 18 日 423000 在“爷青回”的期待声中回归,《保卫萝卜4》公测首周的成绩如何 国民休闲手游的十年蜕变 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 446000 国产手游出海的“畸形”与“狂热” 跻身世界四强之后,国产手游出海的故事才刚刚开始。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 435000 行业动态 比较 iMessage 群发与传统短信群发的效率差异 iMessage 群发与传统短信群发在效率与技术方面存在显著差异。iMessage 群发依赖高速数据传输与端到端加密,支持多媒体内容且同步至多个设备,提供更快的消息发送体验。相比之下,传统短信群发依赖运营商网络,虽覆盖广泛,但在速度与... siyushenqi.com 2026 年 1 月 25 日 409000 行业动态 埃及时尚电商领头羊,出现了? 埃及时尚电商领头羊,出现了? siyushenqi.com 2025 年 8 月 13 日 408000 行业动态 私域神器每周合作精选No.104|创意字母游戏寻找全球发行;寻求有海外本土成品剧合作方;多款超休闲游戏找发行 本期精选的合作类型涵盖创意字母游戏寻找全球发行;寻求有海外本土成品剧合作方;多款超休闲游戏找发行等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 412000 智造中国的品牌进化论:生态总在创新,品牌永远不老! 马克思多年前说过:一切坚固的东西都将烟消云散。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 487000 发表回复 请登录后评论...登录后才能评论 提交