用大模型控制鼠标、键盘！OpenAI最想做的事，让Anthropic抢先了 siyushenqi.com • 2025 年 8 月 13 日 下午9:20 • 行业动态 • 阅读 438 全球著名的大模型平台Anthropic发布了Claude 3.5 Sonnet的升级版和新模型Claude 3.5 Haiku。 摘要 Anthropic推出了一个革命性的功能——Computer use，允许开发者通过API让Claude像人类一样使用计算机，包括控制鼠标、键盘，查看屏幕，移动光标，点击按钮和输入文本等操作。 比尔盖茨将Computer use技术与他发明的Windows图形交互系统相提并论，认为这是计算机交互的又一次颠覆性革命。 专业开发人员对这项新功能感到非常兴奋，认为它将极大地提高开发效率，并且有望实现像钢铁侠的贾维斯助理那样的智能控制。 Computer use主要依靠API驱动自动化指令，Claude通过自然语言处理能力解析指令，并控制操作系统的底层框架来实现与计算机的交互。新模型Claude 3.5 Haiku在推理效率和性能上显著增强，特别是在编码任务和低延迟推理方面表现出色。 今天凌晨，全球著名大模型平台Anthropic发布了Claude 3.5 Sonnet升级版以及新模型Claude 3.5 Haiku。 同时推出了一个革命性的功能——Computer use。通过API开发者可以让 Claude 像人类一样使用计算机控制鼠标、键盘，包括查看屏幕、移动光标、点击按钮和输入文本等操作。 例如，用户可以让 Claude 去搜索网页上的信息、在电子表格中填写数据；或者打开软件进行特定的操作；也能协助开发人员执行重复性任务、测试代码等，整个流程Claude 都会根据指令自动执行相应的操作。 微软创始人-比尔盖茨曾在博客里说过，他一生中只见过两次最有影响力的技术革命，一个是他自己发明的图形交互系统Windows，另外一个便是OpenAI发明的ChatGPT。 现在， Computer use再一次颠覆计算机交互用AI来控制一切，OpenAI最想做的事情，让竞争对手Anthropic抢先了，我们正式进入真AI操作系统时代。 Anthropic甩出王炸功能后，网友是彻底沸腾炸锅了，尤其是那些专业的开发人员简直是拿到了屠龙刀，这以后开发效率呈指数级增长。 本以为OpenAI会先做到，没想到被你抢先了。 超级兴奋，很棒的功能 很快每一个人都能像钢铁侠那样，拥有真正的贾维斯助理，帮助你来实际控制电脑。 太酷了！Anthropic的用词非常准确，他使用了“use” 而不是笼统的“智能体”。 因为那样会使一切变得模糊，二者之间还是有区别的。 快让大模型来控制电脑吧，希望以后蓝屏能少一些。 相信很多人看到这个都非常兴奋，这是一种很好的良性创新技术竞争。 技术变革者！ 超级超级棒的功能！ 太强了！我们团队对于能测试该功能非常兴奋。 Computer use技术原理简单介绍 目前，Computer use主要依靠API来驱动自动化指令，当开发者通过API向Claude 发送指令时，Claude会运用其自然语言处理能力解析指令。其内部语言模型会对指令文本进行词法、句法和语义分析，例如，对于 “使用计算机中的数据填写在线表格” 这样的指令，Claude 会识别出关键动作是填写表格以及数据来源是计算机中的数据。 这一过程类似它在处理文本生成任务时对语义的理解，只是此时语义重点在于计算机操作。会基于预训练过程中学到的语言模式和知识，将指令意图映射到对应的计算机操作概念上，预训练的知识包括常见的计算机操作术语、软件功能描述等，以便准确执行特定操作。 为了实现与计算机的交互功能，Claude再次通过API来控制Windows、MacOS等系统中的底层框架，包括鼠标、键盘、按钮、文本框等。 当 Claude确定了要执行的计算机操作后，就会开始执行具体的动作。例如，移动光标操作，API会向操作系统发送相应指令，操作系统会将这个指令传递给鼠标驱动程序，从而实现光标的移动。 对于点击按钮操作，API 会先定位按钮在屏幕上的位置，然后模拟鼠标点击事件发送给操作系统。在输入文本时，它会将文本内容通过键盘输入模拟的方式逐个字符或按词组输入到目标文本框中。 知名大模型开发网红Mckay Wrigley已经展示了，如何通过API搭建Computer use开发平台，整个流程还算简单10几分钟就完事了。 新模型Claude 3.5 Haiku Claude 3.5 Haiku在3.0基础上进行了大幅度更新，在相同成本的情况下推理效率、性能得到显著增强。即便与上一代的最大模型Claude 3 Opus相比， 3.5Haiku在许多智能基准测试中都表现出了超越的态势。 在编码任务方面，Claude 3.5 Haiku特别强，在 SWE-bench Verified 上得分达到了 40.6%，超越了许多使用公开可用的最先进模型的模型，包括原始的 Claude 3.5 Sonnet 和 GPT-4o。 低延迟推理则是Claude 3.5 Haiku 的另外一个技术亮点。这使得它能够快速响应用户的指令，减少等待时间，提高工作效率。在实际应用中，低延迟对于需要实时交互的场景非常重要，比如在线客服、智能助手等。用户可以在短时间内获得准确的回答和解决方案，提升用户体验。 此外，Claude 3.5 Haiku 在提示指令遵循方面也有很大的改进。能够更加准确地理解用户的指令，并按照指令执行相应的任务。这对于需要精确控制和操作的场景非常有帮助，比如自动化流程、数据处理等。通过更好地遵循指令，Claude 3.5 Haiku 可以减少错误和失误，提高工作的准确性和可靠性。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32628.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 中国大模型在迪拜卷起来了 上一篇 2025 年 8 月 13 日 下午9:20 Generative AI’s系列 | 红杉资本对生成式 AI的预判 下一篇 2025 年 8 月 13 日 下午9:20 相关推荐 行业动态 北京夫妇做短剧，每月进账4亿多 夫妇携手创业十余年，以“快看小说”等在网文圈立足，可惜未能上市，现今又成功掘金短剧，分到一块蛋糕。 siyushenqi.com 2025 年 8 月 18 日 415000 逃离塔科夫手游蓝海厮杀 一款由俄罗斯人出品的硬核射击PC游戏《逃离塔科夫》，拉开了猎人与猎物的终极决逐，让FPS游戏继“大逃杀”模式再辟新天地。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 420000 【3月】国内休闲市场下载出现疲态，海外市场跑酷游戏高频出现 国内iOS下载量降幅明显 iOS新政不容忽视。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 460000 行业动态 Byteplus&云智慧、Holopix AI 确认入驻PAGC 2025丨第五届全球产品与增长展会！ Byteplus&云智慧、Holopix AI 确认入驻PAGC 2025丨第五届全球产品与增长展会！ siyushenqi.com 2025 年 8 月 17 日 548000 Prime Day开战！五大广告投放技巧助力销量暴涨200% 2020年Prime Day打响之际，跨境卖家后院却硝烟四起。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 397000 行业动态 Shopee与Meta牵手，藏着彼此的“未了梦” Shopee缺站外流量、Meta缺履约闭环，双方用“联盟营销+直播工具”互换筹码，各补短板。 siyushenqi.com 2025 年 11 月 5 日 357000 行业动态 把客户逼成敌人，英伟达走向两万亿的方法 黄仁勋：“我们不需要假装公司一直处于危险之中。我们一直处于危险之中。” siyushenqi.com 2025 年 8 月 13 日 390000 行业动态 私域神器每周精选 No.55｜新潮题材塔防寻发行独代 全球社交平台找海外公会 本期精选的合作类型涵盖多款产品寻找海外合作。 siyushenqi.com 2025 年 8 月 23 日 494000 行业动态 游戏外设卖家值得一看，中东市场增长较大 为数不多的受到疫情积极影响的行业之一；由于锁定期间消费者需求激增而实现强劲增长是游戏。 siyushenqi.com 2025 年 8 月 13 日 481000 行业动态 腾讯拿下近50%股份，Soul拟赴港IPO，社交上市的牌桌上还有谁？ 中式“红娘”已成全球社交催化剂。 siyushenqi.com 2025 年 11 月 28 日 379000 行业动态 想做中国版Shopify，服务中国出海电商的「Shoplazza店匠」完成B轮融资 36氪获悉，专注海外B2C独立站商务销售平台的企业级技术公司「Shoplazza店匠」近日完成融资 siyushenqi.com 2025 年 8 月 13 日 542000 这篇3万字长文用50多款游戏，全面拆解了模拟经营品类 此文是我对模拟经营游戏的分析总结，满篇都是主观论点与结论，不敢妄称正确。希望能抛砖引玉与各位一起探讨关于模拟经营游戏的几个问题，恳请各位评点赐教。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 963000 行业动态 快手领跑短剧下半场：爆款内容+优质营销构建内容生态 从做内容，到做行业、做生态。 siyushenqi.com 2025 年 8 月 18 日 540000 TikTok劲敌Triller抢先申请上市 美国短视频市场“变天” 市场留给Triller的时间已经不多了 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 441000 行业动态 专访光源资本娄洋：资本视角看新出海时代 “大胆思考，谨慎经营，小步快跑，拥抱变化。” siyushenqi.com 2025 年 8 月 24 日 557000 行业动态 《凤凰浏览器非洲行》——云览科技 首席产品官 杨崇哲 《凤凰浏览器非洲行》演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 461000 行业动态 从Sora2到ComfyUI，AI短剧打开全球文化输出快车道 Sora2＋ComfyUI把单集成本压到十几万、制作周期缩至几天，10秒4K级生成、口型误差＜3帧，首次实现“一人团队=制片厂”。 siyushenqi.com 2025 年 10 月 17 日 395000 行业动态 揭秘泡泡玛特，106个海外门店何以贡献45%收入 泡泡玛特创始人、CEO王宁在乌镇举办的管理层团建和培训会上邀请了国际奢侈品高管作为嘉宾，显示出公司全力推进国际化的决心，并对海外业务收入增长寄予厚望。 siyushenqi.com 2025 年 8 月 5 日 493000 私域神器资讯晨报：深挖资本新宠儿 DTC母婴巨头如何掘金万亿新沃土。《王者荣耀》超越《原神》再度登顶，2月全球热门移动游戏收入TOP10；文远知行获 4 亿美元融资；《庆余年》手游上线，打开MMO多元化新思路。 找合作、进圈子、寻活动、查报告、看资讯，与10W+出海精英携手共赢。每日晨报，一篇统览出海大事件。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 440000 行业动态 “在非洲直接复制中国模式行不通”丨投资人看非洲 13亿人口所蕴含的巨大红利，日渐提高的智能手机普及率以及年轻化的人口结构所象征的无限互联网生态发展潜力 siyushenqi.com 2025 年 8 月 26 日 452000 Q2日活1.86亿创新高 推特还能打好一场翻身战吗？ 推特于盘前公布2020年第二季度业绩。虽然作为特朗普"推特治国"的御用宣传平台，但是依靠总统的青睐并不能够让推特实现盈利。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 473000 行业动态 短剧“狂飙”按下暂停键？广电出手整治、快手发布违规短剧 中国网络视听节目服务协会刊文称，广电总局将再次开展为期1个月的网络微短剧专项整治工作。 siyushenqi.com 2025 年 8 月 18 日 542000 一元打火机称霸全球，国外不同意销售就告到他们同意！做跨境，还得学温州人！ 最近，亚马逊杀气腾腾的提起屠龙刀，对着亚马逊上的中国跨境卖家就是一通猛砍，很多大小卖家或者已经倒下，或者正在挣扎着走在倒下的路上。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 484000 行业动态 文心一言能带百度起飞吗？ 摆在百度面前最为关键的问题是，大模型的商业化问题，以及有大模型加持的百度业务，能否迎来一个飞跃？ siyushenqi.com 2025 年 8 月 14 日 434000 行业动态 如何通过TikTok矩阵提高海外客户的参与度 TikTok 矩阵的整体策略框架 多账号架构与内容分工设计 内容生产机制与互动增强方法 数据分析驱动的持续优化 影响者协同与矩阵规模化增长 在海外市场环境中，单一 TikTok 账号已难以同时兼顾内容深度、覆盖广度与用户互动效率。通过系统化的 TikTok 矩阵运营，品牌能够在同一平台内构建多触点内容网络，从而持续提升海外客户的参与度、信任度与转化潜力。本文… siyushenqi.com 2025 年 8 月 13 日 下午9:20 438000 行业动态 eBay继续瘦身 将作价30亿美元出售80%的韩国业务 eBay Inc．将以3.44万亿韩元（30亿美元）的价格，把其韩国互联网集市80%出头的股份出售给当地零售商E-Mart Inc．。 siyushenqi.com 2025 年 8 月 13 日 458000 飞书、Akamai作为领袖千帆会独家赞助出席第三届全球产品与增长大会 飞书、Akamai作为领袖千帆会独家赞助出席第三届全球产品与增长大会 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 440000 行业动态 深度剖析 | 千亿美金的日本电商市场，如何攻克占比40%的银发一族？ 日本电商市场体量巨大，是亚洲第二、全世界第四大电商市场，2021年电商销售额达1120亿美元。Facebook发布了《制胜日本电商市场白皮书》，帮助卖家深入了解潜力巨大的日本市场。 siyushenqi.com 2025 年 8 月 13 日 561000 行业动态 私域神器每周合作精选No.131｜寻海外短剧达人分发；游戏优化类工具出海越南；寻国内外混变发行；短剧多业务合作 本期精选的合作类型涵盖寻海外短剧达人分发；游戏优化类工具出海越南；寻国内外混变发行；短剧多业务合作等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 415000 行业动态 Lazada、Shopee平台数据显示：直播购物成为趋势 越南消费者越来越倾向于通过直播购买商品。 siyushenqi.com 2025 年 8 月 13 日 448000 发表回复 请登录后评论...登录后才能评论 提交
