全球首测!OpenAI开源SWELancer siyushenqi.com • 2025 年 8 月 13 日 下午9:48 • 行业动态 • 阅读 425 OpenAI开源了一个新的大模型代码能力测试基准——SWE-Lancer,旨在更真实地评估大模型在实际软件工程任务中的表现。与传统基准(如SWE-Bench)不同,SWE-Lancer包含1488个来自Upwork平台上Expensify开源仓库的真实开发任务,总价值高达100万美元,涵盖了全技术栈的复杂交互。 摘要 SWE-Lancer采用端到端测试方法,模拟真实用户的工作流程,验证应用程序的完整行为。这种方法能够更全面地评估模型的解决方案,避免模型通过作弊通过测试。例如,模型需要修复用户头像显示不一致的漏洞,并通过模拟用户登录、上传头像等操作来验证修复效果。 SWE-Lancer数据集分为两大类:独立开发任务(764个,价值414,775美元)和软件工程管理任务(724个,价值585,225美元)。独立开发任务模拟个体软件工程师的职责,而管理任务则要求模型从多个提案中选择最佳解决方案。 OpenAI使用GPT-4o、o1和Claude 3.5 Sonnet等模型进行了测试。结果显示,即使是最先进的模型也未能达到百万年薪的标准。在独立开发任务中,Claude 3.5 Sonnet的通过率最高,为26.2%;而在管理任务中,其通过率为44.9%。这表明大模型在处理复杂、高价值任务时仍远不如人类。 网友对SWE-Lancer的评价积极,认为其将全栈问题与市场价值和开发现实联系起来,是一个创新的测试方向。这种测试基准能够更准确地反映大模型在实际软件工程中的应用能力,为未来的研究和开发提供了有价值的参考。 今天凌晨2点,OpenAI开源了一个全新评估大模型代码能力的测试基准——SWE-Lancer。 目前,测试模型代码能力的基准主要有SWE-Bench和SWE-BenchVerified,但这两个有一个很大的局限性,主要针对孤立任务,很难反映现实中软件工程师的复杂情况。例如,开发人员需处理全技术栈的工作,要考虑代码库间的复杂交互和权衡。 而SWE-Lancer的测试数据集包含1488个来自Upwork平台上Expensify开源仓库的真实开发任务,并且总价值高达100万美元。也就是说,如果你的大模型能全部答对这些问题,就能像人类一样获得百万年薪。 开源地址:https://github.com/openai/SWELancer-Benchmark SWE-Lancer独特测试方法 SWE-Lancer的一个重要创新是其采用的端到端测试方法。与传统的单元测试不同,端到端测试能够模拟真实用户的工作流程,验证应用程序的完整行为。这种方法不仅能够更全面地评估模型的解决方案,还能够避免一些模型通过作弊来通过测试。 例如,对于一个价值1000美元的开发任务,模型需要修复一个导致用户头像在“分享代码”页面与个人资料页面不一致的漏洞。 传统的单元测试可能只能验证头像上传和显示的独立功能,但端到端测试则会模拟用户登录、上传头像、切换账户以及查看不同页面的完整流程。通过这种方式,测试不仅能够验证头像是否正确显示,还能够确保整个交互过程的连贯性和正确性。 端到端测试的另一个重要特点是其对真实场景的还原能力。在软件工程中,许多问题并非孤立出现,而是与系统的其他部分相互作用。 例如,一个看似简单的漏洞可能涉及到多个组件的协同工作,或者与数据库、网络状态等外部因素相关。 端到端测试通过模拟真实用户的行为,能够捕捉到这些复杂的交互关系,从而更准确地评估模型的解决方案是否真正解决了问题。 在评估的过程中,引入了一个重要模块用户工具,允许模型在本地运行应用程序,并模拟用户的行为来验证其解决方案。 例如,在处理Expensify应用中报销流程的相关任务时,模型借助用户工具模拟用户进行费用录入操作。会按照真实用户的操作习惯,在本地运行的应用程序中依次输入各项费用明细,如金额、日期、费用类型等信息,之后点击提交按钮,观察应用程序是否能正确记录费用数据,以及后续的审批流程是否能顺利启动。 通过这样的模拟操作,模型能够判断自己对报销流程问题的解决方案是否有效,比如是否修复了费用录入后数据丢失的漏洞,或者是否优化了审批流程中的卡顿现象等。 SWE-Lancer数据集 SWE-Lancer数据集一共包含1488个来自Upwork平台上Expensify开源库的真实软件开发任务,一共分为独立贡献者和软件工程管理任务两大类。 独立开发任务一共有764个,价值414,775美元,主要模拟个体软件工程师的职责,例如,实现功能、修复漏洞等。在这类任务中,模型会得到问题文本描述涵盖重现步骤、期望行为、问题修复前的代码库检查点以及修复目标。 软件管理任务,有724个,价值585,225美元。模型在此类任务中扮演软件工程经理的角色,需要从多个解决任务的提案中挑选最佳方案。例如,在一个关于在iOS上实现图像粘贴功能的任务中,模型要从不同提案里选择最适宜的方案。 首批SWE-Lancer测试结果 OpenAI使用了GPT-4o、o1和Claude3.5Sonnet在SWE-Lancer进行了测试,结果显示,大模型冲击百万年薪都失败了。 在独立开发测试任务中,表现最好的模型Claude 3.5 Sonnet的通过率仅为26.2%,只能正确解决不到三分之一的开发任务。而在软件工程管理任务中,Claude 3.5 Sonnet的表现稍好,通过率达到了44.9%。 而GPT-4o在独立开发测试中的通过率仅为8%,o1的通过率为20.3%;在软件工程管理任务中,GPT-4o为37.0%,o1为46.3%。 需要注意的是,模型在不同任务类型和难度级别上的表现存在显著差异。在价值较低、相对简单的任务中,模型的通过率相对较高;而在价值较高、难度较大的任务中,通过率则明显下降。 例如,在SWE-Lancer Diamond数据集中,价值超过1000美元的任务,模型的通过率普遍低于30%。这表明,尽管模型在处理一些基础任务时能够表现出一定的能力,但在面对复杂的、高价值的软件工程任务时,他们仍比人类要差很多。 看完这个基准测试,网友表示,现在我们竟然需要测试大型语言模型是否能成为百万富翁,这简直疯狂。 我很喜欢这个发展的方向。用全栈问题进行测试,将其与市场价值和开发工作的日常现实联系起来。一直觉得以前的基准测试就不太准确。 百分之百确定o3在这方面会胜过Grok3。 将它与现实世界的任务和经济价值联系起来真是天才之举,非常有趣。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32891.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 腾讯的搜索梦,被DeepSeek再次点燃 上一篇 2025 年 8 月 13 日 下午9:48 百度的面子和里子 下一篇 2025 年 8 月 13 日 下午9:48 相关推荐 行业动态 月下载暴涨400%,AI翻唱应用冲榜沙特Top1,变形金刚也能唱Rap了 AI支持音乐“再创作”,商业出路何处寻? siyushenqi.com 2025 年 8 月 13 日 448000 行业动态 72小时瓦解200亿独角兽 有人狂欢,有人遭“背刺”。 siyushenqi.com 2025 年 8 月 13 日 415000 OZON平台2023年最新开店和品类商机 Ozon入驻答疑解惑 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 546000 阿里整大活,一张照片就能生成视频 规模效应释放技术红利。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 460000 行业动态 OpenAI反对美国SB-1047法案,会杀死开源大模型! OpenAI向美国加州参议员Scott Wiener写了一封反对SB 1047法案的信。 siyushenqi.com 2025 年 8 月 13 日 385000 行业动态 人形机器人第一城,首轮竞逐赛开启 历史进程中的人形机器人。 siyushenqi.com 2025 年 8 月 13 日 398000 行业动态 私域神器每周合作精选No.169|RPG游戏寻发行及投资;海外译制短剧内容寻流量合作;需要Reddit广告户;寻小众软件开户 本期精选的合作类型涵盖RPG游戏寻发行及投资;海外译制短剧内容寻流量合作;需要Reddit广告户;寻小众软件开户等。接下来就一起看看吧~ siyushenqi.com 2025 年 9 月 1 日 502000 行业动态 千问负责人林俊旸凌晨发文卸任,未透露自己的去向和接任者 阿里千问核心负责人林俊旸突然卸任引关注,正值Qwen3.5小模型发布及品牌整合后,其去向成谜或影响团队与业务推进。 siyushenqi.com 2026 年 3 月 5 日 254000 行业动态 一周要闻NO.99丨4月出海厂商榜单TOP30换血;《鸣潮》登顶107个国家和地区;华为入局短剧;快手电商,用户为王? 4月出海厂商榜单TOP30换血,柠檬微趣、乐元素、新创娱游成增长新星;公测前1天《鸣潮》全球多地登顶;重磅!华为入局短剧;快手电商,“用户”为王;OpenAI与新闻集团达成合作,遭到大量吐槽。 siyushenqi.com 2025 年 8 月 14 日 493000 行业动态 腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o 鹅厂新一代旗舰大模型混元Turbo技术报告首次曝光。模型采用全新分层异构的MoE架构,总参数达万亿级别,性能仅次于GPT-4o,位列国内第一梯队。 siyushenqi.com 2025 年 8 月 13 日 425000 行业动态 Facebook矩阵与私域流量结合提升外贸企业销售额 Facebook矩阵与私域流量的结合 私域流量的优势与挑战 Facebook广告精准投放 客户转化率优化 数据分析驱动决策 Facebook矩阵与私域流量的结合 随着外贸市场竞争的日益激烈,外贸企业面临着越来越多的挑战。在这一背景下,Facebook矩阵与私域流量的结合,成为了提升外贸企业销售额的重要策略。私域流量不仅能够帮助企业在更长的时间内保持客户关系,… siyushenqi.com 2025 年 8 月 13 日 下午9:48 425000 抖音内测“云游戏”功能, 短视频可直接体验游戏 字节跳动旗下的短视频平台抖音,正在内测云游戏等相关功能。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 490000 行业动态 腾讯阿里的子弹,命中同一IPO 成立不足4年即登陆港交所,公开发售超购1209倍、孖展2533亿港元创纪录,市值按发行价已破500亿港元。 siyushenqi.com 2026 年 1 月 9 日 425000 行业动态 你耳熟能详的家电品牌,正在海外“乘风破浪” 随着中国企业加速品牌“出海”,中国家电产品在全球线上和线下销售渠道快速渗透,多个中国家电品牌如海尔、美的、海信等在国际展会上展示了其在品质、设计和智能化方面的优势。 siyushenqi.com 2025 年 8 月 5 日 450000 行业动态 外贸企业WhatsApp绿标号申请实操指南 申请流程 申请要求 对比分析 常见问题 申请流程 外贸企业想要申请WhatsApp绿标号,首先需要完成身份验证。这个过程包括向WhatsApp提供必要的企业信息以及相关文件。这些文件通常包括营业执照、税务证明、以及与企业运营相关的其他合法文件。 接下来,企业需要提交这些材料,并等待WhatsApp的审核过程。通常,审核时间为几天,但有时可能会因为资料不完整或… siyushenqi.com 2025 年 8 月 13 日 下午9:48 425000 行业动态 可将AI宠物“揣兜里”,又一“中国制造”风靡欧美,价格也被打下来了 便携的AI电子萌宠,出海再探赛道新蓝海。 siyushenqi.com 2025 年 8 月 13 日 538000 行业动态 奈飞:视频不香了,我要玩游戏 多年来,视频流媒体巨头奈飞(Netflix)一直在暗示可能会进军游戏界。而目前,这一消息终于得到确认。 siyushenqi.com 2025 年 8 月 25 日 468000 睿魔智能:消费级AI影像机器人打开海外市场,国内文娱市场开拓在即 近日,影像机器人公司“睿魔智能”宣布完成B轮融资,由红杉中国种子基金、中银旗下渤海中盛和光远资本投资,庚辛资本担任独家长期战略财务顾问。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 878000 行业动态 又到年底,那些AGI预言“实现”到哪一步了? 回顾2024年AI领域的一些重要预测,包括AI能力、安全性和积极影响的突破性进展,以及视频AI的快速发展。然而,实际进展并不如预期,例如GPT-5的缺席、Scaling Law的挑战以及Sora项目的延迟。 siyushenqi.com 2025 年 8 月 13 日 446000 行业动态 两部译制剧火爆海外!这一地区最爱“赘婿”? 从短剧题材来看,海外短剧的投放愈来愈“投其所好”。 siyushenqi.com 2025 年 8 月 17 日 474000 行业动态 【出海榜单】2022 年 12 月中国游戏厂商及应用出海收入 30 强 data.ai发布2022年12约中国游戏厂商及应用出海应用双榜 siyushenqi.com 2025 年 8 月 24 日 502000 市场新机!品牌和自有品牌卖家在eBay或迎来新一轮爆发 对很多自有品牌卖家而言,eBay似乎从来不在优先级之列。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 298000 行业动态 2020年9月全球热门移动游戏下载量TOP10 Sensor Tower 商店情报数据显示,InnerSloth《Among Us》9月在全球App Store和Google Play获得8380万次下载 siyushenqi.com 2025 年 8 月 26 日 509000 多款产品折戟,畅销百名开外,一款成功的率土like怎么就如此难做? 品类的下一个突破点在哪? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 457000 优衣库母公司23Q1财报显示东南亚、北美及欧洲增速明显,员工薪资是成本中增速最高项目 “具备盈利能力后,UNIQLO将在北美、欧洲市场加速开设新门店。” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 377000 行业动态 月之暗面再获投资估值近200亿,大模型狂卷低价压力下,AI创业者在海外赚到钱? 资本扎堆AI创业赛道,机会在哪儿? siyushenqi.com 2025 年 8 月 13 日 464000 CM.com | 科技赋能慈善,点亮希望之光 作为国际优质的云通信服务商,CM.com在全球范围为企业提供国际短信、国际语音、Email、WhatsApp、RCS、Viber等多渠道的通信方式,始终致力于凭借自身技术优势,为全球企业提供高效、创新的通信解决方案。 siyushenqi.com 2025 年 9 月 10 日 • 行业动态 445000 行业动态 WhatsApp协议号安全合规运营实用指南 数据加密与隐私保护 GDPR 合规要求 定期安全审计的重要性 用户隐私保护措施 数据处理透明度 数据加密与隐私保护 在现代企业运营中,用户数据的加密保护至关重要。对于WhatsApp协议号的安全合规运营,确保数据在传输和存储过程中的加密是防止数据泄露和黑客攻击的第一道防线。使用强加密算法(如AES-256)能有效地保护数据内容,即使数据被拦截,也难以被破解。… siyushenqi.com 2025 年 8 月 13 日 下午9:48 425000 行业动态 法国法院驳回政府要求Shein停业申请 巴黎司法法院拒绝政府“暂停Shein法国站3个月”的请求,认为少量违规商品与全面封站“不成比例”。 siyushenqi.com 2025 年 12 月 22 日 404000 行业动态 私域神器每周合作精选No.130|《一剑开皇》寻海外发行合作;海外短剧项目寻代开发、代运营;优秀单机游戏寻变现途径 本期精选的合作类型涵盖《一剑开皇》寻海外发行合作;海外短剧项目寻代开发、代运营;优秀单机游戏寻变现途径等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 381000 发表回复 请登录后评论...登录后才能评论 提交