OpenAI开源PaperBench,重塑顶级AI Agent评测 siyushenqi.com • 2025 年 8 月 13 日 下午10:02 • 行业动态 • 阅读 413 OpenAI开源了新的AI Agent评测基准PaperBench,用于考核智能体的搜索、整合、执行等能力,特别是对2024年国际机器学习大会(ICML)顶级论文的复现能力,包括理解论文、编写代码和执行实验等。 摘要 PaperBench的核心是任务模块,要求智能体复现20篇ICML 2024的Spotlight和Oral论文,评分标准采用层次化的树形结构,包含8316个可单独评分的任务节点,覆盖论文贡献、实验结果、代码实现等细节。评分模块基于大模型的自动评分系统,通过与人类专家评分对比的JudgeEval基准测试来验证其准确性。 规则模块确保评估公平性,限制智能体只能使用自身理解和实现,禁止依赖论文作者的原始代码库或其他在线复制资源。PaperBench还包含轻量级评估变体模块PaperBench Code-Dev,放宽了部分评测要求,降低了评估门槛和成本,使更多研究者能够参与。 被测试智能体运行在Ubuntu 24.04的Docker容器中,可访问A10 GPU、联网并使用HuggingFace和OpenAI API。智能体的本地工作目录包含论文文件和指令文本。OpenAI开发了SimpleAgent和IterativeAgent两种智能体设置,后者通过修改系统提示,解决了提前结束任务的问题。 OpenAI对多个主流开闭源模型的智能体进行了测试,结果显示Claude 3.5 Sonnet表现最好,平均复现分数为21.0%,而其他模型表现较差,OpenAI的o3-Mini-High垫底。通过与人类博士的对比测试发现,智能体在长期任务执行和有效规划方面存在不足,目前还无法超越人类。 今天凌晨1点,OpenAI开源了一个全新的AI Agent评测基准——PaperBench。 这个基准主要考核智能体的搜索、整合、执行等能力,需要对2024年国际机器学习大会上顶尖论文的复现,包括对论文内容的理解、代码编写以及实验执行等方面的能力。 根据OpenAI公布的测试数据显示,目前知名大模型打造的智能体,还无法战胜顶级机器学习专业博士。但在辅助学习、了解科研内容方面很有帮助。 开源地址:https://github.com/openai/preparedness/ PaperBench组成介绍 PaperBench的核心是其任务模块,主要定义了智能体需要完成的具体任务,需要从头开始复现20篇ICML 2024会议上的Spotlight和Oral两大类顶级论文,包括理解论文的贡献,开发代码库以及成功执行实验,以评测智能体从理论到实践的全方位自动化能力。 为了确保评估的准确性和细致性,PaperBench开发了一套详细的评分标准,以层次化的树形结构呈现。使得评分过程能够深入到每一个细节,从论文的核心贡献到具体的实验结果,再到代码实现和执行要求,每一个环节都有相应的评分节点。 这些评分节点被精心设计为可单独评分的任务,总数达到了8316个,从而实现了对智能体能力的全面评估。 评分模块的核心是基于大模型的自动评分系统,它能根据评分标准自动评估智能体的复制尝试。自动评分系统的引入大幅提高评分效率和可扩展性,使PaperBench能快速评估大量提交。 为验证自动评分系统的准确性,PaperBench创建了单独的评分系统基准测试JudgeEval,通过比较自动评分系统的输出与人类专家的评分结果来评估其性能。这一过程不仅确保自动评分系统的可靠性,也为未来的评分系统改进提供重要参考。 规则模块确保评估过程的公平性。它规定智能体在执行任务时可以使用的资源,例如允许智能体浏览互联网,但禁止使用论文作者的原始代码库或其他在线复制资源。这些规则确保智能体的能力基于其自身的理解和实现,而非依赖现有代码或资源。 PaperBench还包含一个轻量级评估变体模块PaperBench Code-Dev,旨在降低评估门槛,使其更适合更广泛的社区使用。 Code-Dev放宽了一些评测要求,例如,跳过了执行代码以验证结果是否复制的步骤,仅对代码开发进行评估。这一变体虽牺牲了一些评估完整性,但大幅降低了评估成本和复杂性,使更多研究者能参与智能体的评估。 智能体测试环境 每个被测试的智能体在运行Ubuntu 24.04的Docker容器中执行任务,保证了环境的一致性和可重复性,接近真实研究场景的运行环境。 容器可访问单个A10 GPU,这对于加速机器学习实验至关重要。同时,容器具备联网能力,智能体可下载软件包、访问在线资源。 为满足实验中的多种服务需求,研究人员为智能体提供了HuggingFace和OpenAI API的密钥,其中OpenAI API预加载了1000美元额度。这确保了智能体在需要使用OpenAI的微调API或从HuggingFace下载数据集时,能够顺利操作。 智能体的本地工作目录包含论文的PDF和Markdown格式文件、论文附录以及指令文本文件,为智能体提供了丰富的信息来源和明确的指导。 在智能体设置方面,研究团队基于Inspect AI的基本智能体开发了SimpleAgent。SimpleAgent运行工具使用循环,配备bash shell命令执行工具、Python代码执行工具、web浏览器工具和分页文件阅读器工具,能够高效完成任务。但是,大多数使用SimpleAgent的智能体存在提前结束任务的问题。 为解决这一问题,OpenAI开发了IterativeAgent通过修改系统提示,要求智能体每次只进行下一步操作,并移除了提交工具,确保在整个可用时间内持续工作。这些改进使IterativeAgent在实验中表现出与SimpleAgent不同的行为模式,为研究不同智能体设置对模型复制能力的影响提供了新的视角。 评测数据 OpenAI通过该基准对 GPT - 4o、o1、o3 - mini、DeepSeek - R1、Claude 3.5 Sonnet 和 Gemini 2.0 Flash主流开闭源模型打造的智能体进行了综合测试。 每个模型对每篇论文运行3次,每次运行的最长时间为12小时。结果显示,Claude 3.5 Sonnet效果最好,平均复现分数达到21.0%;o1的得分较低,为13.2%;R1只有6%;其他测试模型的表现更差。 最让人意外的是,OpenAI刚发布没多久的o3-Mini-High直接垫底,看来这个评测还是相当客观的。 通过对智能体日志的手动检查发现,除 Claude 3.5 Sonnet 外,其他模型经常提前结束任务,并且所有模型都未能有效规划如何在有限时间内完成论文复现任务,o3 - mini 在工具使用方面也存在困难。 这表明智能体在执行长期任务方面存在不足,尽管它们在制定和编写多步计划方面有一定能力,但在实际执行长计划时却表现不佳。 为了进一步确定智能体和PaperBench的评测准确性,OpenAI还找来了8名顶级名校的机器学习专业博士,需要在与智能体相似的条件下,对 PaperBench中的4篇论文进行复现尝试,每人对每篇论文进行3次独立尝试。 结果显示,在复现尝试的早期阶段,o1的表现优于人类基线,但在24小时后,人类开始超越 o1。 这表明模型在开始时能够快速编写大量代码,但在后续有效规划和改进提交内容方面存在不足,而人类在前期消化论文的时间较多,但后续能够持续提升复现效果。也就是说,目前智能体的能力还无法超越人类。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33035.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 在AI儿童硬件产品赛道,人人都想抢学习机的饭碗 上一篇 2025 年 8 月 13 日 下午10:02 Meta新款AI眼镜或年底发布 下一篇 2025 年 8 月 13 日 下午10:02 相关推荐 行业动态 从对游戏一无所知到年入20亿,他走了20年 二十年,弹指一挥间 siyushenqi.com 2025 年 8 月 18 日 422000 行业动态 抖音接入豆包,字节发起反击 抖音近期测试接入豆包App的AI功能,并在抖音App内为其开放了两个超级入口(短视频界面和消息列表)。这一调整旨在打破AI产品与流量平台的割裂状态,提升抖音的AI能力,同时为豆包引入更大流量,增强用户粘性和使用频次。 siyushenqi.com 2025 年 8 月 13 日 560000 行业动态 社媒矩阵在全球市场中的应用与优势 社媒矩阵概述 社媒矩阵的关键优势 实施策略 对比分析 常见问题解答 社媒矩阵概述 社媒矩阵是指在多个社交平台上,通过品牌内容的一致性和战略性布局来提升品牌曝光率、增强用户互动和促进销售转化的综合性营销手段。在全球市场中,品牌需要通过精细化的社媒矩阵运作,精准地吸引并维系用户,以达到预期的市场效果。 社媒矩阵的关键优势 社媒矩阵在全球市场中的应用,能够为品牌带… siyushenqi.com 2025 年 8 月 13 日 下午10:02 413000 行业动态 前叠纸主策带队的AI女性向新游,也还是“差点意思”? 把AI从“陪伴NPC”升级为“共创伙伴”,玩家用原创角色(OC)拍戏、导戏、写剧本,AI一键生成剧情、镜头、台词,零门槛产出UGC。 siyushenqi.com 2025 年 12 月 27 日 412000 2023年,超级APP的升与降 互联网世界的横纵之争。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 402000 App隐私追踪权限管理功能已在iOS 14.4 Beta 1中启用 此前为了给应用开发者和广告商一定的缓冲时间,苹果曾推迟了新版隐私政策的启用日期。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 419000 行业动态 “电摩”火了,估值一年翻了20倍 “这绝对是2022年消费领域为数不多的热门赛道。” siyushenqi.com 2025 年 8 月 13 日 418000 行业动态 下载量超4亿次!TikTok姐妹应用CapCut火爆美国 CapCut全球下载量去年猛增43%,超过4亿次,其中约7%来自美国。 siyushenqi.com 2025 年 8 月 24 日 533000 行业动态 Reddit Karma是什么?Post Karma和Comment Karma的提升指南 在Reddit这一用户活跃度高的社区里,想要获得更好的曝光,我们就需要提升我们的Karma值,什么是Reddit Karma?怎么样才能提升以获得更大的影响力?本文将为你提高一套切实可行的提升方案。 一、什么是Reddit Karma? Reddit Karma是用户在Reddit上发帖和评论后,由其他用户通过点赞(upvote)和点踩(downvote)来… siyushenqi.com 2025 年 8 月 13 日 下午10:02 413000 从亏损千万到市值42亿,乐歌逆境突围,热销75国 乐歌如何扭亏为盈,风靡海外家具市场? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 460000 今天,网易有史以来DAU最高的游戏官宣了! “在谈不上景气的时间段里,他们挺出色地完成了营收任务。” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 515000 小商品大生意,它如何做到年增长率超400%? 红海突围新玩家!小小商品年收入1亿美元 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 418000 行业动态 前暴雪、Epic员工组建新公司再获1500万美元融资,网易跟投 近日,由前暴雪、Epic员工组建的游戏开发商Lightforge Games 宣布已经在A轮融资中筹集了1500万美元 siyushenqi.com 2025 年 8 月 25 日 398000 行业动态 OpenClaw用户增长与开发者生态研究 OpenClaw是一款开源AI代理工具,自2025年底发布以来迅速获得大量用户和开发者关注。项目凭借灵活的技术架构和丰富的插件生态,推动了全球开发者社区的活跃,同时也面临安全与治理方面的挑战。 siyushenqi.com 2026 年 3 月 10 日 370000 行业动态 短剧电商赛道来了,MCN“冲”吗? 短剧电商是直播电商的下一个版本。 siyushenqi.com 2025 年 8 月 5 日 424000 行业动态 “消失”的日本人形机器人 在全球人形机器人产业中,日本的声音逐渐减弱。摩根士丹利的《Humanoid 100》报告显示,日本在人形机器人相关上市公司和独角兽企业中表现不佳,与日本在该领域的早期领先地位形成鲜明对比。 siyushenqi.com 2025 年 8 月 13 日 417000 祖龙虚幻引擎新项目曝光:女性向、换装、可以捏脸 在去年的虚幻引擎技术开放日Unreal Open Day上,祖龙CEO在现场分享了祖龙游戏开发虚幻引擎游戏的一些情况,其中就曝光了一款正在开发中的的全新项目《PROJECT I》。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 512000 行业动态 还在寻找蓝海?SHEIN最近的高层调整已经指明方向 重仓拉美,估值下跌的SHEIN仍旧雄心勃勃。 siyushenqi.com 2025 年 8 月 12 日 444000 成为Temu卖家的122天:从进场到退场 劝退的,不止是一单一块的利润。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 525000 行业动态 出海非洲、拉美,解决外贸人最怕的金融风险靠什么? 非洲、拉美等新兴市场因人口基数大、增长潜力足,成为外贸企业拓展的重点方向,但这些市场的跨境贸易却伴随高金融风险与复杂合规挑战 —— 外汇管制严格、支付渠道不稳定、合规政策多变等问题,常让企业陷入 “有订单不敢接” 的困境。区块链技术凭借不可篡改、实时追溯特性,为缓解风险提供新路径,而搭配适配的合规支付工具,才能真正实现 “风险可控、贸易可行”。 非洲、拉美市… siyushenqi.com 2025 年 8 月 13 日 下午10:02 413000 行业动态 国庆不打烊丨“剧本杀”、“外星人”、互动小说、AI盲盒...一文盘点25年海外AI陪伴赛道产品亮点 复盘2025年前三季度,海外AI陪伴应用的发展趋势与代表产品。 siyushenqi.com 2025 年 10 月 7 日 598000 播放量超1000亿!#booktok掀起TikTok“读书热” #booktok标签热度狂升,给Tik Tok创作者什么启示? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 500000 GPT-4撑腰,Office全家桶集体升级,微软向谷歌丢出“王炸” 继搜索引擎后,生产力工具领域的AI革命全面打响。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 467000 库洛憋大招,我们可能低估了《鸣潮》的开放世界 作为一款开放世界产品,《鸣潮》自曝光以来便受到了行业与玩家的紧密关注。从数据上看,不仅相关的概念视频播放量总计接近1000万,并且游戏还在TapTap与好游快爆两个平台上都斩获了9分以上的高期待分。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 531000 行业动态 AI写真、AI游戏社区、AI大模型…一文速览全球AIGC大事件 一起回顾2022-2023年度AIGC大事件 siyushenqi.com 2025 年 8 月 13 日 374000 行业动态 一场由“龙虾”引起的安全围栏之争:大厂们各自押注了什么? OpenClaw走红引发数据安全挑战,大厂布局安全围栏技术,面壁智能等推出本地化方案,平衡效率与隐私成竞争关键。 转自扬帆出海 2026 年 3 月 23 日 237000 行业动态 AI音乐Suno:一两分钟生成一首歌,让普通人也可以轻松创作原创音乐 Suno引领AI生成音乐 siyushenqi.com 2025 年 8 月 13 日 542000 行业动态 京东、网易回港上市,为什么是港股不是A股? 目前满足在中国香港二次上市资格的企业除了京东、网易外,还包括百度、好未来、58同城、陌陌、新浪、携程等头部公司。 siyushenqi.com 2025 年 8 月 26 日 471000 SHEIN凭什么征服了美国的年轻人? 近日,“闷声发大财”的中国快时尚电商 SHEIN 获得了美国青少年的喜爱,其受欢迎程度甚至超过了亚马逊。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 423000 行业动态 继上周被Play商城下架后 快手海外版Zynn也从App Store下架 上周从 Play 应用商城下架之后,今天快手的海外短视频应用程序 Zynn 也从 App Store 下架。 siyushenqi.com 2025 年 8 月 26 日 454000 发表回复 请登录后评论...登录后才能评论 提交