1. 私域神器首页
  2. 行业动态

OpenAI开源BrowseComp，重塑Agent浏览器评测

siyushenqi.com • • 行业动态 • 阅读 530

OpenAI开源了专门用于智能体浏览器功能的测试基准——BrowseComp，旨在评估智能体在互联网环境中搜索和处理信息的能力。

摘要

BrowseComp包含1266个极具挑战性的问题，覆盖多个领域。这些问题设计复杂，需要智能体在互联网中搜索并匹配复杂约束条件，例如特定的足球比赛、电视剧角色或研究论文等。其难度体现在现有模型如GPT-4o和GPT-4.5的低准确率（分别为0.6%和0.9%）。

BrowseComp的数据集由人类专业数据师收集，遵循SimpleQA指导原则。问题设计遵循三个检查点：验证现有模型无法解决、谷歌搜索前一页无答案、另一个数据师在十分钟内无法解决。这种设计确保了问题的高难度和挑战性。

Deep Research的表现随着计算资源的增加而提升，表明更多的计算资源可以显著提高模型在复杂网络浏览任务中的表现。

单纯具备浏览能力或推理能力的模型表现有限，而Deep Research的成功在于其综合运用了搜索工具、推理能力和信息处理能力，从而在复杂任务中表现出色。

今天凌晨2点，OpenAI开源了专门用于智能体浏览器功能的测试基准——BrowseComp。

这个测试基准非常有难度，连OpenAI自己的GPT-4o、GPT-4.5准确率只有0.6%和0.9%几乎为0，即便使用带浏览器功能的GPT-4o也只有1.9%。

但OpenAI最新发布的Agent模型Deep Research准确率高达51.5%，在自主搜索、信息整合、准确性校准方面非常优秀。


开源地址：https://github.com/openai/simple-evals

BrowseComp简单介绍

BrowseComp全称为Browsing Competition，包含了1266个很有挑战性问题的数据集，涵盖电影、科学与技术、艺术、历史、体育、音乐、电子游戏等众多领域。


这些问题的难度在于，需要在庞大的互联网空间中搜索，并将这些潜在答案与问题中提出的复杂约束条件相匹配。例如，下面这三个问题就能很好体现BrowseComp的难度。

第一个关于足球比赛的问题，要求智能体找出在1990年至1994年期间，哪两支足球队在一场比赛中由巴西裁判执法，共出现四张黄牌（每队两张），其中三张不是在上半场发出的，并且有四次换人，其中一次是在比赛前25分钟因伤换人。

答案是爱尔兰对罗马尼亚。


第二个要求识别一个偶尔会打破第四面墙与观众互动的角色，其背景故事涉及得到无私苦行僧的帮助，以幽默著称，并且在20世纪60年代—80年代之间有一部少于50集的电视剧。

答案是《塑料人》。


第三个要求找出一篇在2023年6月之前发表的研究论文，该论文提到文化传统、科学过程和烹饪创新，并且由三个人共同撰写，其中一人是西孟加拉邦的助理教授，另一人拥有博士学位。

答案是《面包制作的基础：面包的科学》。


BrowseComp的数据集完全由人类专业数据师收集，其指导原则主要遵循SimpleQA。在创建问题时，需要确保这些问题对于人类来说是极其困难的，数据师通过三个主要检查点来确保问题的挑战性：首先，验证了现有的模型例如，OpenAI的GPT-4o、OpenAI o1和早期版本的Deep Research无法解决这些问题；

其次，进行了五次简单的谷歌搜索，确保答案不会出现在搜索结果的第一页上；最后，确保这些问题足够困难，以至于另一个数据师在十分钟内无法解决。如果某个问题被解决的频率超过40%，那么创建该问题的数据师就会被要求修改问题。

为了确保问题的难度，数据师们会从一个事实开始，然后创建一个反向问题，其中答案难以找到但易于验证。例如，可能会从一个人、事件或物品开始，找到几个具有广阔搜索空间的特征，并从中创建一个问题。

这种反向问题的设计方法使得答案虽然难以找到，但一旦找到，却很容易验证。不过这种设计方法也有一个缺点，虽然可以确定提供的参考答案是正确的，但不能确定没有其他答案。

为了减少这种可能性，数据师们被要求对问题的内容足够熟悉，以便有信心没有其他有效答案，并在不自信时增加更多标准。

测试数据

为了衡量BrowseComp数据集的难度，OpenAI邀请了创建问题的同一批人类数据师尝试解答这些问题。这些数据师在解答问题时没有访问正确答案，并且被要求在不使用AI助手的情况下完成。


由于一些问题极其困难，OpenAI允许数据师在搜索两小时后标记问题为无法解决并继续下一个问题。结果显示，数据师解决了29.2%的问题，而在解决的问题中，数据师的答案与原始参考答案一致的比例为86.4%。

OpenAI还对自己的模型在BrowseComp上进行了综合测试。GPT-4o 和 GPT-4.5 这两个不具备浏览能力的模型在 BrowseComp 上的表现很差，只有只有0.6%和0.9%。


当为 GPT-4o 启用浏览功能后，其准确率从 0.6% 提升到了 1.9%。虽然这一提升幅度不大，但揭示了一个重要的事实，单纯的浏览能力并不能完全解决BrowseComp 中的复杂问题。

模型需要能够有效地利用浏览工具，进行战略性搜索和信息筛选。这表明，工具使用能力虽然重要，但如果没有强大的推理能力和对检索到的信息进行有效处理的能力，模型在网络浏览任务中的表现仍然会受到限制。

OpenAI o1模型虽然不具备浏览能力，但其推理能力较强，准确率达到了 9.9%。这一结果表明，推理能力在网络浏览任务中也起着关键作用。

尽管 o1 无法直接从网络中检索信息，但它可以通过内部知识和推理能力解决一部分问题。这说明，对于一些问题，模型可以通过对已有知识的深度推理来找到答案，而不需要依赖外部信息检索。

OpenAI最新发布的Agent模型Deep Research表现的意外好，准确率达到了51.5%。这表明Deep Research能够有效地使用浏览工具，能够对检索到的信息进行深度分析和综合处理。同时具备很强的适应性，面对搜索时遇到的各种信息，能够迅速做出反应，调整自身的搜索策略。


此外，OpenAI还发现，Deep Research 的表现随着测试时计算资源的增加而提升。这表明，增加计算资源可以显著提高模型在复杂网络浏览任务中的表现。通过使用更多的计算资源，模型可以尝试更多的搜索路径，从而提高找到正确答案的概率。

相关阅读

本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33050.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

siyushenqi.com的头像

siyushenqi.com

13.9K 文章
0 评论
425 问题
18 粉丝
私域神器：海外私域营销拓客软件
上一篇 2025 年 8 月 13 日 下午10:03
下一篇 2025 年 8 月 13 日 下午10:03

相关推荐

发表回复

登录后才能评论
联系我们

联系我们

+86 132-7601-9273

邮件：siyushenqi@gmail.com

工作时间：周一至周日 9:30-20:30

添加微信
添加微信
email Email Telegram
分享本页
返回顶部
首页
微信
Ai智能体
Telegram