OpenAI开源SimpleQA！轻松检测、校准大模型能力 siyushenqi.com • 2025 年 8 月 13 日 下午9:22 • 行业动态 • 阅读 393 OpenAI开源了SimpleQA，这是一个基准测试集，旨在帮助开发者检测和校准大型语言模型的真实性能力。 摘要 许多大型模型存在提供错误信息的问题，例如错误地将NBA历史上得分最多的人归为迈克尔乔丹而非勒布朗詹姆斯。包括OpenAI的GPT-4o、o1-preview、o1mini等模型都存在这类问题。 SimpleQA被设计用来挑战高级模型，如GPT-4，其中只包含至少有一次模型尝试失败的问题，旨在揭示模型的局限性并推动其发展。 SimpleQA的问题参考答案由两名独立的AI训练员确定，并要求提供支持答案的网页链接以确保答案的可靠性。问题设计简单明确，易于评估，且数据集包含4326个问题，有助于降低评估的方差。 SimpleQA提供了一种标准化的方法来评估和改进模型在事实性回答方面的表现，这对于防止错误信息的传播和提升对语言模型在这一领域表现的理解至关重要。 今天凌晨，OpenAI开源了最新基准测试集SimpleQA，可以帮助开发者轻松检测、校准大模型的真实性能力。 目前，很多大模型会出现一本正经胡说八道的问题，例如，你提问NBA历史上得分最多的是谁，它回答是迈克尔乔丹，实际上是勒布朗詹姆斯。包括OpenAI自己发布的GPT-4o、o1-preview、o1mini等前沿模型都有这些“幻觉”难题。 所以，SimpleQA对于开发者来说，可以精准测试大模型能否输出正确的答案，并对模型的说谎能力进行校准然后进行大幅度优化完善模型能力。 开源地址：https://github.com/openai/simple-evals 有网友表示，看了SimpleQA的测试数据才发现，o1-mini和o1-preview的性能差距这么大，o1-mini连GPT-4o都打不过。 令人惊讶的是，SimpleQA 被有意设计用来挑战像 GPT-4 这样的高级模型，其中只包括至少有一次模型尝试失败的问题。这种对抗性的基准测试方法感觉像是一种大胆的转变，旨在揭示模型的局限性并推动模型的发展。 多整开源这是好事。别忘了你名字的初衷啊~ 这很有趣，会看到更多的模型被测试，以及它们与我在提供的文本上进行的虚构/幻觉基准测试结果的比较。 很想看看o1模型的完整版测试。 完全同意事实性在人工智能中的重要性。SimpleQA 的引入可以显著提升我们对语言模型在这一领域表现的理解。这是一项及时的举措，准确的数据对于信任人工智能系统至关重要。期待看到这个基准测试的影响。 这很重要，因为确保大模型的事实性对于防止错误信息的传播至关重要，而 SimpleQA 提供了一种标准化的方法来评估和改进模型可靠性的这一关键方面。 很棒，重要的更新！ SimpleQA简单介绍 在数据收集阶段，SimpleQA的问题参考答案由两名独立的 AI 训练员确定，并且训练员在创建问题时被要求提供支持答案的网页链接，以确保答案有可靠的依据。 例如，对于 “谁是苹果公司的创始人之一” 这样常识性问题，训练员会根据历史资料和官方信息确定答案为 史蒂夫乔布斯等，并附上如苹果公司官方网站等相关链接作为证据。 同时，问题的设计使得预测答案易于评估，只允许有一个明确且无可争议的答案，避免了模糊性和歧义性。比如 “哪一年 iPhone 首次发布”，答案明确为“2007 年”，而不是一个范围或模糊的表述。 SimpleQA的评估问题和答案都非常简短，这使得运行速度快且操作简单。在评估模型回答时，通过 OpenAI API进行评分也十分迅速。数据集中包含4326个问题，能够在一定程度上降低不同次运行之间的方差，使评估结果更加稳定可靠。 例如，在对多个模型进行测试时，不会因为数据集本身的不稳定性而导致结果出现较大波动，从而能够更准确地比较模型之间的性能差异。 SimpleQA的评估集非常多元化。涵盖历史、科学技术、艺术、地理、电视节目等多个领域。这种多样性使得评估结果更具普遍性和代表性，能够全面地检验模型在不同知识领域的事实性回答能力。 另一个好处是它的校准测量功能。通过询问模型对其答案的信心，研究者可以了解模型是否知道它们知道什么，这是一个很重要的校准现象。如果一个模型能够准确地评估自己的信心水平，那么它就是一个校准良好的模型。 OpenAI通过SimpleQA对GPT-4o、o1-preview、o1mini、Claude-3-haiku、Claude-3-sonnet等前沿模型进行了综合测试。结果显示，较大模型通常具有更高的性能，但即使是前沿模型在SimpleQA 上的表现也并非完美。 例如，GPT - 4o 在回答一些问题时能够给出较高比例的正确答案，但仍有部分错误回答和未尝试回答的情况。同时，通过测量模型的校准情况，发现模型虽然有一定的信心概念，但普遍存在高估自己信心的问题，模型的信心水平与实际回答的准确性之间存在差距。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32646.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 ChatGPT新增重磅功能！能打造自己的聊天数据库了 上一篇 2025 年 8 月 13 日 下午9:22 马斯克旗下xAI洽谈新一轮融资：半年估值增超六成，达400亿美元 下一篇 2025 年 8 月 13 日 下午9:22 相关推荐 活动干货|聚焦海外新锐流量平台 手游出海如何用好平台红利 政策缩紧，海外市场持续增长，游戏出海早已经不是什么秘密 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 432000 2023年，超级APP的升与降 互联网世界的横纵之争。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 397000 行业动态 阿里Qwen3登顶开源大模型榜首，成色如何？ 阿里巴巴在“五一”节前开源了新一代通义千问模型Qwen3，并一次性开源了8个版本。Qwen3是中国公司推出的首个混合推理模型，融合了“推理”和“非推理”模式，能够根据不同问题选择“快、慢思考”。 siyushenqi.com 2025 年 8 月 13 日 388000 行业动态 AIGC创业，初创公司要么成为独角兽，要么成为炮灰 要么成为独角兽，要么成为炮灰，在生成式人工智能领域，初创企业别无选择 siyushenqi.com 2025 年 8 月 14 日 537000 行业动态 HuggingFace上的热门开源模型，一半都来自中国了 在HuggingFace热门模型榜单中，中国模型占比超过50%，包括QwQ-32B、HunyuanVideo-12V、DeepSeekR1、Qwen等模型。这些模型不仅数量多，还在性能、实用性和稳定性上取得了突破，逐渐形成独立的发展路径。 siyushenqi.com 2025 年 8 月 13 日 400000 行业动态 华盛顿州向Twitter索赔10万美元 指控其违反竞选规定 华盛顿州司法部长表示，由于Twitter公司自2012年以来在其平台上发布了多则政治广告，违背了华盛顿州信息披露法律的要求 siyushenqi.com 2025 年 8 月 26 日 443000 PUBG母公司krafton启动IPO：半年估值涨3倍、腾讯持股13% 9月25日消息，据韩国媒体报道，人气“吃鸡游戏”PUBG母公司韩国krafton集团已正式启动在韩国kospi首次公开募股（IPO）工作 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 556000 行业动态 WhatsApp获客自动回复系统开发方案 WhatsApp获客自动回复系统概述 主要功能与优势 应用场景与实际案例 对比分析 常见问题解答 WhatsApp获客自动回复系统概述 在当今信息化时代，客户沟通效率的提升成为企业发展的核心要素之一。WhatsApp作为全球领先的即时通讯工具，已经成为企业与客户沟通的重要平台。然而，随着企业客户量的增加，人工回复的效率和准确性逐渐无法满足需求。因此，开发一套… siyushenqi.com 2025 年 8 月 13 日 下午9:22 393000 行业动态 《AI出海合规增长大会》：智能合规，促进业务国际化发展 扬帆出海和腾讯云联合主办的《Meta关于AI行业的合规增长大会》将于8月28日在北京与大家见面。 siyushenqi.com 2025 年 8 月 14 日 393000 行业动态 “每日优鲜们”被抛弃，在线零售才是资本新宠儿？ Gopuff 完成10亿美元融资，估值达150亿美元，在线零售能够摆脱“生鲜魔咒”吗？ siyushenqi.com 2025 年 8 月 13 日 436000 死磕MOBA？《虚荣》之后，他们又做了一款登上苹果发布会的新游戏 前段时间的苹果发布会上，为了表现新一代芯片支持下高刷新率的游戏效果，苹果展示了Super Evil Megacorp（以下简称SEMC）的新游戏《Catalyst Black》。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 469000 行业动态 私域神器每周精选 No.23｜游戏社区找自研游戏合作 多款手游寻全球联运/发行 本期精选的合作类型涵盖多款精品手游发行、资源合作与APP联运等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 464000 行业动态 世界最好小参数开源大模型！超谷歌、Meta，手机、平板轻松运行 Mistral.AI发布了两款小参数模型Ministraux，分别是Ministraux 3B和8B，专为移动设备设计。 siyushenqi.com 2025 年 8 月 13 日 477000 行业动态 私域神器每周合作精选No.120｜AI女友游戏寻海外发行；混合变现塔防寻发行；小游戏研发团队寻求资金 本期精选的合作类型涵盖AI女友游戏寻海外发行；混合变现塔防寻发行；小游戏研发团队寻求资金等。 siyushenqi.com 2025 年 8 月 17 日 416000 行业动态 Shein法国首店探访：一边买，一边骂 Shein巴黎首店在BHV百货开张，门口同时出现“抢购长龙”与“抗议长龙”，警方全程戒备。 siyushenqi.com 2025 年 11 月 7 日 407000 行业动态 俄罗斯电商平台，挤满中国人 俄罗斯的电商市场，曾经且正在被中国平台与卖家改造。这里机会与风险并存，能留下来的人相信，更大的风险，可能意味着更高的回报。 siyushenqi.com 2025 年 8 月 5 日 461000 行业动态 首个全面开源的千亿模型来了！源2.0全家桶击破算力限制，代码数学强到发指 11月27日，浪潮信息发布源2.0基础大模型，并一口气开源了1026亿、518亿、21亿三个大模型！而在编程、推理、逻辑这些老大难问题上，源2.0都表现出了令人印象深刻的性能。 siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 黄仁勋，谈中国AI市场 英伟达首席执行官黄仁勋表示，未来几年中国人工智能芯片市场规模可能达到500亿美元，错过这一市场将是一个“巨大的损失”。他强调美国企业进入中国市场的重要性。 siyushenqi.com 2025 年 8 月 13 日 503000 一年卖出30亿美元，全球最大奢侈品电商也“破产” 行业内频出破产，奢侈品电商，最后总逃不了走到一个摆烂的结局？ siyushenqi.com 2025 年 8 月 12 日 • 行业动态 427000 行业动态 备战 2024 年：data.ai 的 5 大移动应用市场预测 2024 年的 5 大移动应用市场预测，帮助您在当前的宏观背景下驾驭移动经济，读懂各种引领行业风潮的数据，并借此看清明年的市场发展方向。 siyushenqi.com 2025 年 8 月 3 日 444000 行业动态 SHEIN融资20亿美元、Tik Tok Shop在印尼正式关闭 ...一文速览跨境电商投融资大事件 今天我们将一起回顾2022-2023年度跨境电商投融资大事件，以1年为周期，回顾跨境电商领域的投融资大新闻。 siyushenqi.com 2025 年 8 月 12 日 449000 行业动态 Playtika最高以3亿美元收购Innplay Labs，后者累计收入1600万美元 海外又一笔收购案。 siyushenqi.com 2025 年 8 月 19 日 465000 中国应用在印度神奇“复活” 6月29日晚21时左右，一则由印度电子信息技术部（NIC）发出的“中国App禁令” siyushenqi.com 2025 年 8 月 26 日 • 行业动态 443000 字节跳动继续拓展游戏版图，这一次是和凯撒文化 今年上半年，字节跳动在游戏市场的动作可谓频繁。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 511000 中国开发者海外手游市占比全球第一，出海淘金热升温 高集中赛道，品类融合是突围关键 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 454000 行业动态 2024年，游戏搞钱的路子变了 腾讯战网易，小厂找出路。 siyushenqi.com 2025 年 8 月 18 日 450000 行业动态 字节、腾讯商谈游戏项目出售，加强游戏合作 曾经针锋相对的互联网企业开始越来越多紧密合作。 siyushenqi.com 2025 年 8 月 18 日 426000 行业动态 热钱仍在涌入大模型圈 热钱正在从云端模型转向端侧模型，面壁智能作为代表，已完成数亿元融资，加速端侧AI的商业化布局。 siyushenqi.com 2025 年 8 月 13 日 419000 行业动态 OpenAI首款AI智能音箱2027年上市 OpenAI计划2027年推出首款AI智能音箱，配备摄像头实现环境感知与人脸识别，同步布局智能眼镜、台灯等硬件，加速AI硬件生态竞争。 siyushenqi.com 2026 年 2 月 26 日 251000 行业动态 或许我对老牌厂商这款MMO端游的期待太高了 时代在进步，玩家需求也在不断变化。 siyushenqi.com 2025 年 8 月 18 日 397000 发表回复 请登录后评论...登录后才能评论 提交
