OpenAI深夜开源HealthBench siyushenqi.com • 2025 年 8 月 13 日 下午10:10 • 行业动态 • 阅读 432 OpenAI开源了专门面向医疗大模型的测试评估集HealthBench,其包含5000段核心测试对话,由来自60个国家/地区的262名医生打造,采用多轮对话测试,增强了测试集的难度、真实性与丰富度。 摘要 从GPT-3.5Turbo到GPT-4o,再到o3,大模型在医疗保健领域表现显著提升,尤其是小型模型GPT-4.1nano,性能超越GPT-4o且成本降低25倍。 HealthBench的示例分为7个主题和5个轴,主题包括紧急转诊、情境寻求等,轴涵盖准确性、完整性等维度。每个对话有医生编写的评分标准,标准有从-10到10的分值,用于评估模型响应。 医生被分为三组撰写响应,参考2024年模型响应可提升性能,但参考2025年更好模型响应时,医生无法进一步提高质量。无参考模型响应的医生撰写的响应较短,影响得分。 GPT-4.1作为模型评分器,在元评估中超过随机基线,在多数主题上超过或接近平均医生得分,表现最佳,且多次运行评估显示模型得分标准差低,证明了HealthBench评估的可靠性。 今天凌晨1点30,OpenAI开源了一个专门面向医疗大模型的测试评估集——HealthBench。 与以往测试集不同的是,该测试集的5000段核心测试对话,全部由来自60个国家/地区的26个专业262名医生打造,极大增强了该测试集的难度、真实性以及丰富度。并且采用了多轮对话测试,而不是简单的答题或选择题模式。 根据测试数据显示,大模型在医疗保健领域的表现有了显著提升。例如,从之前的GPT-3.5Turbo的16%到GPT-4o的32%,再到o3的60%,整体性能有了显著进步。尤其是小型模型的进步更为突出,GPT-4.1nano不仅在性能上超越了GPT-4o,而且成本降低了25倍。 开源地址:https://github.com/openai/simple-evals HealthBench简单介绍 据OpenAI透露,这262名医生是从1021位医生多轮测试中严格筛选出来的,在数据收集过程中,还会持续对医生输入的质量进行审查,依据自动化质量指标和对评分标准的审核,对医生团队进行轮换,确保数据的高质量。 HealthBench的示例被划分为7个主题和5个轴。7个主题分别为紧急转诊、情境寻求、全球健康、健康数据任务、专业定制沟通、不确定性下的响应和响应深度,每个主题都聚焦于现实世界健康交互的重要方面,评估模型在相应场景下的表现。 5个轴包括准确性、完整性、沟通质量、情境感知和指令遵循,用于衡量模型行为的不同维度,使评估能够更全面、细致地分析模型性能。 多数对话通过定制的大模型合成生成,由开发团队与医生合作,详细列举重要的医疗场景,例如,用户逐步描述暗示医疗紧急情况、医疗专业人员要求总结临床笔记、模糊查询需要澄清等,然后将这些场景转化为多轮对话。 此外,部分数据来自医生对大语言模型在医疗场景中的红队测试,用于识别模型的弱点和不当响应;还有一部分数据源自Google发布的HealthSearchQA评估数据集,通过大语言模型将其中的查询改写为用户与模型的对话。生成对话后,会使用o1-preview进行相关性过滤,确保对话真实、自洽、与身体健康相关且无不完整消息。 创建评分标准是HealthBench的关键环节。每个对话都有对应的由医生编写的评分标准。评分标准涵盖了各种属性,例如应包含的具体事实、清晰沟通的方面、对特定主题的常见误解等,并且每个标准都有从 -10 到 10 的非零分值,用于奖励或惩罚模型的响应。 评估时,基于模型的评分器会根据对话、模型响应和评分标准,独立判断每个标准是否被满足。如果满足,模型将获得相应的全部分值;否则不得分。最终,通过对所有满足标准的分值进行求和,并除以该示例的最大可能得分,得到单个示例的分数。 医生参与构建流程 在医生撰写响应的实验中,OpenAI邀请医生针对HealthBench任务撰写他们认为的理想响应。医生被分为三组,第一组医生在没有任何AI辅助的情况下,仅根据HealthBench中的对话撰写响应,他们可以使用互联网但不能使用AI工具; 第二组医生可以参考2024年8-9月的模型GPT-4o和o1-preview生成的四个响应,并在此基础上进行改进;第三组医生则参考2025年4月的模型GPT-4.1和o3的响应进行撰写。 医生在参考2024年模型响应的基础上,能够在一定程度上提高响应的性能,尤其在完整性和准确性方面有较为明显的提升。 然而,当参考2025年性能更好的模型响应时,医生并不能进一步提高响应质量。在比较医生撰写的响应与参考响应的得分时发现,对于2024年模型的参考响应,医生撰写的响应改进的比例高于恶化的比例56.2%vs39.8%; 而对于2025年模型的参考响应,医生改进和恶化参考响应的可能性几乎相同46.8%vs47.7%。此外,没有参考模型响应的医生撰写的响应相对较短,这在一定程度上影响了其在HealthBench上的得分,因为HealthBench分数与响应长度存在一定的相关性。 大模型测试数据 在验证评分器可靠性的元评估中,一共有34个预定义的共识评分标准。对于每个HealthBench Consensus示例,收集多个医生对特定响应是否满足标准的注释,将这些注释与基于模型的评分器的评分进行比较。采用宏观F1分数来评估模型评分与医生评分的一致性,宏观F1分数是每个类别的F1分数的无加权平均值,能够平衡对真阳性和假阳性的敏感度。 通过三种方法建立基线:典型医生基线,通过计算每个医生与其他医生评分的 MF1 分数来估计人类专家之间的一致性;个体医生基线,报告每个个体医生的 MF1 分数; 随机基线,以经验阳性率返回 “met” 的弱基线,其 MF1 分数为 0.50。以 GPT-4.1 作为主要的基于模型的评分器进行评估,结果显示,GPT-4.1 在所有主题上都超过了随机基线,在7个主题中的5个主题上超过了平均医生得分,在6个主题上位于医生得分的上半部分,在所有主题上都高于医生得分的下三分之一。 这表明GPT-4.1 作为模型评分器能够与专家评分相匹配。此外,研究团队还使用 OpenAI 的 2025年4月的其他模型作为评分器进行元评估,发现 GPT-4.1 的表现最佳,o4-mini 和 o3 稍次,GPT-4.1 mini 和 nano 则表现较差。 这可能与GPT-4.1 在提示调整过程中被使用有关。同时多次运行HealthBench评估不同模型,发现模型得分的标准差约为 0.002,表明评估结果的总体可变性较低,进一步证明了 HealthBench 评估的可靠性。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33122.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 梁文锋倒逼OpenAI重新Open 上一篇 2025 年 8 月 13 日 下午10:10 邀请码曾被炒到10万元,Manus开放注册 下一篇 2025 年 8 月 13 日 下午10:10 相关推荐 阿里出海,菜鸟为舵 物流是跨境电商的“毛细血管” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 489000 收入连续下滑,数十款新品在研,IGG急等新品下锅 8月各家厂商陆续公布了2022年上半年财报,出海代表厂商之一的IGG也于8月24日公布了半年财报。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 496000 内容分级从源头解决直播痛点,抖音电商打造高质量平台内容生态 可能几年前还没有人会想到,短视频出现后,会在短短几年内就将直播带货推向热潮,并且到现在还持续火爆。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 470000 行业动态 单日GMV爆发超10倍!国货母婴用品如何俘获东南亚妈妈“芳心”? 从主攻内销到面向全球市场,boboduck还有哪些成功的出海秘诀? siyushenqi.com 2025 年 8 月 12 日 435000 行业动态 中年腾讯,攥紧“功劳簿” Pony治下的腾讯从来不愿躺着赚钱,但腾讯游戏似乎找到了一个躺下去的姿势。 siyushenqi.com 2025 年 8 月 18 日 477000 行业动态 实时生成开放世界:新AI模型贴脸开大,游戏研发慌不慌? 已攻克实时交互难题,1080p及开放资产输出只是时间问题,将助力中国游戏抢占下一轮品类红利。 siyushenqi.com 2026 年 1 月 21 日 311000 放置游戏在海外又火了?游族也来分一杯羹 当出海厂商都在SLG卷生卷死的时候,放置类游戏的火爆提供了一条完全不同的赛道。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 438000 行业动态 “俄罗斯BAT”揭秘:跨境电商新蓝海的破局之道 当前,中俄贸易爆发性增长。据海关总署数据显示,今年前四个月,中国出口增速为10.6%,其中“一带一路”沿线国家的拉动达到8.2%,中国向俄罗斯出口货物总额为2323亿元,同比增长81%。 siyushenqi.com 2025 年 8 月 13 日 464000 行业动态 “今天,所有VC的会上都在谈Sora” 谈一则估值800亿美元的新故事。 siyushenqi.com 2025 年 8 月 13 日 442000 行业动态 WhatsApp新号起号策略:如何养成耐用号? 作为全球用户超20亿的即时通讯工具,WhatsApp已成为外贸从业者维护客户关系的核心渠道,但因其注重用户体验,严格限制广告行为,外贸推广人员稍有不慎便可能面临账号封禁。因此,许多人被迫开始研究如何“养号”,即通过一系列策略使新账户在WhatsApp中变得更加稳定和持久。在这篇文章中,我们将介绍一些WhatsApp养号的技巧,帮助您的新号从零开始一步步养成耐… siyushenqi.com 2025 年 8 月 13 日 下午10:10 432000 行业动态 再见,仅退款 商家们要熬出头了。 siyushenqi.com 2025 年 8 月 5 日 410000 休闲游戏能顶买量市场半边天?广告变现与低调棋牌是买量大户 无论如何,游戏买量引起的话题,无疑都是近期最热门的关注点之一,经过本月来的持续升温 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 490000 行业动态 卷不动欧美的跨境卖家,在家门口爆单 在电商巨头们激战北美,抑或是逐鹿新兴蓝海之际,速卖通悄然在家门口啃下了全球第五大电商市场。 siyushenqi.com 2025 年 8 月 12 日 410000 行业动态 全球首个自主进化多模态MoE震撼登场!写真视频击败Sora,人大系团队自研底座VDT 人大系初创公司智子引擎发布的全新多模态大模型Awaker 1.0,直接迈向了AGI!它是业界首个真正实现自主更新的大模型,在写真视频效果上,居然击败了Sora。 siyushenqi.com 2025 年 8 月 13 日 401000 行业动态 亚马逊妥协了,承诺三大改革,或使卖家格局大变 欧盟的反垄断压力,让亚马逊做出改革承诺。 siyushenqi.com 2025 年 8 月 13 日 449000 鹰角新品牌线下首曝 已投资多家独游厂商 在广州核聚变上,鹰角网络新品牌「开拓芯」披露了其品牌的最新动态。 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 523000 2020年Q3港台地区手游市场 - 收入创新高至8亿美元,同比增长29% Sensor Tower 商店情报最新数据显示,2020年Q3中国香港和台湾地区手游收入近8亿美元 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 488000 行业动态 私域神器|【甲找乙】12月合作需求对接文档(持续更新中) 私域神器|12月合作需求对接文档(持续更新中),本文档均为甲方找乙方的合作需求。 siyushenqi.com 2025 年 8 月 25 日 494000 行业动态 微软自研MAI模型打响AI独立战,要「脱钩」OpenAI了吗? 语音生成 MAI-Voice-1(单 GPU 1 秒生成 1 分钟高保真音频)和自研基础大模型 MAI-1-preview(5000 亿参数 MoE,已冲至 LMArena 第 15 名),均已嵌入 Copilot。 siyushenqi.com 2025 年 9 月 3 日 496000 行业动态 用大模型控制鼠标、键盘!OpenAI最想做的事,让Anthropic抢先了 全球著名的大模型平台Anthropic发布了Claude 3.5 Sonnet的升级版和新模型Claude 3.5 Haiku。 siyushenqi.com 2025 年 8 月 13 日 438000 20位大佬集体发声!4万亿规模跨境市场将迎来新的春天? 从二级市场来看,投资组合中包含跨境电商 是最好的消费投资的风险对冲方式。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 472000 行业动态 2023年7月全球热门移动游戏下载量TOP10 Sensor Tower 商店情报数据显示,Garena《Free Fire》(包括《Free Fire MAX》)以将近2100万次下载,位列7月全球移动游戏下载榜榜首。 siyushenqi.com 2025 年 8 月 19 日 489000 行业动态 创立三年估值上亿,AI跑步私教是个好生意吗? 以AI算法为核心,提供“7天试用+月订阅16美元”的个性化跑步计划,高客单价(≈传统私教1/5)带来高留存,三年做到9万订阅、4000万美元估值。 siyushenqi.com 2025 年 8 月 13 日 482000 行业动态 微信小游戏畅销榜又迎新面孔;Supersonic年度复盘案例分享 | 游戏周榜&海外资讯 汇总国内和美国iOS免费榜Top30的产品。 siyushenqi.com 2025 年 8 月 18 日 412000 行业动态 印尼社交电商抢占下沉市场 在印尼二三线城市,Super 和 Evermos 等社交电商日益流行。 siyushenqi.com 2025 年 8 月 13 日 441000 英雄联盟11年,成为英雄了吗? 生态可以独立发展,也可以相互赋能,世界观能够不断丰富并无限延伸,英雄联盟的IP生态发展其实才刚刚起步,它的生命力也许可以超过几十年 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 苹果、谷歌、Meta、OpenAI都在抢的新赛道,中国公司的机会在哪? OpenAI以65亿美元收购由前苹果首席设计官Jony Ive创办的AI硬件公司io,计划将其打造成专注消费级智能设备的核心部门。这标志着OpenAI正式进军终端设备领域,也意味着AI硬件的范式正在被重新定义,强调需要全新的“AI原生”硬件平台。 siyushenqi.com 2025 年 8 月 13 日 416000 行业动态 日卖1.1万件,一周吸金近百万!TikTok Shop美国小店(2.26-3.3)新榜 本期(2024年2月26日—3月3日)TikTok Shop 美国站“品类周榜”及“店铺周榜"销量数据分析,帮助卖家及时了解 TikTok Shop 美国小店最新市场现状,掌握选品趋势。 siyushenqi.com 2025 年 8 月 12 日 483000 行业动态 首页又增一个流量入口,亚马逊深挖流量新矿 亚马逊PC端首页又增了一个功能——“以图搜物”或“拍照搜图”,即拍摄或直接上传一张物品的照片,便可以搜索到相同和类似的商品。 siyushenqi.com 2025 年 8 月 12 日 435000 行业动态 射击夺金赛道,网易这次来势汹汹 不破不立 siyushenqi.com 2025 年 8 月 18 日 438000 发表回复 请登录后评论...登录后才能评论 提交