GPT-4分不清“很快”是多快,“万金油”CoT也拯救不了 siyushenqi.com • 2025 年 8 月 13 日 下午10:51 • 行业动态 • 阅读 420 GPT4也有短板? 来自爱丁堡大学的研究人员发现GPT4似乎不擅长处理有关时间推理的任务。 比如“洗个冷水澡可以很快地让你清醒过来”,“这个小乡村会很快成为一个国际大都市”两个句子中的“很快”表示不同的时间概念,前者是若干秒钟,而后者则是若干年。 这对拥有丰富生活经验的人类来说小菜一碟,但如果让LLM来回答可能有些困难。 LLM只是从文字中学习知识。这就像是在一个只有文字的世界里,没有实际的触摸、看、听、尝、闻。所以,它们在理解真实世界时,往往会表现得不尽人意。 研究人员从三个方面全部分析了不同的LLM理解时间,推理时间任务的能力,发现GPT-4等最先进的模型仍然无法达到人类的性能水平,甚至不如微调后的小模型RoBERTa。除此之外,作者还分析了LLM在时间推理任务上性能不足的原因,并给出进一步改进的建议路线,让我们一起去了解一下吧~ 论文标题:Are Large Language Models Temporally Grounded? 论文链接:https://arxiv.org/pdf/2311.08398.pdf github链接:https://github.com/yfqiu-nlp/temporal-llms. LLM的时间推理能力 作者主要从三个方面来探索LLM的时间推理能力,示例如下图所示: 关于事件的时间常识:一个具备时间敏感度的模型应该能够区分事件发生的时间计量单位,例如,当被问到“萨夫提和埃德温娜相爱多久了?”,两个候选答案“数年”和“10秒”,前者是更符合常识的答案。 事件排序能力:事件的发生具有一定的先后顺序,即使整个描述中未出现时间词语,模型应当通过因果关系推断出事件发生的顺序,比如“蒂姆喝得有点多。“在前,而“他的高尔夫球打得糟透了。”在后。 时间约束能力:即相互矛盾的时间线不能共存,如果说“奥巴马政府在6月12号之前加入西方阵营”为真,那么“奥巴马政府在6月12号之后加入西方阵营”必须为假。 但从图中GPT-4的回复也可以看到,GPT-4在时间推理任务上还差点意思。 基准任务与实验结果 作者选定了三个测试集测试了GPT-4、LLaMA系列在内多个大模型的三项时间推理能力。 时间常识:McTACO任务 McTACO:用于通过多项选择问题回答来评估时间常识知识的基准测试集。McTACO包含了13K个三元组,形式为(上下文,问题,候选答案)。 McTACO示例分为五个类别:持续时间(事件持续多长时间),时间顺序(事件的典型顺序),典型时间(事件通常发生的时间),频率(事件发生的频率)和稳定性(某个状态是否持续很长时间或无限期)。 ▲表1 从表1可以看出: GPT-4在所有LLM中仍然是表现最好的,不愧是你,GPT-4! 在LLaMA系列中,LLaMA-2-chat-13B 和 Alpaca-7B 分别在零样本和少样本实验中取得了最佳性能,这很有可能是指令调优任务引入了时间相关的任务; 然而,即使表现最好的GPT-4仍然落后于经过精调的RoBERTa基准模型,而且距离人类水平还有一定的差距。 这也突显了LLM在时间常识知识方面的不足之处。 另外通过比较不同LLM在不同类别的问题上的性能可以发现,需要常识知识的典型时间(图中的TT)和事件持续时间(图中ED)的问题是最具挑战性的。 **GPT-4的成功率仅约为40%**。 ▲图2 不同问题类别性能大比拼 事件排序任务:CaTeRS CaTeRS:是一个事件排序的基准测试集,包含1684个实例。该任务涉及识别出文本中提及的事件并按时间顺序排列它们。要解决这个任务,模型必须依靠显式线索以及关于事件之间关系的常识,来推理出其底层时间线。 其实验结果仍然体现在表1中。可以发现: LLaMA-2-chat模型相对于LLaMA-2模型有巨大优势,这表明先进的调优(如对话式调优和RLHF)的重要性。 text-davinci-003和GPT-4高于所有LLaMA模型。 LLM远远落后于一个小规模的微调模型TemporalBART(在手动破坏的事件序列数据集上进行微调的BART-Large模型。) 时间约束:TempEvalQA-Bi TempEvalQA-Bi:是由TempEvalQA衍生出来的。TempEvalQA格式为(上下文, 问题,是/否答案),重点关注事件之间的时间关系。TempEvalQA-Bi挑选了包含前后时间关系的数据,并交换时间关系得到正反时间对。 例如,如果原始对是(“E1在E2之后吗?”,“是的”),相应的相反对将是 (“E1在E2之前吗?”,“否”),反之亦然。 仅当模型准确预测了两个问题-答案对时,才视为正确。 除了准确率之外作者还引入了一个新的评价指标:Inc.表示预测不一致的百分比,即模型在原始问题和时间关系翻转版本中预测相同的次数,越低越好。结果如表2所示: ▲表2 我们观察到大多数模型表现不佳。LLaMA家族中最好的模型(LLaMA-2-chat-70B)只能正确解答46%的问题。 此外,如果颠倒问题的时间关系,大多数模型无法相应地转换其输出预测,导致了Inc.指标特别高。指令微调后的模型如Alpaca-7B、LLaMA-2-chat能够降低不一致率,提高准确率。 GPT-4再次以约67%的获得最优。虽然它与其他模型相比显著减少了不一致预测的比例,但仍然对大约27%的问题及其颠倒版本给出相同的答案预测。 Prompt敏感度测试 作者选择了三个不同的Prompt模板,并测量了LLaMA家族在不同措辞下的性能变化。 半结构化Prompt:通过特殊符号(例如换行符)将指令、上下文以及输入和输出对(用于上下文学习)进行序列化。 自然Prompt:将上下文和输入-输出对插入到指令中,使模板更接近自然语言。 文本连续Prompt示:考虑到LLaMA并未经过指令遵循任务的训练,引入了文本连续式Prompt,只要求模型完成输入。 ▲McTACO不同Prompt模板示例 其结果显示在表1、表2的标准差上,在zero-shot中,McTACO标准差范围从LLaMA-2-chat-13B模型的0.13到LLaMA-65B的5.63。波动较大。 从整体来看不同的Prompt并不会影响实验的主要结果,但这也证实了LLM特别是规模越大的LLM对Prompt比较敏感,鲁棒性差。 模型参数影响 作者探索参数增量对LLMs性能的影响。如下图所示: 最大的70B LLaMA-2-chat模型通常在三个数据集上都能实现最佳性能。 对于许多模型来说,性能与其大小之间的相关性很弱。例如,LLaMA-13B模型在McTACO和TempEvalQA-Bi上表现得最差,甚至不如7B模型。 另外还有一种普遍趋势,即LLM性能倾向于饱和,在参数大小超过13B后难以继续提高,在McTACO和CaTeRS上都是如此。 少样本示例数量影响 如上图所示,横坐标代表不同的示例数量。在McTACO和CaTeRS上的结果表明,增加数量通 常会略微提高性能,但提升不大。 相反,TempEvalQA-Bi的性能稍有下降。这可能是TempEvalQA-Bi样本包含虽然正反两种时间顺序,但内容基本一致,缺乏样本多样性,导致性能稍稍下降。 CoT是否有用? 作者还研究了CoT对TempEvalQA-Bi任务的性能的影响。 CoT降低了所有模型的预测不一致性,然而,预测不一致性的提高并不总是转化为准确性的增加。例如,LLaMA-7B、LLaMA-2-70B和LLaMA-2-70B-chat模型的准确性下降。 CoT对GPT-4模型的改进很小。 这些结果表明,即使是“万金油”CoT解决复杂的时间推理任务(需要一致性认定)时也比较困难。 原因分析:时间信息来源 那么为什么LLMs在时间推理任务上表现不尽人意呢? 作者有两个推测:一是预训练提供的时间信息的程度不够;二是有监督示例在填补预训练模型中的信息缺失。 预训练阶段提供了多少时间信息? 通过以上实验也可以得出LLM在处理时间信息方面存在一定的不足,他们推测这可能是由于在训练过程中模型没有充分接触到时间信息并进行了以下研究以验证这个观点: 文本中的事件顺序与实际时间顺序的关系:作者探究了在人类编写的文本中,事件出现的顺序是否提供了关于它们实际时间顺序的线索。通过测量了TempEvalQA训练文章中标注的时间关系(即,先后顺序)与它们所指事件的文本顺序之间的关系。结果发现,只有约56%的事件对按照他们的时间顺序在文本中出现,且Matthews相关系数为0.09,说明相关性很弱。 对比模型在有序与无序事件序列的偏好: 下图是实验结果,展示了不同模型下长度标准化的odds ratios的分布。 "odds ratios"是一种统计学中的概念,用于比较两个事件发生的概率。"长度标准化"是为了确保比较在各种长度的文本中都是公平的。 实验结果显示,对于隐式时间关系CaTeRS的表述,CaTeRS通常大于1,意味着模型对时间顺序序列的偏好比无序序列稍高。对于显示时间关系TempEvalQA-Bi的样本,几率比接近1,说明模型对有序和无序序列的偏好趋于平衡。 这些结果表明,基于预训练信息LLM识别真实事件顺序的能力可能有限,因为这些信息对于真实世界事件的时间动态只提供了弱信号。 隐式时间关系标记:作者随机抽取了CaTeRS测试集的100个实例(这里的数据中并不存在明显的时间关系标记),并为每个事件序列手动创建了两种表述:一种保持了与事件时间顺序相同的句子顺序,另一种改变了句子的顺序。所有的表述都经过手动调整,以保证语义连贯和语法正确。 考虑显式时间关系标记:作者还创建了另一组表述,从TempEvalQA-Bi数据集中挑选,并保留了明确的时间关系标记(例如"before"和"after")。 微调提供了多少时间信息 既然预训练期间缺乏时间信息时,那么后续微调是否能够弥补这一不足。 在表1和表2中, 经过指令微调的Alpaca-7B在多次实验中一直优于LLaMA-7B,并且几乎与LLaMA-33B相当。 此外,微调后的RoBERTa和TemporalBART在表1中,往往超越或与GPT-4等LLM不相上下。 因此通过充分监督,可以在某种程度上弥补与人类性能之间的差距; 当前开源的指令微调数据集确实包含一些时间任务,但占比较少。例如,Super-Natural Instruction 的default划分中,756个任务中仅包含2个时间推理任务。 但如果仅仅增加更多的示例进行上下文学习,模型的性能将会达到稳定,即使使用CoT,也无法提升模型能力。 或许只有在模拟或物理环境中为语言模型提供感知和行动能力,才能更好地提升时间推理能力。 这一问题还有待研究人员继续研究~ 结论 本文提出了一个框架来探索LLM的时间推理能力,包括对事件的常识知识,按时间顺序排序事件以及时间约束任务。 通过系统评估,发现GPT-4等最先进的模型仍然无法达到人类的性能水平,甚至小规模的专用微调模型也是如此。 此外,作者还探索了有可能改善模型推理能力的各种方法并得出了一些结论: 1)增加模型规模或上下文例子的数量并不一定会带来有意义的提升; 2)调整指令和CoT作用有限,随着模型规模增大收益递减。 总之,LLMs在时间推理任务上还有很大的提升空间,期待未来有更优雅的解决方案~ 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33313.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 PICO 向左向右的400天 上一篇 2025 年 8 月 13 日 下午10:51 签约日本最大运营商,rokid仍不满足 下一篇 2025 年 8 月 13 日 下午10:51 相关推荐 行业动态 对话13家熬过上半场的AI公司 阶跃、Kimi、阿里、智谱等集体上新 3 000 亿级 MoE 多模态大模型,并同步发起开源、模芯联盟,算力侧华为“昇腾 384”首次真机亮相,单集群 300 Pflops 补足国产算力短板。 siyushenqi.com 2025 年 8 月 13 日 433000 行业动态 从“大模型”到“好模型”:斯坦福预测2026年AI将迎来“祛魅”分水岭 2026年起AI不再靠“讲故事”拿钱,投资与采购决策全面转向可量化的效果、成本与ROI。 siyushenqi.com 2026 年 1 月 12 日 438000 行业动态 《原神》移动端总收入达到8.74亿美元,位列同期全球手游畅销榜第3名 Sensor Tower商店情报数据显示,2020年9月28日全球跨平台同步发行以来,米哈游《原神》在移动端的总收入已经达到8.74亿美元。 siyushenqi.com 2025 年 8 月 25 日 563000 行业动态 高潜力市场爆火,有卖家日出20000单! 国货出海渐成趋势,哪个市场哪个平台是卖家的最佳选择?当不少卖家还在欧美的电商红海中厮杀之时,已经有卖家在新兴蓝海市场开启爆单之旅。 siyushenqi.com 2025 年 8 月 13 日 412000 行业动态 9月份全球数字游戏收入107亿美元,主机端收入增幅达40% 市场研究公司SuperData近日发布了9月份全球数字游戏收入报告。 siyushenqi.com 2025 年 8 月 26 日 491000 行业动态 如何通过西联汇款进行收款操作?一文带你看懂! 对于外贸人来说,西联汇款(Western Union)是目前非常便利,信用度又很高的一种小额收款方式。西联汇款和中国银联子公司—银联电子支付有合作关系,提供可靠的直接到账汇款服务。 一、客户怎样通过西联汇款付款 如果客户主动要求通过西联汇款付款,或者我们希望客户通过西联汇款付款,只需给客户提供收款人全名的英文或者汉语拼音,以及收款人所在的地址。 … siyushenqi.com 2025 年 8 月 13 日 下午10:51 420000 宝船这款“云钓鱼”手游,让我这个夏天有着落了 游戏的本质是什么? siyushenqi.com 2025 年 8 月 25 日 • 行业动态 486000 行业动态 私域神器每周合作精选No.127|出海研发团队寻融资;寻优秀手游研发团队/制作人;动态漫短剧寻投资;AI社交产品寻三方支付 本期精选的合作类型涵盖出海研发团队寻融资;寻优秀手游研发团队/制作人;动态漫短剧寻投资;AI社交产品寻三方支付等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 420000 行业动态 微软计划裁员约9000人,多款游戏项目被砍 7月2日,据CNBC援引知情人士消息,微软计划裁减约9000名员工,占其全球员工总数的4%。此次裁员覆盖所有业务部门、不同地域及经验层级的员工,Xbox部门也受到波及。这是微软2026财年启动次日进行的第四轮裁员,今年以来该部门已进行多轮人员调整,包括1月、5月和6月的裁员。 siyushenqi.com 2025 年 8 月 15 日 345000 行业动态 被拿来跟《原神》比,《鸣潮》就已经赢了一半 一件可能别人不敢做,甚至不敢想的事情。 siyushenqi.com 2025 年 8 月 18 日 543000 行业动态 排名超越BeautyPlus,300万美元收入的“AI换发型”应用爆火美国 AI驱动下的图像市场,有哪些新机遇? siyushenqi.com 2025 年 8 月 13 日 441000 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% siyushenqi.com 2025 年 8 月 24 日 • 行业动态 633000 《明日方舟》日本畅销榜夺冠!悠星海外选品策略换套路 三年前,谁也没想到,一家看似名不经传的公司,能够带领当时并不被人看好的国产二次元产品走出国门 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 493000 行业动态 Temu和SHEIN纷争再起!这次美国法院也出手了! 没想到实质性进展来得如此之快。 siyushenqi.com 2025 年 8 月 12 日 470000 行业动态 站在分岔口的女性向:米哈游、叠纸、网易、腾讯谁能赢? “恋爱感”已经不再是厂商发力的重点,取而代之的或是换装、推理甚至模拟经营等玩法,也可能是跳出恋爱体验之外的群像叙事剧情体验 siyushenqi.com 2025 年 8 月 24 日 541000 11款心动自研 6款全球首曝,TapTap也开始All in出海了 TapTap宣布:今年最有潜力的游戏,都被TapTap发布会承包了 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 482000 海外观察 | 5天冲入多国健康榜单Top10 美柚海外推出女性健康管理应用MeetYou 头部产品林立,竞品深扎海外市场,而我2022年才开始出海,产品还有机会么?这个在今年被谈及最多的话题,深挖女性向赛道的美柚给出了自己的答案。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 484000 行业动态 特朗普宣布将于3月4日对中国关税额外增加10% 美国总统特朗普宣布,从3月4日起,对中国商品的关税额外增加10%,同时对墨西哥和加拿大的进口商品征收关税。此前美国已对中国商品加征10%关税,此次调整后,关税总额将达到20%。此外,4月的第二次互惠关税计划仍将继续。 siyushenqi.com 2025 年 8 月 5 日 426000 行业动态 这款在海外杀疯了的网易大作就要“回国”了 成为首款演示A19芯片游戏性能的手游,凭主机级画质、近地轨道宏大场景与动态光影,验证iPhone 17系列ProMotion 120帧高帧率能力。 siyushenqi.com 2025 年 9 月 12 日 429000 腾讯海外开测新游,强势入局三消赛道! 9月18日,由创梦天地研发、腾讯(Proxima Beta)代理发行的《女巫日记(The Witch Diaries)》正式在澳大利亚、新西兰和加拿大三个国家的安卓市场开启了测试。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 452000 行业动态 卷出新高度,在家躺着也能健身了! 身材焦虑、健康焦虑的风吹到中老年了? siyushenqi.com 2025 年 8 月 18 日 462000 行业动态 TikTok东南亚步入电商时代,向传统电商发起挑战 本文将依次介绍东南亚的电商环境和国内抖音的发展模式,并分享Tiktok在东南亚的发展洞察。 siyushenqi.com 2025 年 8 月 12 日 426000 行业动态 2021年健康和健身类应用实现持续增长 虽然健身房的防疫限制逐渐放松,仍有越来越多的人选择在家中健身。根据Adjust 的应用数据显示,健康和健身类应用持续增长,2021 年上半年会话同比增长 31% siyushenqi.com 2025 年 8 月 25 日 509000 行业动态 邀请码曾被炒到10万元,Manus开放注册 Manus平台全面开放注册,新用户注册后每天可免费获得300积分,并额外一次性获得1000积分。积分用于执行任务,消耗量取决于任务规模和难度,一般任务消耗积分较少,如撰写数千字科普文章或编写网页游戏代码仅需200左右积分,免费用户可根据需求调整任务内容,但复杂任务免费积分可能不足。 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 美国社交巨头盯上了“印度版”TikTok 美国社交巨头们共同瞄上了印度市场。 siyushenqi.com 2025 年 8 月 25 日 494000 上线10天收入破200万 海彼用这款新品给出了Rogue新解法 作为一个天然契合“创意”二字的品类,可以说Rogue赛道从未缺少新星。而今年的Rogue新星,或许要落在《Sssnaker(蛇蛇貪吃)》身上。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 531000 行业动态 直面国产单机困境,“悟空”终抵3A灵山 黑神话对国产单机行业的影响才刚刚开始。 siyushenqi.com 2025 年 8 月 17 日 418000 行业动态 OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源 小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。 siyushenqi.com 2025 年 8 月 13 日 465000 行业动态 2020年5月中国手游发行商全球 App Store 和 Google Play 收入排行榜 5月适逢日本黄金周,对于平时几乎不休假的日本玩家来说,黄金周作为新年后的第一个假期是难得的闲暇时光,游戏厂商亦抓紧时机举办各类活动。 siyushenqi.com 2025 年 8 月 26 日 451000 行业动态 揭秘DeepMind、OpenAI成立内幕,马斯克、奥特曼、佩奇、哈萨比斯的爱恨情仇...... 故事的开始,要先从DeepMind的成立讲起。 siyushenqi.com 2025 年 8 月 13 日 461000 发表回复 请登录后评论...登录后才能评论 提交