谷歌提出大规模ICL方法——强化和无监督 siyushenqi.com • 2025 年 8 月 13 日 下午11:17 • 行业动态 • 阅读 485 谷歌Deepmind的研究人员提出了强化和无监督两种ICL学习方法，可显著提升模型的数学问题解决、文本问答、摘要生成、算法推理、低资源机器翻译等场景能力，同时大幅度降低人工标注的成本。 大语言模型在自然语言处理任务中取得了显著的突破，尤其是是在少样本学习和上下文学习（in-context learning，简称“ICL”）方面。虽然在少样本学习中表现出色，但无法探索更大规模的上下文学习潜力。 随着大模型上下文窗口的大幅度增长，例如，谷歌的Gemini 1.5 Pro模型支持100万tokens上下文，使得研究人员有机会探索更多的ICL示例，以增强大模型的学习和输出能力。 谷歌Deepmind的研究人员提出了强化和无监督两种ICL学习方法，可显著提升模型的数学问题解决、文本问答、摘要生成、算法推理、低资源机器翻译等场景能力，同时大幅度降低人工标注的成本。 论文地址：https://arxiv.org/abs/2404.11018 强化ICL 传统的ICL主要依赖于人类生成的示例来学习新的输出模式，但这种方法受限于高质量数据的可用性。而谷歌提出的强化ICL通过使用模型生成的推理链来代替人类编写的示例输出，可有效减少对人类生成数据的依赖。 强化ICL主要通过已有的模型来生成问题解决的候选推理链，从少量或零示例的链式思考提示开始，使模型能够为每个训练问题生成多个推理链。 然后，使用一个独立的评估模块,对生成的推理链、输出对进行打分过滤,只保留高质量的部分，并将它们作为上下文示例应用在模型的学习中。 研究人员在一系列推理和问答数据集上测试了强化ICL性能,结果显示,可以在不依赖额外人工标注的情况下,持续提升模型的多ICL性能。 例如,在谷歌的GPQA数据集上,使用强化ICL产生的8192个示例,使得大模型的准确率高达67.8%,大幅超过了仅使用128个人工标注示例50.2%。 在谷歌的GSM8K编程问题数据集上,使用500个强化ICL生成的示例,模型的准确率达到84%,而仅使用4个人工标注示例时的准确率只有78.1%。 除了大模型的性能获得显著提升,强化ICL还显著降低了人工成本。以MATH数学题为例,生成4000个高质量的问题解答示例,纯人工标注需180人小时,而使用强化ICL生成只需10人小时，大幅度降低了18倍的人力成本。 无监督ICL 无监督ICL不依赖于传统的输入-输出示例对，而是仅通过问题本身的上下文来引导模型学习，帮助模型能够利用其在预训练阶段获得的知识，来理解和解决问题，而无需额外的示例指导。 首先，根据任务的需求，从未标注的数据中选取合适的文本片段作为上下文。这些上下文可以是单个句子、段落或者更长的文本。然后将构建好的上下文输入到大语言模型中，让模型根据上下文的内容进行推理和预测。 最后，将模型推理的结果与真实情况进行对比，计算损失函数并更新模型的参数。但需要注意的是，由于无监督ICL没有标注任何数据，很多示例是基于某种启发式方法或者先验知识实现的。 此外，在研究过程中，研究人员还发现了一些有趣的现象，大规模ICL与少样本学习存在差异。但大模型可以克服预训练偏差，并解决具有数值输入的高维预测任务，例如，顺序奇偶预测和线性分类等。 本文素材来源谷歌Deepmind论文，如有侵权请联系删除 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33743.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 OpenAI一夜改写历史，GPT-4o干翻所有语音助手！丝滑如真人引爆全网科幻成真 上一篇 2025 年 8 月 13 日 下午11:17 科幻电影照进现实， GPT-4o震撼发布 下一篇 2025 年 8 月 13 日 下午11:17 相关推荐 行业动态 马斯克xAI估值240亿美元，LeCun隔空开怼，竟上升到人身攻击！ 这两天，AI圈的瓜全被马斯克LeCun承包了。不论是在AI安全监管，还是xAI使命上，两人已经开启了激烈的隔空骂战。 siyushenqi.com 2025 年 8 月 13 日 381000 行业动态 《黑神话》冯骥“前领导”，从腾讯离职创业 腾讯前《斗战神》制作人刘丹成立深圳创想悦动，专注“AI+游戏”，并与创维深度合作，借硬件渠道推动国产游戏进入家用主机市场。 siyushenqi.com 2025 年 8 月 15 日 406000 行业动态 号称「音乐界ChatGPT」，Suno是怎么诞生的？会如何影响音乐产业？ Suno 背后的团队是何来历？他们是如何做出 Suno 的？Suno 以及 AI 音乐生成软件会如何影响音乐产业？ siyushenqi.com 2025 年 8 月 13 日 403000 行业动态 首测后又藏了1年，网易这款“神秘新作”要在日本发起二次挑战 网易在AR领域到底能不能打？ siyushenqi.com 2025 年 8 月 19 日 445000 行业动态 5轮融资，估值近300亿美元，4位“00后”创业，3年造出“AI界奇迹” “AI程序员”已上岗。 siyushenqi.com 2025 年 11 月 17 日 399000 行业动态 许久没见过这么激进的腾讯了 腾讯2024年净利润超过2200亿，其中AI赋能成为业绩增长的重要因素。例如，营销服务业务收入同比增长20%，达到1214亿元，广告增长部分得益于AI推动。 siyushenqi.com 2025 年 8 月 13 日 374000 行业动态 一周要闻NO.134丨腾讯登顶2024年世界手游销售榜；2024美国电商排行榜；特朗普给予TikTok禁令75天宽限期 一起看看这周有哪些出海圈值得关注的大事记吧！ siyushenqi.com 2025 年 8 月 14 日 421000 行业动态 G-SALARY吉薪、YCloud 确认入驻PAGC 2025丨第五届全球产品与增长展会！ G-SALARY吉薪、YCloud 确认入驻PAGC 2025丨第五届全球产品与增长展会！ siyushenqi.com 2025 年 8 月 17 日 389000 行业动态 被90后抛弃的4399，在海外和腾讯、网易抢蛋糕 就像10后举着手机玩《蛋仔派对》一样，对于大部分90后来说，4399小游戏是回忆里不可或缺的存在。当所有人都以为4399走向没落时，这家公司却在海外游戏市场“翻红”。从“被时代抛弃”到“出海赚大钱”，4399经历了什么？ siyushenqi.com 2025 年 8 月 18 日 518000 亚马逊直播电商失灵，中国模式难以复制 直播电商，海外失灵 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 425000 行业动态 4月出海厂商榜单TOP30换血，柠檬微趣、乐元素、新创娱游成增长新星 平稳海面下的暗流涌动。 siyushenqi.com 2025 年 8 月 18 日 467000 行业动态 一华南上市玩具厂商靠做小游戏实现354%收入增长，多款跑进微小畅玩榜前列，投放和产能成爆量关键 别只盯着4399和三七，普世维度下也有亮眼黑马跑出。 siyushenqi.com 2025 年 8 月 17 日 446000 连推3款千万流水产品，从“小团队”到“大腿”他们花了12年 自上线以来掌趣科技发行的《咸鱼之王》在活跃用户以及收入方面持续保持着强劲增长。根据Sensor Tower预估，仅在iOS端，《咸鱼之王》在10月份的流水就达到了500万美元（约合3620万人民币）。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 415000 行业动态 价格拉平之后，电商平台新一轮暗战已经开始 低价给电商平台留下了什么。 siyushenqi.com 2025 年 8 月 5 日 483000 行业动态 又一深圳大卖或被美国禁售！ 深圳知名科技企业TP-Link遭遇美国国际贸易委员会（ITC）的337调查，涉及特定Wi-Fi路由器、Wi-Fi设备、网状Wi-Fi网络设备及其硬件和软件组件的专利侵权问题。 siyushenqi.com 2025 年 8 月 6 日 371000 行业动态 分享一些私域神器在跨境电商独立站引流中的成功案例 案例一：某时尚独立站借助 TikTok 与私域神器实现流量与销量飞跃 某时尚跨境电商独立站，在使用私域神器前，主要依赖传统搜索引擎广告引流，效果平平，流量获取成本高且转化率低。引入私域神器后，该独立站构建 TikTok 账号矩阵。利用私域神器的智能内容创作功能，针对不同地区、不同年龄层的目标受众，生成风格各异的短视频，如针对欧美市场的潮流穿搭展示、针对东南… siyushenqi.com 2025 年 8 月 13 日 下午11:17 485000 一款玩法过时的游戏，为什么还能成为今年日本的第一个二次元爆款？ 只有日本市场才有可能出现的产品。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 504000 以低龄青少年为用户，Roblox如何化解风险缔造20亿美金大生意？ 在疫情大爆发期间，游戏业迎来了不错的发展，或许，其中欧美市场增长最为明显的，当属沙盒建造游戏《Roblox》。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 440000 行业动态 跨境电商上市潮来了？接下来可能再度爆发 似乎一夜之间，跨境电商行业掀起了一股上市潮。 siyushenqi.com 2025 年 8 月 13 日 422000 匿名社交终将死于网络暴力？Yik Yak关闭4年后“重生” 再成“顶流” 内容监管问题是所有匿名社交应用的心头病 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 476000 行业动态 2021年5月全球热门移动游戏下载量TOP10 2021年5月全球热门移动游戏下载量TOP10 siyushenqi.com 2025 年 8 月 25 日 533000 GTA5狂卖1.5亿套的背后是主机游戏行业的长盛不衰 自从2013年GTA5发售之后，这款游戏就成为了一个神话故事。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 464000 行业动态 都想成为加拿大鹅“平替”，却只有北面做到了 户外运动品牌走出一条不同寻常路。 siyushenqi.com 2025 年 8 月 13 日 417000 ROI冲向5，TikTok广告远不止这点成绩 TTTTTikTok......... siyushenqi.com 2025 年 8 月 26 日 • 行业动态 519000 《神觉者》单月营收1.34亿，多款“蚂蚁”SLG流水冲高——5月出海Top30 今天（6月21日），Sensor Tower发布了2022年5月中国手游产品在海外市场收入及下载量排行榜。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 517000 行业动态 中文在线海外「爆火」，又一场虚假神话？ ReelShort在美国地区的收入占比高达65%，成为国内出海短剧第一，但其母公司中文在线2024年前三季度净亏损1.88亿元，自2015年上市以来累计亏损已高达22.81亿元。 siyushenqi.com 2025 年 8 月 17 日 379000 干货荟萃｜好产品也要有靠谱发行 哇哇鱼/鸿萌娱乐/孢子游戏/花娱网络海外发行经验与产品研发分享 2022PAGC游戏对接会 加速助力游戏出海道路 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 458000 行业动态 获米哈游投资，年营收超5亿的情感陪伴AI，都是什么人在用？ 全球有超过1000万人将AI作为伴侣，显示出情感陪伴AI在市场上的受欢迎程度和需求的增长。 siyushenqi.com 2025 年 8 月 13 日 438000 行业动态 中国电商卖家在印尼“掠夺式定价”？ 来自政策层面的不同声音 siyushenqi.com 2025 年 8 月 13 日 438000 行业动态 亚马逊重组AI团队 亚马逊成立全新AI业务单元，将AGI、芯片团队Annapurna Labs与量子计算研究一并整合，由AWS元老彼得·德桑蒂斯统管。 siyushenqi.com 2025 年 12 月 19 日 380000 发表回复 请登录后评论...登录后才能评论 提交
