羊驼进化成鲸鱼,Meta把对齐「自动化」,Humpback击败现有全部LLaMa模型 siyushenqi.com • 2025 年 8 月 14 日 上午12:45 • 行业动态 • 阅读 427 数据质量很重要 这一年来,以 ChatGPT 和 GPT-4 为代表的大语言模型(LLM)发展迅速,紧随其后,Meta 开源的 LLaMa、Llama 2 系列模型在 AI 界也引起的了不小的轰动。但随之而来的是争议不断,有人认为 LLM 存在一些不可控的风险,给人类生存构成一些潜在威胁。 为了应对这些挑战,对 LLM 对齐的研究变得越来越重要,有研究者提出指令跟随(instruction following),但这种方法需要大量的人工注释。然而,注释如此高质量的指令跟随数据集耗费巨大。 本文来自 Meta AI 的研究者提出了一种可扩展的方法即指令回译(instruction backtranslation),该方法通过自动注释相应的指令来构建高质量的指令跟随语言模型。 论文地址:https://arxiv.org/pdf/2308.06259.pdf 具体而言,该研究从一个语言模型开始,并作为种子模型,该模型在少量的种子数据以及 web 语料库上进行了微调。种子模型的作用是用来构建训练样本,然后这些样本中的一些高质量样本将会被筛选出来,接着,这些数据被用来微调一个更强大的模型。 经过两轮迭代的数据集对 LLaMa 进行微调,所产生的模型 Humpback 在 Alpaca 排行榜上优于其他现有的非蒸馏模型,如 LIMA、Claude、Guanaco 等。 Humpback 原意为座头鲸,又名驼背鲸,Meta 将模型命名为 Humpback,也别有深意吧。 之所以称为指令回译,研究者表示这借鉴了机器翻译中经典的反向翻译方法,其中人类编写的目标句子会自动用模型生成的另一种语言的源句子进行注释。 图灵奖得主 Yann LeCun 高度概括了这项研究的方法,并称赞 Meta 这项工作为对齐研究做出重要贡献: 还有网友对这项研究进行了很好的概括:数据质量对大模型来说确实很重要,研究过程中,他们使用不同级别的过滤数据,微调了一个模型,结果表明,只有最好的样本才能得出比其他样本表现更好的模型。 该论文提出了一种需要两个步骤完成的新的数据增强范式。首先,必须拥有一组种子(指令、输出)对和语料库才能生成更多好的指令数据。 下图比较了 Humpback 与一些开源模型和专有模型。 下表 4 表明,本文方法在 65B 和 33B 模型尺度上都是非蒸馏模型中表现最好的模型。 下面我们看看具体方法。 方法简介 该研究提出了一种自训练方法(self-training),该方法通常假定可以访问基本语言模型、少量种子数据和未标记的样本集(例如网络语料库)。未标记数据往往是一大堆形态各异的文档,由人类编写,其中包括人类感兴趣的各种话题内容,但最重要的是没有与指令进行配对。 这里还有两个关键的假设,第一个假设是这个非常大的文本集(未标记样本集)存在一些子集,适合作为某些用户指令的生成样本。第二个假设是可以预测这些候选答案的指令,这些指令可以用于形成高质量样本对,以训练指令遵循模型。 如下图 1 所示,该研究提出指令回译过程包含两个核心步骤: 自增强:为未标记的数据(即网络语料库)生成指令,以为指令调优产生训练数据对(指令 - 输出)。 自管理:自主选择高质量样本数据作为训练数据,以微调基础模型来遵循指令,这种方法是迭代完成的。 其中,自管理步骤采用的 prompt 如下表 1 所示: 实验及结果 本文的数据集主要包括种子数据和增强数据,具体信息如表 2 和图 2 所示: 图 3 表示尽管扩大了数据规模,但没有自我管理(self-curation)的增强数据用来训练模型并不能提高指令跟随性能。 下图比较了不同指令调优数据集的数据效率。 数据和模型的联合扩展:该研究发现在 7B 模型中观察到的数据扩展趋势同样也适用于更大的模型。例如对 65B 的种子模型增加高质量的增强数据会带来进一步的改进。 常识推理:该研究在五个常识推理基准上进行了测试,SIQA 、PIQA、Arc-Easy、Arc-Challenge 和 Openbook QA (OBQA) , 结果总结于表 5 中。结果表明,与基础模型相比,本文模型在社会推理等多个方面的表现有所提高。 MMLU:表 6 总结了不同模型在 MMLU(massive multitask language understanding)的结果。与基础模型相比,本文微调模型提高了零样本准确率,但在 5 个样本上下文示例中表现不佳。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/35640.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI产生自我意识,「古墓丽影」劳拉觉醒!电子游戏革命来了 上一篇 2025 年 8 月 14 日 上午12:44 把AI变成你的“人生导师”?谷歌被曝正在“密谋”几十项震撼更新 下一篇 2025 年 8 月 14 日 上午12:45 相关推荐 “小程序短剧”狂飙,8天赚1亿?24小时内充值破千万 《哎呀!皇后娘娘来打工》24小时用户充值破1200万、《闪婚后,傅先生马甲藏不住了》24小时充值流水破2000万、《无双》上线八天投放消耗突破1亿…… siyushenqi.com 2025 年 8 月 19 日 • 行业动态 477000 行业动态 短剧“狂飙”按下暂停键?广电出手整治、快手发布违规短剧 中国网络视听节目服务协会刊文称,广电总局将再次开展为期1个月的网络微短剧专项整治工作。 siyushenqi.com 2025 年 8 月 18 日 544000 做更具对抗性,可以长期运营的闯关派对游戏!《蛋仔派对》的改进观察 后来,《糖豆人》将这种闯关模式电子游戏化,验证了这种玩法成为游戏机制的可能性,成为第一个吃螃蟹的游戏;而现在,网易出品的《蛋仔派对》则也蓄势待发,希望拿下这个门类的竞争。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 508000 行业动态 河马游戏吴启聪:非关卡制,休闲游戏在出海市场的另一种可能 无论是在过去、现在、还是将来,休闲游戏市场在全球范围都是一块市场规模颇为可观的市场。 siyushenqi.com 2025 年 8 月 5 日 456000 行业动态 以Shein为例,探究中国跨境快时尚电商行业(一) 本文为中国跨境快时尚电商行业系列研究(一),以Shein作为案例研究,详谈该行业的概览与发展现状。 siyushenqi.com 2025 年 8 月 12 日 423000 行业动态 洞见社交/AI/内容融合新生态、玩转移动应用出海新增长:12月11日,我们深圳见! 12月11日·深圳市·深圳湾万怡酒店4F,《全球移动应用出海增长峰会》期待您的莅临! siyushenqi.com 2025 年 12 月 8 日 333000 米哈游、三七、鹰角亮出底牌,这是游戏厂商最想攻破的阵地 仍被低估的一片「宝库」 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 478000 行业动态 亚马逊FBA再次限制补货,没钱又没资源的卖家怎么破局? 近日,亚马逊美国站FBA限制补货的消息,再次刷爆朋友圈 siyushenqi.com 2025 年 8 月 13 日 435000 行业动态 「投资熄火」的AI游戏,正走在赛道爆发的前夜 做在无人问津处,卖在人声鼎沸时。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 游戏圈一片火热:腾讯网易猛造爆款,B站游戏收入暴涨285% 三巨头均有爆款支撑。 siyushenqi.com 2025 年 8 月 19 日 472000 行业动态 下一个SHEIN?这个独立站单笔融资达1.5亿美金 资本能捧出下一个SHEIN吗? siyushenqi.com 2025 年 8 月 12 日 428000 咸鱼开路,萌犬当道 “拟兽化”成放置赛道最猛潜力股 “点击+开箱+放置”,爆发出了巨大的“换皮”潜力 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 523000 2021出海韩国:《奇迹之剑》收入第一,超越《原神》 近日,SensorTower发布了2021年韩国手游市场报告,在报告中我们得以对过去一年国产手游在韩国的表现进行一次盘点和分析。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 488000 时隔两个月逆袭畅销Top10,《幻塔》下了一盘怎样的大棋? 就在昨天,《幻塔》的2.1版本上线了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 474000 行业动态 浏览量超 2 亿次!"去影响力"引爆TikTok反消费热潮 至此,人们意识到 TikTok 的“真实性并不总是真实的”。 siyushenqi.com 2025 年 8 月 12 日 493000 行业动态 9月12日淘宝天猫商家逐步开通微信支付 互联网大企业之间打破壁垒,终于迎来了一个里程碑事件。 siyushenqi.com 2025 年 8 月 5 日 435000 美团正式在香港上线外卖业务 10月上旬,美团正在筹备一个针对香港市场的新项目的消息传了出来,酝酿8个月后,美团终于正式进军香港市场。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 580000 行业动态 快手豁出去了,没商家入驻,就是死路一条 程一笑:电商业务是快手未来增长的重要引擎之一。 siyushenqi.com 2025 年 8 月 12 日 378000 行业动态 印度电商有望在今年节日销售季中“大丰收” 印度的节日销售季即将到来 siyushenqi.com 2025 年 8 月 13 日 445000 行业动态 拿到近千万美元融资,中国团队做“另类”社交产品,“人味儿”堪比DeepSeek 做有价值的AI社交产品。 siyushenqi.com 2025 年 8 月 17 日 474000 行业动态 巨头与新势力重兵云集 AI Agent为何如此重要? 中国团队Monica发布的全球首个通用型自主智能体Manus在发布仅3周后迅速席卷AI界,开启了收费试水商业化,并且接洽融资估值暴涨。Manus能够自主完成复杂任务,如机票比价、酒店筛选、行程规划等,展现了AI Agent与传统聊天机器人及通用大模型的本质区别——“任务闭环”能力。 siyushenqi.com 2025 年 8 月 13 日 455000 行业动态 如何通过WhatsApp群发提升品牌忠诚度 在信息过载的时代,构建品牌忠诚度面临挑战。WhatsApp群发作为一种高打开率、即时触达的沟通工具,为品牌与客户建立深度信任关系提供了独特空间。其私密、即时的特性优于传统邮件营销,能有效传递关键信息、营造专属感,从而成为培育长期客户情... siyushenqi.com 2026 年 1 月 25 日 408000 行业动态 私域神器如何提升外贸获客效率 精准客户画像分析 高效的客户沟通工具 自动化营销流程 数据驱动决策支持 提升客户忠诚度 精准客户画像分析 在外贸行业中,精准的客户画像分析是提升获客效率的关键。通过对客户行为、需求和兴趣的详细分析,企业可以快速筛选出高潜力客户,并采取针对性的营销策略。利用大数据和AI技术,私域神器能够为企业绘制出客户的详细画像,使其能够在繁杂的市场中锁定最有价值的客户群体。… siyushenqi.com 2025 年 8 月 14 日 上午12:45 427000 行业动态 2025年8月埃及市场中国出海应用畅销榜 Top43 2025年8月埃及市场中国出海应用畅销榜 Top43。 siyushenqi.com 2025 年 9 月 15 日 451000 行业动态 OPPO收了一家AI创业企业! 波形智能已确认被OPPO收购,但未透露更多细节。 siyushenqi.com 2025 年 8 月 13 日 424000 工厂转型跨境,他把几个独立站做的有声有色 中国制造业的发展经历了漫长的十多年,从制造到智造,从代工到自主品牌出海,一直在不断的升级转型,成立于厦门的Worthfind(欣维发)就经历了这一过程。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 430000 行业动态 “杭州六小龙第一股”,上市时间定了 群核科技于2026年4月启动港股招股,计划以“0068”为代码挂牌。 转自扬帆出海 2026 年 4 月 10 日 213000 红遍东南亚和拉美之后,《Free Fire》正成为美国最受欢迎的战术竞技手游 自2017年底面世以来,战术竞技手游迅速风靡世界各地。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 558000 行业动态 限时下载 | 专题篇:ABM营销干货PPT整理@跨盈年度B2B CMO峰会系列 本期我们将重点为大家分享ABM营销话题相关内容,,相信对B2B行业的市场同仁有一定的启发! siyushenqi.com 2025 年 8 月 3 日 413000 行业动态 沐瞳擅长的不只有MOBA 沐瞳凭借MOBA游戏《决胜巅峰》在海外市场取得巨大成功后,开始尝试拓展更多新品类游戏,如西幻塔防卡牌游戏《潮汐守望者》、二次元卡牌游戏《银与绯》以及自走棋游戏《Magic Chess: Go Go》等,以打破外界对其“只擅长MOBA游戏”的固有印象。 siyushenqi.com 2025 年 8 月 17 日 532000 发表回复 请登录后评论...登录后才能评论 提交