击败GPT-4o、仅次于o1!英伟达重磅开源超强大模型--Nemotron siyushenqi.com • 2025 年 8 月 13 日 下午9:19 • 行业动态 • 阅读 421 全球AI领域的领导者英伟达开源了名为Llama-3.1-Nemotron-70B-Instruct的强大模型,该模型在测试中击败了140多个开闭源模型,仅次于OpenAI的最新模型o1。 摘要 Nemotron的基础模型基于Llama-3.1-70B,但在训练过程中采用了一种新的混合训练方法,结合了Bradley-Terry和Regression技术来训练奖励模型。 英伟达不仅开源了Nemotron模型,还开源了其训练数据集,这对于开发同类型或更先进的模型至关重要,因为这是使用混合训练方法的关键。 开源模型和数据集可能会对大模型初创企业构成挑战,因为它们可能无法与英伟达等巨头在资金和商业落地方面竞争,从而面临资金断裂等问题。 Nemotron模型在RewardBench评测中达到了94.1的高分,显示出强大的性能。模型训练采用了包括AdamW优化器、权重衰减、梯度裁剪、ExPO外推和广泛的超参数搜索等先进技术。 全球AI领导者英伟达(Nvidia)开源了超强大模型——Llama-3.1-Nemotron-70B-Instruct。 根据测试数据显示,这个模型已经击败GPT-4o、GPT-4turbo、Gemma-2、Gemini-1.5、Claude-3.5 sonnet等140多个开闭源模型,仅次于OpenAI发布的最新模型o1。 Nemotron的基础模型是基于Llama-3.1-70B开发而成,这个没什么新奇。但在训练的过程使用了一种新的混合训练方法,将Bradley-Terry和Regression一起用于训练奖励模型。 值得一提的是,英伟达把Nemotron的训练数据集也开源了,这对于开发同类型或超过Nemotron的模型非常重要,因为这个是使用混合训练方法的关键所在。 开源地址:https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward 数据集:https://huggingface.co/datasets/nvidia/HelpSteer2 在线demo:https://huggingface.co/chat/ 有网友表示,英伟达热衷于不断开源超强模型,一方面有大量资金资助他们的科研人员研发,另外主要目的还是为了卖GPU以及培养开发生态。而Meta依托他的社交帝国,在商业化和资金方面都不愁。 最愁的便是那些大模型初创企业了,钱拼不过这些巨头,商业落地和名气更不用提。所以,很多小企业可能会因为巨头的碾压,很快会出现资金断裂等各种问题。 很高兴看到AI领域的竞争,正在以惊人的速度推动行业向前发展。 这可是重磅开源。 为了新模型,买两个4090爽一下吧。 模型是免费的,但运行的硬件可不免费啊。 我正在测试这个模型,我是一个高级AI用户说说使用心得:在商业写作方面,似乎比Claude3和ChatGPT聪明一些。但它依然会犯一些错误,相比于普通的3.1 70b Instruct,确实更聪明。 Nvidia可以以1000倍更低的成本实现这一点。如果Nvidia真的原意这么做,那么将无人能与之竞争。 创新混合训练方法 在训练大模型的过程中,为了确保模型在实际使用中能够准确地理解并遵循用户的提示指令,准确进行翻译、文本生成、问答等任务,奖励模型发挥了很重要的作用,主要通过为模型的输出打分,指导模型生成更高质量的回答来实现。 目前,主流的奖励模型方法主要有Bradley-Terry和Regression两种:Bradley-Terry风格的奖励模型起源于统计学中的排名理论,通过最大化被选择响应和被拒绝响应之间的奖励差距。这种方法强调在给定的提示下,用户会选择哪个响应,从而为模型提供了一种直接的、基于偏好的反馈。 Regression则借鉴了心理学中的评分量表,通过预测特定提示下响应的分数来训练模型。这种方法允许模型对响应的质量进行更细致的评估,但可能不如基于偏好的方法直观。 但这两种方法都有明显的缺点,Bradley-Terry需要用户在两个响应中选择一个;而回归风格的模型需要评分数据,用户需要为每个响应打分才能帮助模型提升性能。所以,英伟达直接把两个模型的优点放在一起使用来解决这个难题。 首先是需要开发一个包含评分和偏好注释的数据集HELPSTEER2-PREFERENCE。研究人员是在HELPSTEER2基础上添加偏好注释。 这些偏好注释不仅包括用户在两个响应中选择一个的偏好方向,还包括用户对这种偏好的强度评分。为了确保数据的质量和可解释性,还要求注释者为他们的偏好提供书面说明。 在训练这种新型混合方法时,研究人员使用AdamW优化器来训练模型,通过引入权重衰减和梯度裁剪来提高训练的稳定性和效率。 为了进一步提高模型性能,使用了ExPO在训练过程中对模型的权重进行外推,可以进一步提高模型的性能。可以使模型在训练时更加关注那些差异较大的响应对,从而提高模型的区分能力。 此外,研究人员还进行了广泛的超参数搜索,以找到最佳的学习率和KL惩罚项。这些超参数对于模型的训练至关重要,因为它们直接影响到模型的收敛速度和最终性能。 HELPSTEER2-PREFERENCE数据集 为了开发这个多元化满足新的混合训练方法数据集,在数据注释的过程中,每一对回应都经过3—5名标注者的评价。这些标注者需要从多个维度对每个回应进行评分,包括有用性、准确性、连贯性、复杂性和冗长程度等。为了更好地理解背后的原因,标注者还需要提供简短的文字说明,解释为何选择了某个回应作为更好的答案。这种方法不仅增强了数据的透明度,也为后续分析提供了丰富的上下文信息。 研究人员还使用了严格的数据预处理步骤来保证数据质量。例如,他们会识别出每个任务中相似度最高的三个偏好注释,然后取这三个注释的平均值并四舍五入到最接近的整数,以此作为该任务的整体偏好得分。 同时,为了排除那些标注者意见分歧较大的样本,研究人员们会过滤掉那些注释之间差异超过一定范围的任务。这些措施共同作用,有效提升了数据的可靠性和一致性。 根据测试数据显示,使用HELPSTEER2-PREFERENCE数据集训练的模型性能非常强,在RewardBench评测中达到了94.1的高分,超过了同期几乎所有其他模型的表现。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32614.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI视频时代,如何才能不掉队? 上一篇 2025 年 8 月 13 日 下午9:19 AI翻译界杀手诞生!阿里国际翻译大模型吊打谷歌和GPT-4 下一篇 2025 年 8 月 13 日 下午9:19 相关推荐 谷歌开发者认证攻略指南 谷歌开发者认证攻略指南。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 419000 东南亚电商增速全球第一,卖家争相涌入 东南亚电商发展仍未减速。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 492000 行业动态 一年分成91亿,B站UP主却不想为爱发电了 破圈、付费视频、Story-Mode等一系列商业化战略之后,B站非但没有赚钱,反倒流失了站内的一些UP主。据《豹变》统计,2018年B站第一届的百大UP主中,有将近20%的UP主已经停更。UP主们为何集体撤退?“为爱发电”还能坚持多久? siyushenqi.com 2025 年 8 月 24 日 523000 行业动态 私域神器每周合作精选 No.92|休闲游戏寻找谷歌开发者流量;小程序平台寻短剧合作;寻海外商务合作 本期精选的合作类型涵盖自制小程序平台寻短剧合作;休闲游戏寻谷歌开发者流量等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 469000 行业动态 Crazy Maple Studio北京公司总经理南亚鹏确认担任第四届PAGC短剧峰会圆桌嘉宾 Crazy Maple Studio北京公司总经理南亚鹏确认担任第四届PAGC展会短剧峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 18 日 455000 行业动态 股价飙升12倍,卡普空在“炒作”和“炒股”之间选择了“炒冷饭” 保持低调,做出优质的游戏,忽略来往的风潮;这种心态,虽然朴实无华,但值得被尊重。 siyushenqi.com 2025 年 8 月 18 日 427000 行业动态 外贸企业注意了!这个WhatsApp“磐石系统”正在悄悄改变出海营销的游戏规则 提升客户沟通效率 优化市场拓展策略 增强客户关系管理 支持多语言交流 实时数据分析功能 提升客户沟通效率 WhatsApp的“磐石系统”通过自动化和智能化工具,大大提升了外贸企业与客户的沟通效率。系统提供实时消息推送和即时响应功能,确保信息传递不延迟,使得外贸企业能够快速响应客户需求。 优化市场拓展策略 通过“磐石系统”,外贸企业能够根据客户的反馈和市场动态… siyushenqi.com 2025 年 8 月 13 日 下午9:19 421000 游戏下载量超10亿次,Rollic怎样用“抖音化”思路做超休闲游戏? Rollic是一家超休闲手游发行商,到目前为止,这家公司游戏的总下载量已经突破了10亿次,其中有7款曾进入美国iOS App Store免费下载榜前两名。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 440000 爆款频出?尼尔手游后又一款新游登顶日本App Store免费榜 2月24日资讯,今日于日本地区上线的Cygames《ウマ娘 プリティーダービー》(暂译名:赛马娘 Pretty Derby)公测后立即登顶日本App Store免费榜,畅销榜排名第3位。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 487000 行业动态 Ilya Sutskever担任SSI首席执行官 Ilya Sutskever在社交平台宣布,从6月29日起担任SSI的首席执行官,原因是Meta用重金挖走了SSI的CEO Daniel Gross。 siyushenqi.com 2025 年 8 月 13 日 440000 行业动态 TikTok Shop美区入驻门槛大调整,跨境商家打开新通道 TikTok Shop美区门槛大调整,卖家爆单机会来了。 siyushenqi.com 2025 年 8 月 5 日 440000 再见了,游戏行业的2022 还有一个月不到,我们便将迎来春节这个一年中最重要的节日,对游戏行业来说,这个冬天似乎有点难熬。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 444000 掘金出海第一课:靠广告日入百万?出海手游如何打好混合变现这张牌 《掘金出海》第一课,我们通过对产品商业化模式的透彻解析和对广告增长的透彻解析,帮助开发者真正实现降本增效,找到增长的“道”与“术”。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 444000 行业动态 OpenAI宫斗参与者融了5.3亿,立刻给开发者分钱一起对抗GPT Store 人人为我,我为人人。 siyushenqi.com 2025 年 8 月 13 日 439000 行业动态 “洋抖难民”勇闯小红书,泼天流量之下,谁在抢食TikTok的“用户财产” 不止Lemon8 siyushenqi.com 2025 年 8 月 17 日 396000 行业动态 Sam Altman新年发文:OpenAI周活破3亿,我们已找到通往AGI之路 OpenAI已经知道如何构建通用人工智能,并且正在逐渐接近这一目标,这是他首次如此坚定地表明已经明确了寻找AGI的路径。 siyushenqi.com 2025 年 8 月 13 日 390000 行业动态 所有用户无限用Sora,OpenAI放圣诞福利! OpenAI首席执行官Sam Altman宣布了名为Sora的文生视频模型作为第十三天的特别奖励。 siyushenqi.com 2025 年 8 月 13 日 413000 行业动态 美团外卖再出新招:与到店服务融合,创新不止 在全国推“蜂窝制”运营。 siyushenqi.com 2025 年 8 月 5 日 516000 行业动态 刚开始做跨境,到底需要配置哪些社媒账号?(新手必读) 对于很多刚入行的跨境卖家来说,搭建社媒账号是一个听起来“重要但陌生”的环节。 有人说 Telegram 是出海做社群的刚需,有人说 TikTok 不做等于放弃流量红利,还有人天天在 Facebook 和 Instagram 投广告……问题是,你该从哪里开始? 这篇文章就是写给刚入门的新手卖家的:我们不谈高深玩法,只聊最基础的问题——你需要配置哪些社媒账号,它… siyushenqi.com 2025 年 8 月 13 日 下午9:19 421000 网易这款小众SLG空降榜单Top 1后,我发现了它的秘密 在上线首日, 《无尽的拉格朗日》的成绩其实不算突出,免费榜第4,畅销榜第84。不过在首周之后,游戏畅销榜成绩迅速拉升到了第24名。而在进入稳定运营期后,游戏则基本维持在畅销榜第20-40名的区间里。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 431000 行业动态 腾讯云 作为全球AI增长大会·下午场-联合主办出席PAGC 2026丨第六届全球产品与增长展会 腾讯云 全球AI增长大会·下午场-联合主办出席PAGC 2026丨第六届全球产品与增长展会 转自扬帆出海 2026 年 4 月 10 日 238000 年销15亿、多次霸榜美妆排名,它在日本掀起一股新风潮! 近年来国货美妆出海已经成为一种新风尚,迎来“扎堆出海”热,例如完美日记、花西子、花知晓、菲鹿儿、卡婷等国货美妆品牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 474000 行业动态 登上泰国社交榜Top1,中国团队专为流浪猫设计的App,何以打动海外爱猫人士? 中国流浪猫主播在海外吸粉。 siyushenqi.com 2025 年 9 月 6 日 571000 Fanno爆火!字节跳动跨境领域的三架马车正一路狂奔 Fanno App是字节跳动重磅推出的一款面向全球用户的综合电商平台 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 494000 行业动态 夹缝中的英伟达中国 一场开始就已注定不会太久的蜜月。 siyushenqi.com 2025 年 8 月 13 日 467000 策略类爆款火10年,这个30人团队透露了长线运营的关键 “游戏进度从0到100%所需的时间总体保持不变。” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 480000 行业动态 海外题材手游找投资;休闲益智游戏寻发行方;需要海外短剧资源;土耳其通道+美区小额通道|私域神器每周合作精选No.199 本期精选的合作类型涵盖海外题材手游找投资;休闲益智游戏寻发行方;需要海外短剧资源;土耳其通道+美区小额通道等。接下来就一起看看吧~ 转自扬帆出海 2026 年 3 月 31 日 296000 行业动态 3月新游数据丨国内市场遭遇淡季,《菇勇者传说》全球月收入超6.3亿,《NIGHT CROWS》领衔MMO海外吸金 春节档后的第一个月,国内市场似乎仍然由头部经典老游戏把持主场,收入榜前十依旧为腾讯、网易旗下主力手游所占据,收入数据来看环比二月仍有增幅。 siyushenqi.com 2025 年 8 月 18 日 612000 《王者荣耀》越来越不像个游戏了 做超级IP最重要的是什么? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 489000 行业动态 又一跨境代运营诈骗案,涉案金额高达6000万! 旺季大促将至,近来跨境电商圈似乎又适逢多事之秋。继前不久深圳汇海广场某跨境代运营公司被曝遭警方调查后,近期又有卖家爆料,深圳x萃跨境代运营公司疑似因不合规操作被查,已有百余名员工被抓,引起业内哗然。 siyushenqi.com 2025 年 8 月 6 日 439000 发表回复 请登录后评论...登录后才能评论 提交