Llama 3.1磁力链提前泄露！开源模型王座一夜易主，GPT-4o被超越 siyushenqi.com • 2025 年 8 月 13 日 下午11:38 • 行业动态 • 阅读 395 Llama 3.1又被提前泄露了！开发者社区再次陷入狂欢：最大模型是405B，8B和70B模型也同时升级，模型大小约820GB。基准测试结果惊人，磁力链全网疯转。 历史再次重演，Llama 3.1 405B提前泄露了！ 现在，基准测试和磁力链已经传得满天飞了。 除了最大的405B，Meta这次还升级了5月初发布的8B和70B模型，并将上下文长度全部提升到了128K。 至此，模型版本也正式从Llama 3迭代到了Llama 3.1。 根据磁力链提供的信息，新模型大小为763.48GiB（约820GB）。 从泄露的「基准测试」可以看出，连8B小模型都很能打，而70B的模型，性能在多项基准上都能赶超GPT-4o了。 开发者们看到测试结果后也原地炸锅，Topology CEO Aidan McLau惊呼道—— 如果Llama 3-405B的基准测试是真的，它将 - 成为世界上最好的模型 - 每个人都可调 - 比GPT-4o还便宜！ HyperWriteAI CEO Matt Schumer预言：它定将成为开源模型中的SOTA。（连70B都能和GPT-4o掰手腕，何况这还是在指令微调之前。） 想象一下，一个GPT-4o级别的模型，以每秒330个token的速度运行，价格还要便宜10倍。这简直太令人兴奋了。 明天，将是狂野的一天！ 而小扎的一句话，更是暗示着405B的到来——重大一周前的宁静时刻。 众多网友在线逼问OpenAI：新模型啥时候放出？ Llama 3.1家族，明日上线 根据泄露的模型卡，Llama 3.1将在23日发布。 许可证为「定制商业许可」和「Llama 3.1社区许可」。 泄露的Model Card：https://pastebin.com/9jGkYbXY 具体来说，多语言大模型 Llama 3.1系列是一组预训练和指令微调的生成模型，包括8B、70B和405B三种参数规模。 指令微调后的Llama 3.1纯文本模型（8B、70B、405B），针对多语言对话用例进行了优化。 除了英语，它还可以支持7种语言，包括德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。 据介绍，Llama 3.1的新增能力包括，更长的上下文、支持多语言输入和输出，以及开发者与第三方工具的集成。 基准测试 在GitHub上一张基准图（现404）显示，Llama 3.1在基准测试中的优异表现。 具体来说，在基准预训练模型的基准评测中，Llama 3.1 405B在通用任务、知识推理、阅读理解上创下最新纪录。 尤其在，MMLU、SQuAD细分基准上，提升最为明显。 与此同时，Llama 3.1 8B和70B参数版本，相较于Llama 3，得到了细微地改善。不过，有些指标，70B Llama 3.1还不如前一代。 另外，指令微调模型中，看得出Llama 3.1 405B比预训练模型更强。在推理、代码、数学、工具使用、多语言基准上，纷纷碾压微调后的8B和70B版本。 Llama 3.1 8B和70B微调模型，同样在多项能力任务中，性能大幅提升。 还有网友汇总了其他领先模型的基准，通过对比可以看出，Claude 3.5 Sonnet才是所有基准中的王者。 Llama 3.1 405B微调版本仅在数学基准MMLU Pro上，最能打，以73.3%成绩打败所有大模型。 另外，405B在GPQA（研究生水平的专业知识和推理）、数学、DROP（阅读理解）、MGSM（多语言数学）、HumanEval（编程），BBH（知识评估）基准上，与GPT-4o不相上下。 而且，405B大幅领先最新GPT-4o mini模型。 Llama 3.1是一个自回归语言模型，使用优化的Transformer架构。调整后的版本使用了SFT和RLHF，以符合人类对安全的偏好。 对于Llama 3.1系列模型，token计数仅指预训练数据。 所有模型的版本，都使用分组查询注意力（GQA）来提高推理的可扩展性。 15T token训练数据 与Llama 3一样，Llama 3.1也是在大约15万亿个来自公开可用来源的token上进行了预训练。 微调数据包括公开可用的指令数据集，以及超过2500万个合成样本，预训练数据截止到2023年12月。 商用研究皆可 Llama 3.1支持多语言环境下的商业和研究用途。 经过指令微调的纯文本模型适用于聊天助手，而预训练模型可以适应各种自然语言生成任务。Llama 3.1模型集合还支持利用其模型输出来改进其他模型，包括合成数据生成和模型蒸馏。 违反使用法律法规、被使用政策和Llama 3.1社区许可证禁止、支持语言之外的使用，都属于超出范围。 并且团队强调，除了支持的8种语言，Llama 3.1在更广泛的语言集合上进行了训练。开发者对其进行微调，就可以在其他语言上适用，前提是遵守社区许可证等政策，并保证使用是安全和负责的。 3930万GPU小时训练 在预训练时，Meta使用了定制的训练库、Meta定制的GPU集群和生产基础设施。微调、注释和评估也都是在生产基础设施上进行的。 训练累计使用了3930万GPU小时的计算时间，硬件类型为H100-80GB（TDP为700W）。 训练时间是训练每个模型所需的总GPU时间，功耗是每个GPU设备的峰值功率容量，根据功率使用效率进行了调整。 训练的总位置基温室气体排放估计为11,390吨二氧化碳当量（CO2eq）。 Meta强调，自2020年以来，自己一直保持着净零的温室气体排放，并且100%的电力都是由可再生资源生成的，因此基于市场基准的总温室气体排放为0吨二氧化碳当量。 重大风险 在重大风险上，Meta也做了测试。 包括CBRNE（化学、生物、放射性、核和爆炸材料）有用性、儿童安全和网络攻击。 在网络攻击上，团队调查了LLMs是否可以提高人类在黑客任务中的能力，包括技能水平和速度。 研究重点在评估LLMs在网络攻击行动中用作自主Agent的能力，特别是被勒索软件攻击时。 主要目标就是评估这些模型是否能在没有人为干预的情况下，有效地作为独立Agent执行复杂的网络攻击。 网友炸锅，再一次见证历史 磁力链放出后，迫不及待的网友直接开始下载，不过这可能需要等待很久。 一部分网友开始坐等Llama 3.1 405B明天发布，再一次见证历史！ 开源模型与闭源模型的差距，再次缩小了。 还有人测试了「9.11和9.9谁大」的经典陷阱题，Llama 3.1-405B竟答对了。 对于「GPU穷人」来说，820GB在笔记本上运行实在是太勉强了。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33973.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 5 年 160 亿估值，硅谷「企业 AI」领头羊怎么做到的？ 上一篇 2025 年 8 月 13 日 下午11:38 大模型的招投标订单都被谁拿走了？ 下一篇 2025 年 8 月 13 日 下午11:39 相关推荐 行业动态 昆仑万维发布全球首款音乐推理大模型Mureka O1，中国AI音乐革命领跑全球 3月26日，昆仑万维正式发布Mureka O1（全球首款音乐推理大模型）和Mureka V6模型。Mureka O1在性能上超越了Suno等竞争对手，登顶SOTA（State of the Art），展现了中国在AI音乐领域的创新实力。 siyushenqi.com 2025 年 8 月 13 日 573000 行业动态 伊藤润二授权，恐怖洋馆循环，IP改编游戏如何平衡玩法和还原？ 恐怖体验从漫画走向游戏，跨媒介IP改编挑战巨大。 siyushenqi.com 2025 年 11 月 23 日 412000 行业动态 售后环节询问交易体验，该怎么说？ 当我们在跟客户频繁交易了多次后，慢慢地也就有了交情，可以在每次顺利成交之后询问一下这次交易的体验如何？是否有需要改进的地方？ 这些询问不仅有助于客情维护，通过反馈我们也可以寻找产品的推广点，以后推广产品的时候可以用上。 以下的推荐模板仅供参考，强烈建议多用特殊疑问句，让客户多发表自己的想法，参与讨论，提供有效信息。Yes or no之类的回答我们是得不到任何… siyushenqi.com 2025 年 8 月 13 日 下午11:38 395000 品类趋势：时尚、美妆、3C科技在TikTok有哪些新商机？ 新常态下的新消费变化。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 513000 行业动态 曾获腾讯投资，这款「字节弃子」已经悄悄上线3天了 是不要慌，还是玩命溜？ siyushenqi.com 2025 年 8 月 18 日 436000 行业动态 独立站引流渠道小妙招，教你快速上手站外推广 近年来越来越多传统外贸、平台大卖家转战独立站电商运营 siyushenqi.com 2025 年 8 月 13 日 450000 跨境大卖去年旺季100倍爆单！今年期待日均破万单 “去年9.9大促我们实现爆单，增长较平日高达百倍，今年我们的目标是——实现多个站点都日破万单！” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 422000 行业动态 Zenlayer 高级解决方案架构师 郭天铭 确认担任 PAGC 2025丨第五届全球产品与增长展会 DTC品牌出海增长峰会演讲嘉宾 Zenlayer 高级解决方案架构师 郭天铭 确认担任 PAGC 2025丨第五届全球产品与增长展会 DTC品牌出海增长峰会演讲嘉宾 siyushenqi.com 2025 年 8 月 17 日 414000 行业动态 重磅消息！Meta计划逐步结束授权销售合作伙伴计划，将影响全球广告商收入！ 这一决定对其合作伙伴和更广泛的广告界产生了重大影响。 siyushenqi.com 2025 年 8 月 18 日 465000 行业动态 一周要闻NO.142丨iOS邮件诈骗专业人士解决建议；京东大规模招募海外商家；xAI进军AI视频领域；中国短剧狂卷全球 一起看看这周有哪些出海圈值得关注的大事记吧！ siyushenqi.com 2025 年 8 月 14 日 420000 小骨Steam销量破10万套，韩国人高潮：“韩国独立游戏的壮举”！ NEOWZ在25日表示，由SouthPAW Games游戏开发的2D动作游戏《小骨：英雄杀手》正式版本的销售量已经突破了10万套 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 482000 行业动态 2000万美金ARR，种子轮融资1400万美金，万兴离职创业者，出海做了个“AI版剪映” 用SEO方法论做生成式AI，爆火全球。 siyushenqi.com 2026 年 2 月 3 日 437000 行业动态 价值20亿美元的AI社交新贵？米哈游、腾讯争相投资MiniMax 婉拒Sora?中国AI大模型企业更爱社交出海。 siyushenqi.com 2025 年 8 月 13 日 403000 行业动态 当网易把“江湖”搬到海外，能否通过武侠MMO实现文化出海？ 文化自信很重要。 siyushenqi.com 2025 年 11 月 11 日 350000 2021年社交媒体营销预测（1）：Facebook——重点推动电商业务，技术领域优势先行 2020年无疑是艰难的一年。许多企业都迅速进行了调整，以寻求在扼制新冠疫情传播的全球封禁困境之下的生存 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 428000 私域神器周报 No.29丨谷歌开放第三方支付、裁员潮席卷硅谷 一起看更多出海圈大事件 私域神器为大家整理了一周内出海行业中值得关注的新闻。Google正式官宣：美国/巴西/南非在内的多个区域将允许开发者接入三方支付、Twitter、Meta等大厂纷纷开始裁员。除此之外私域神器还为大家总结了更多出海圈大事件，涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧！ siyushenqi.com 2025 年 8 月 14 日 • 行业动态 436000 行业动态 全球射击赛道，又有国产游戏“上桌吃饭”了？ 科隆首秀即“破圈”：PV 播完前排观众直呼“Spectrum is REALLY good”，海外媒体冲刺闭门试玩，愿望单询问刷屏，团队直言“超出预期”。 siyushenqi.com 2025 年 8 月 26 日 416000 行业动态 外贸成功的关键要素与发展策略 随着全球化的不断推进，外贸已经成为不少企业发展的重要途径。本文将深入探讨外贸的关键要素及有效发展策略，帮助企业在激烈的市场竞争中脱颖而出，获取更多商机和利润。 siyushenqi.com 2026 年 3 月 7 日 289000 行业动态 Meta上线反诈工具 WhatsApp/Facebook 屏幕共享前弹窗提醒“仅分享给可信对象”；Messenger 内测 AI 防骗助手，可疑信息自动标红并支持一键 AI 复核。 siyushenqi.com 2025 年 11 月 3 日 441000 行业动态 社交出海“三国杀” 当今中国社交娱乐出海界，三分天下。 siyushenqi.com 2025 年 8 月 26 日 476000 一款新游让TapTap海外增长率翻倍 主打竞技的《T3 Arena》是如何做到的 《T3 Arena》引发轻竞技热潮 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 489000 行业动态 WhatsApp超级号如何实现多账户管理 多账户管理 功能与优势 对比分析 应用场景 常见问题解答 多账户管理 随着数字化沟通的不断发展，社交媒体和即时通讯应用逐渐成为个人和企业日常生活中的一部分。WhatsApp，作为全球领先的即时通讯应用之一，其功能不断更新以适应多样化的用户需求。WhatsApp超级号就是其中一项重要的创新功能，它允许用户在同一设备上管理多个WhatsApp账户，极大地方便了日… siyushenqi.com 2025 年 8 月 13 日 下午11:38 395000 《Among Us》营销总监：游戏营销如何避免犯错？ 人非圣贤孰能无过。只要是个人，就会犯错误。但在很多时候，由于需要承担责任。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 401000 行业动态 3D建模时间缩短上百倍，a16z刚投的这家AI公司重新定义3D未来 人人都可以创建高质量3D内容。 siyushenqi.com 2025 年 8 月 13 日 403000 行业动态 君正ISP，正在抢滩AI眼镜 2025年第一季度，全球AI智能眼镜市场总销量达60万台，同比增长216%，但Ray-Ban Meta以52.8万台的销量占据主导地位。中国AI拍照眼镜市场虽有雷鸟V3和小米AI眼镜等产品，但整体仍面临“发布会火热、市场端冷清”的困境。 siyushenqi.com 2025 年 8 月 13 日 410000 行业动态 再次突发！105款国产版号：腾讯网易心动在列，逆战刺客信条来了 又来了。 siyushenqi.com 2025 年 8 月 18 日 501000 中国APP如何慢慢融入墨西哥人的手机桌面和生活 随着墨西哥移动网络覆盖范围进一步扩展和人们上网设备的更新，在未来的一段时间内还会保持相当不错的增长趋势，互联网与墨西哥人的生活已经密不可分。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 472000 Meta版ChatGPT来了？小扎、LeCun官宣650亿参数SOTA大语言模型LLaMA 前一阵大语言模型的火热中，Meta一直保持沉默。今天，Meta终于官宣自家的大语言模型，并且会向AI研究人员开源。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 428000 行业动态 拼多多暂停了本地生活业务，美团的生意这么难抢？ 这场持久战，估计还有得打呢。 siyushenqi.com 2025 年 8 月 12 日 390000 华为举办“耀星·领航计划”出海系列峰会，助力开发者私域神器! 8月中下旬，华为相继在北京及成都等出海开发者集中城市举办了“耀星•领航计划出海峰会” siyushenqi.com 2025 年 8 月 26 日 • 行业动态 473000 发表回复 请登录后评论...登录后才能评论 提交
