最强模型Llama 3.1 405B正式发布,扎克伯格:开源引领新时代 siyushenqi.com • 2025 年 8 月 13 日 下午11:39 • 行业动态 • 阅读 452 在官方博客中,Meta 表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。我们公开发布 Meta Llama 3.1 405B,我们认为这是世界上最大、功能最强大的开源基础模型。迄今为止,所有 Llama 版本的总下载量已超过 3 亿次,我们才刚刚开始。」 刚刚,大家期待已久的 Llama 3.1 官方正式发布了! Meta 官方发出了「开源引领新时代」的声音。 在官方博客中,Meta 表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。我们公开发布 Meta Llama 3.1 405B,我们认为这是世界上最大、功能最强大的开源基础模型。迄今为止,所有 Llama 版本的总下载量已超过 3 亿次,我们才刚刚开始。」 Meta 创始人、CEO 扎克伯格也亲自写了篇长文《Open Source AI Is the Path Forward》,阐述为什么开源对所有开发者、对 Meta、对世界都是好事。 此次发布的要点包括: 最新的系列模型将上下文长度扩展到了 128K、增加了对八种语言的支持,并包括顶级开源模型 Llama 3.1 405B; Llama 3.1 405B 独树一帜,Meta 官方称其可与最好的闭源模型相媲美; 此次发布还提供了更多与模型配合使用的组件(包括参考系统)来将 Llama 打造为一个系统; 用户通过 WhatsApp 和 meta.ai 就可以体验 Llama 3.1 405B 了。 地址:https://llama.meta.com/ 各位网友可以下载尝鲜了。 Llama 3.1 介绍 Llama 3.1 405B 是首个公开可用的模型,在常识、可操纵性、数学、工具使用和多语言翻译等方面可与顶级 AI 模型相媲美。 Meta 表示最新一代的 Llama 将激发新的应用程序和建模范式,包括利用合成数据生成来提升和训练更小的模型,以及模型蒸馏 —— 这是一种在开源领域从未达到的能力。 与此同时,Meta 还推出了 8B 和 70B 模型的升级版本,支持多种语言,上下文长度达到 128K,推理能力也更强。最新模型支持高级用例,例如长篇文本摘要、多语言对话智能体和编码助手。 举例来说,Llama 3.1 可以将故事翻译成西班牙语: 当用户提问「有 3 件衬衫、5 条短裤和 1 条连衣裙,假如要旅行 10 天。准备的衣服够不够?」模型能够快速的进行推理。 长上下文:对于上传的文档,Llama 3.1 能够分析和总结最多 8k token 的大型文档。 编码助手,对于用户要求,可以快速编写代码: 此外,Llama 3.1 405B 的开发者还发推文「剧透」,表示开发 GPT-4o 一样集成语音和视觉能力的模型还在开发中。 Meta 还对开源协议进行了更改,允许开发人员使用 Llama 模型(包括 405B)的输出来改进其他模型。此外,为了兑现开源承诺,从今天开始,Meta 将这些模型提供给社区,用户可以在 llama.meta.com 和 Hugging Face 上下载。 下载地址: https://huggingface.co/meta-llama https://llama.meta.com/ 模型评估 Meta 在超过 150 个基准数据集上进行了评估,此外,他们还进行了广泛的人类评估。 实验结果表明,旗舰模型 Llama 3.1 405B 在一系列任务中与领先的基础模型包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 具有竞争力。此外,8B 和 70B 小型模型与具有相似数量参数的闭源和开源模型具有竞争力。 模型架构 作为 Meta 迄今为止最大的模型,使用超过 15 万亿个 token 训练 Llama 3.1 405B 是一项重大挑战。为了实现这种规模的训练,Meta 优化了整个训练堆栈,并在超过 16,000 个 H100 GPU 上训练,使该模型成为第一个在此规模上训练的 Llama 模型。 为了解决这个问题,Meta 在设计上做出了以下一些选择,重点保持模型开发过程的可扩展性和简单性。 选择了仅进行少量调整的标准解码器 Transformer 模型架构,而不是混合专家模型,以最大限度地提高训练稳定性。 采用迭代后训练程序,每轮都使用监督微调和直接偏好优化。这使 Meta 能够为每轮创建最高质量的合成数据,并提高每项功能的性能。 与之前版本的 Llama 相比,Meta 提高了用于预训练和后训练的数据数量和质量,如为预训练数据开发更仔细的预处理和管理管道,为后训练数据开发更严格的质量保证与过滤方法。 正如语言模型 scaling laws 所预期的那样,Meta 新旗舰模型优于使用相同程序训练的较小模型。Meta 还使用 405B 参数模型来提高较小模型的后训练质量。 为了支持 405B 模型的大规模推理产出,Meta 将模型从 16 比特 (BF16) 量化为 8 比特 (FP8) ,有效降低了所需的计算要求,并允许模型在单个服务器节点运行。 指令和聊天微调 Llama 3.1 405B 努力提高模型响应用户指令的实用性、质量和详细指令遵循能力,同时确保高水平的安全性。 在后训练阶段,研究团队通过在预训练模型的基础上进行几轮对齐来构建最终的聊天模型。每轮都涉及监督微调(SFT)、拒绝采样(RS)和直接偏好优化(DPO)。 研究团队使用合成数据生成来产生绝大多数 SFT 示例,并多次迭代以在所有功能上生成越来越高质量的合成数据。此外,研究团队还采用了多种数据处理技术,以过滤这些合成数据,达到最高质量,并可以跨功能扩展微调数据量。 Llama 系统 Llama 模型一直是作为 AI 系统的一部分而存在的,可以协调多个组件,包括调用外部工具。Meta 旨在超越基础模型,让开发人员能够灵活地设计和创建符合其愿景的定制产品。 为了在模型层之外负责任地开发人工智能,Meta 发布了一个完整的参考系统,其中包括多个示例应用程序以及新组件,例如 Llama Guard 3(一种多语言安全模型)和 Prompt Guard(一个 prompt 注入过滤器)。这些示例应用程序是开源的,可以由开源社区构建。 为了与行业、初创公司和开源社区进行更广泛的合作,帮助更好地定义组件的接口,Meta 在 GitHub 上发布了针对「Llama Stack」的评论请求。Llama Stack 是一组标准化接口,用于构建规范的工具链组件(微调、合成数据生成)和智能体应用程序。这有助于更轻松地实现互操作性。 与封闭模型不同,Llama 模型权重可供下载。开发人员可以根据自己的需求和应用程序完全定制模型,在新数据集上进行训练,并进行额外的微调。 使用 Llama 3.1 405B 进行开发 对于普通开发者来说,部署 405B 这样大规模的模型无疑是一项挑战,它需要大量的计算资源和专业技能。在与开发者社区的交流中,Meta 意识到,生成式 AI 的开发不仅仅是给模型输入 prompt。他们期望所有开发者都能在以下领域充分开发 Llama 3.1 405B 的潜力: 实时和批量推理 监督式微调 测试和评估模型在特定应用中的性能 持续预训练 检索增强生成(RAG) 函数调用 合成数据生成 发布即日起,Llama 3.1 405B 模型的所有高级功能都将开放,开发者们可以即刻上手。开发者们还可以探索更高阶的工作流,例如基于模型蒸馏的合成数据生成。这次升级,Meta 还无缝集成了合作伙伴 AWS、NVIDIA 和 Databricks 提供的解决方案,以实现更高效的检索增强生成(RAG)。此外,Groq 已经为在云端部署模型进行了低延迟推理的优化,也对本地系统进行了类似的性能提升。 Meta 这次还为 Llama 3.1 405B 内置了「工具大礼包」,内含 vLLM、TensorRT 和 PyTorch 等关键项目,从模型开发到部署「开箱即用」,一步到位。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33978.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 马斯克19天建成世界最强AI集群!10万块H100「液冷怪兽」即将觉醒 上一篇 2025 年 8 月 13 日 下午11:39 几十秒生成一个游戏角色,AI技术狂卷3D大模型 下一篇 2025 年 8 月 13 日 下午11:39 相关推荐 行业动态 中国倒爷俄罗斯卖车,富贵险中求 一个风口吹不动了,可以找另一个风口。对于平行汽车出口生意里的淘金者来说,重要的是尽早看到每一个风口,而不是长久在一个赛道里待着。 siyushenqi.com 2025 年 8 月 12 日 443000 为求“好运”,这届TikTok网友们有多拼?卖家:希望我是爆单幸运儿 最近在TikTok上,就有一句“咒语”——“我很幸运”特别火 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 441000 行业动态 SayGames监狱模拟新游上线,放置街机+SLG为何是天作之合?丨玩法机制深度拆解 放置街机+SLG,一对儿绝佳的赚钱搭子。 siyushenqi.com 2025 年 12 月 22 日 395000 做过单日流水一亿日元的游戏后,他们又做了款二次元女性向新作 今日,《执剑之刻》研发商拾梦文化曝光了一款二次元女性向新作《代号:LaB》,在TapTap、bilibili等平台开启了预约,并放出了一段概念PV。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 460000 行业动态 干了10年外贸,我聊聊那些让你营销矩阵从“一盘散沙”到“铁板一块”的实战融合术 干了10年外贸,我发现营销矩阵成败关键在于“融合”,而非“数量”。本文将深度拆解如何将独立站、WhatsApp、Facebook、Instagram、TikTok、YouTube、LinkedIn等渠道从孤岛串联成协同作战的有机整体,分享实战心法与数据闭环搭建术,让你的获客系统坚如铁板。 siyushenqi.com 2026 年 3 月 6 日 291000 增长率81%的墨西哥电商市场,你准备好了吗? 电商渗透率和电商增长率:墨西哥在线销售协会AMVO调查报告数据显示,2020年墨西哥电子商务市值达3160亿比索(约合1,005亿元人民币),是全国零售业总额的9%,增长率为81%。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 532000 “幸存者like”成爆品流水线 贪玩游戏三国版割草产品问鼎中国港澳台 铁打的Rogue割草,流水的游戏厂商 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 510000 亚洲电竞教父创业?!浮夸的Web 3游戏 7月底,由原Riot亚太区CEO Johnson Yeh创立的Ambrus Studio已经完成数百万美元的代币融资,由知名区块链基金Spartan Group、M13领投。Ambrus Studio整体估值达到6500万美元(折合人民币4.45亿元)。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 558000 跨境支付路径分析-最常见的7种方式 跨境支付路径分析-最常见的7种方式。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 479000 行业动态 鹰角新游今日登上Steam新品节榜首:不是二次元 鹰角迄今为止配置要求最高的一款游戏。 siyushenqi.com 2025 年 8 月 17 日 380000 行业动态 英伟达全力发展AI Agent!开源专属大模型,最强AI工厂 英伟达与Oracle合作,提供160多种原生AI工具和100多个微服务,帮助企业构建复杂且无缝衔接的Agent应用,实现数字业务的自动化。 siyushenqi.com 2025 年 8 月 13 日 449000 行业动态 香港全球通、Zenlayer 确认入驻PAGC 2025丨第五届全球产品与增长展会! 香港全球通、Zenlayer 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 460000 元旦苦逼加班,476款手游火速重新上架Appstore 去年2月,苹果突然向开发者发布提醒:7月起,无版号游戏将无法上架中国区App Store。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 457000 连续2年击中玩家泪点,它刷新了我对这家上市公司发行的认知 4月1日愚人节,是各大游戏可以放开整蛊的日子。临近2周年的《坎特伯雷公主与骑士唤醒冠军之剑的奇幻冒险》(以下简称坎公),也在当日老活新整,将游戏主界面BGM换成了腾格尔版《拉达崩吧》。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 451000 行业动态 私域神器每周合作精选No.150|社交产品寻注册渠道/广告投放代理商;短剧海外寻CPS合作;海外休闲游戏寻流量合作 本期精选的合作类型涵盖社交产品寻注册渠道/广告投放代理商;短剧海外寻CPS合作;海外休闲游戏寻流量合作等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 527000 商品全球化的又一次红利:Global SaaS路在何方? 受疫情、宏观政策推动以及市场整顿等多重因素影响,跨境电商近两年高速发展,推动了数字化赋能跨境卖家的跨境电商SaaS的发展。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 433000 全平台预约破千万,这个国民IP死磕一个品类十年了 本月初,《保卫萝卜4》正式定档6月30日公测,并在昨天拿到App Store的Today推荐。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 556000 行业动态 2025年首批国产版号下发,共123款游戏过审,《王者荣耀世界》等知名IP产品在列 2025年首批版号下发,包括123款国产网游和13款进口网络游戏版号。 siyushenqi.com 2025 年 8 月 17 日 496000 7000万下载量成IAA最强黑马 7k7k新游引爆全球俄罗斯方块消除热潮 同样都是俄罗斯方块,《Block Blast》为何爆火? siyushenqi.com 2025 年 8 月 19 日 • 行业动态 581000 行业动态 从xAI联创“转身”看行业局势,全球头部AI公司人才创业观察 硅谷顶尖力量,聚是一团火,散是满天星。 siyushenqi.com 2026 年 3 月 5 日 233000 中国开发者海外手游市占比全球第一,出海淘金热升温 高集中赛道,品类融合是突围关键 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 457000 冲上TikTok购物榜首,她凭什么“卖爆”东南亚? 东南亚是中国出海品牌的必争之地,Y.O.U正是其中一个淘金者,并且在 TikTok、Facebook 等社交媒体上有成熟的布局。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 421000 行业动态 影视+游戏,重启的“DC宇宙”将是一个跨媒介的新世界 大招来了 siyushenqi.com 2025 年 8 月 24 日 409000 圣诞节营销,电商卖家如何通过广告内容提高出单? 圣诞节作为今年最后一个重磅节日,虽然受疫情影响,但人们在此期间的线上消费情绪依旧高涨。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 506000 Colorkey珂拉琪出海启示录:用“一支唇釉”打开东南亚市场 通过Colorkey珂拉琪的经历与去找寻一套新消费品牌可复制的出海生意经。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 446000 OpenAI危险了 OpenAI的产品虽然在技术上占据了绝对的优势,但以插件形式构建的ChatGPT生态,在生态建设方面却竞争乏力 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 424000 行业动态 干了10年外贸,我聊聊那些让你营销矩阵像交响乐一样协同奏效的实战指挥术 干了10年外贸,我发现矩阵营销成败关键在于「协同」。本文将用实战指挥术,教你如何让独立站、Facebook、Instagram、TikTok、YouTube、LinkedIn、WhatsApp等渠道像交响乐团一样默契配合,打破各自为政的内耗,实现流量循环与信任叠加,最终让客户主动追着你成交。 siyushenqi.com 2026 年 3 月 6 日 360000 GICC推荐官 漫森文化 海外社媒负责人 XIXI、广州花娱网络 CEO 周俊宇、天娱在线 CEO 张再航、欣欣互动 发行VP 王真人、OEG CCO Sally、Smile Shop Founder&CTO 肖钦旋 邀您参与GICC2025丨第六届全球互联网产业CEO大会! GICC推荐官 漫森文化 海外社媒负责人 XIXI、广州花娱网络 CEO 周俊宇、天娱在线 CEO 张再航、欣欣互动 发行VP 王真人、OEG CCO Sally、Smile Shop Founder&CTO 肖钦旋 邀您参与GICC2025丨第六届全球互联网产业CEO大会! siyushenqi.com 2025 年 9 月 28 日 • 行业动态 441000 行业动态 私域神器读财报:对比“虎鱼”Q2财报,虎牙赢在出海 合并中止后首份财报,虎牙靠海外业务赢了斗鱼 siyushenqi.com 2025 年 8 月 15 日 418000 行业动态 宝尊电商收购 Gap:一次行业升级中的抢跑 流量红利见顶后,宝尊不再从 0 到 1 做新品牌,而是从 10 到 100 扶持好品牌。 siyushenqi.com 2025 年 8 月 13 日 489000 发表回复 请登录后评论...登录后才能评论 提交