重磅!Llama-3,最强开源大模型正式发布! siyushenqi.com • 2025 年 8 月 13 日 下午11:12 • 行业动态 • 阅读 374 Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型。 4月19日,全球科技、社交巨头Meta在官网,正式发布了开源大模型——Llama-3。 据悉,Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型(还有一个超4000亿参数正在训练中)。 与Llama-2相比,Llama-3使用了15T tokens的训练数据,在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。 此外,Llama-3还使用了分组查询注意力、掩码等创新技术,帮助开发者以最低的能耗获取绝佳的性能。很快,Meta就会发布Llama-3的论文。 开源地址:https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6 Github地址:https://github.com/meta-llama/llama3/ 英伟达在线体验Llama-3:https://www.nvidia.com/en-us/ai/#referrer=ai-subdomain 但首发的Llama-3虽然在性能上获得大幅度提升,功能上却没有带来太多的惊喜,例如,将类Sora的视频,或者Suno那样的音频功能内置在模型中,通过文本直接生成。 其实,Meta已经发布了很多音频、视频还有图像的产品和研究论文,想整合它们估计只是时间问题。我们就期待一下Llama-3可以在未来几个月,带来更多的亮眼功能吧。 Llama-3简单介绍 本次Llama-3的介绍与前两个版本差不多,大量的测试数据和格式化介绍。但Meta特意提到Llama-3使用了掩码和分组查询注意力这两项技术。 目前,大模型领域最流行的Transformer架构的核心功能是自我注意力机制,这是一种用于处理序列数据的技术,可对输入序列中的每个元素进行加权聚合,以捕获元素之间的重要关系。 但在使用自我注意力机制时,为了确保模型不会跨越文档边界,通常会与掩码技术一起使用。在自我注意力中,掩码被应用于注意力权重矩阵,用于指示哪些位置的信息是有效的,哪些位置应该被忽略。 通常当处理文档边界时,可以使用两种类型的掩码来确保自我注意力不会跨越边界:1)填充掩码,当输入序列的长度不一致时,通常会对较短的序列进行填充,使其与最长序列的长度相等。 填充掩码用于标记填充的位置,将填充的部分掩盖,使模型在自我注意力计算中忽略这些位置。 2)未来掩码,在序列生成任务中,为了避免模型在生成当前位置的输出时依赖后续位置的信息,可以使用未来掩码。 未来掩码将当前位置之后的位置都掩盖起来,使得自我注意力只能关注当前或之前的位置。 此外,在Transformer自注意力机制中,每个查询都会计算与所有键的相似度并进行加权聚合。 而在分组查询注意力中,将查询和键分组,并将注意力计算限制在每个查询与其对应组的键之间,从而减少了模型计算的复杂度。 由于减少了计算复杂度,分组查询注意力使得大模型更容易扩展到处理更长的序列或更大的批次大小。这对于处理大规模文本数据或需要高效计算的实时应用非常有益。 同时分组查询注意力允许在每个查询和其对应组的键之间进行关注的计算,从而控制了注意力的范围。这有助于模型更准确地捕捉查询和键之间的依赖关系,提高了表示能力。 Meta表示,Llama-3 还使用了一个 128K的词汇表标记器,能更有效地编码语言,在处理语言时也更加灵活。 训练数据方面,lama 3 在超过 15T tokens的公开数据集上进行了预训练。这个训练数据集是 Llama 2 的7倍,包含的代码数量也是 Llama 2 的4倍。 为了实现多语言能力,Llama 3 的预训练数据集中有超过 5% 的高质量非英语数据,涵盖 30 多种语言。 Llama-3测试数据 为了测试Llama-3的性能,Meta开发了一个全新的高质量人类评估数据集,有1,800个提示,涵盖12个关键用例,包含,征求建议,头脑风暴,分类,封闭式问题回答,编码,推理等。 测试结果显示,Llama-3 -700亿参数的指令微调模型的性能,大幅度超过了Claude Sonnet、Mistral Medium和GPT-3.5。 Meta还在MMLU、AGIEval、BIG、ARC等知名测试平台中,对Llama-3 -700亿参数基础预训练模型进行了综合测试,性能大幅度超过了Mistral 7B、Gemma 7B、Gemini Pro 1.0等知名开源模型。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33671.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 突发!Stable Diffusion 3,可通过API使用啦 上一篇 2025 年 8 月 13 日 下午11:12 微软推出VASA-1:可生成会说话的,动态人物视频 下一篇 2025 年 8 月 13 日 下午11:13 相关推荐 行业动态 问世11年,美颜相机为什么没有被系统相机打败? 美颜相机,系统相机的“一生之敌”。 siyushenqi.com 2025 年 8 月 18 日 452000 行业动态 多端数据互通 手机也可玩的端游《热血传奇加强版》要来了 继去年在《热血传奇》20周年推出了《热血传奇怀旧版》后,今年盛趣游戏似乎又要在传奇周年庆的节点放一个大招了。 siyushenqi.com 2025 年 8 月 25 日 444000 《魔主契约(百变乱斗)》新品游戏找发行 《魔主契约(百变乱斗)》新品游戏找发行 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 488000 行业动态 多款亚马逊热卖品暴雷,近万件产品被紧急召回 近万件亚马逊热卖品被紧急召回? siyushenqi.com 2025 年 8 月 12 日 463000 行业动态 微软开源AI Agent大更新,重塑智能体!多层级更强架构 自微软开源AutoGen以来,在GitHub上已获得超37000颗星,成为AI Agent领域应用最多的框架之一。但随着开发者快速增长,出现了API效率低下以及调试和干预功能有限等问题,同时开发者对AI Agent自动化行为的可观测性、控制能力、多层级Agent之间的协作有了更高需求,因此微软对AutoGen进行了大更新,发布了0.4版本。 siyushenqi.com 2025 年 8 月 13 日 501000 行业动态 FBA上架慢!亚马逊多仓库爆仓 最近亚马逊物流事情有点多! siyushenqi.com 2025 年 8 月 5 日 448000 阿里互娱第2款SLG又测试了 上周,阿里互娱的《代号S6》开启了新一轮测试。游戏制作人陆焕浩曾就职于网易银河工作室,参与过制作三国题材的MOBA网游《英雄三国》,加入阿里互娱后负责制作这款SLG新作。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 478000 掘金土豪扎堆的中东,移动互联网出海的下一片沃土(下) 目前而言,中东北非已经成为众多中国出海企业的一大区域市场。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 474000 行业动态 家电出海大卖 Claire 确认担任 PAGC 2025丨第五届全球产品与增长展会 DTC品牌出海增长峰会演讲嘉宾! 家电出海大卖 Claire 确认担任 PAGC 2025丨第五届全球产品与增长展会 DTC品牌出海增长峰会演讲嘉宾! siyushenqi.com 2025 年 8 月 17 日 463000 亚马逊自营也下场索评了? “刷单刷评,必死无疑。” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 446000 《2023年全球移动应用(非游戏)市场展望》 2022年全球非游戏应用收入达478亿美元,2023年预测收入将突破550亿美元 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 474000 行业动态 Kimi创始人杨植麟最新分享:关于OpenAI o1新范式的深度思考 规模定律之后,大模型发展的下一个范式是强化学习。 siyushenqi.com 2025 年 8 月 13 日 381000 行业动态 第一批AI公司,已经开始破产了 Robin AI半年内从“英国前十”到挂牌甩卖,只因C轮没到账——AI赛道VC现在要求年均3-5倍、毛利80%以上的“指数级”增长,翻倍已被视为失败。 siyushenqi.com 2025 年 11 月 24 日 418000 行业动态 “Taboola Agency Award 2025”获奖名单正式发布,连续四年树立出海营销行业 全球效果广告领先者 Taboola 正式发布“Taboola Agency Award 2025”获奖名单。 转自扬帆出海 2026 年 3 月 31 日 266000 7年15部新作91%好评,打造IP神作的这支团队没“七年之痒”吗? 从2015年发布系列首部作品开始,锈湖工作室便孜孜不倦地铸造各式碎片,为玩家拼凑出一幅围绕锈湖湖畔、横跨近3个世纪,两大家族为获得永生而充满着算计与牺牲的图景。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 504000 行业动态 Wish的“进”与“退”,成为Temu们的“照妖镜” 能否冲破三重障碍? siyushenqi.com 2025 年 8 月 12 日 413000 PenyuFM 融资500万、Yiya上线即登榜:音频App出海正当时? 2020年新的融资消息不多,不过前段时间也曝出了东南亚在线音频初创企业 PenyuFM 完成了500万元天使轮融资,并冲入印尼畅销音频类应用排行榜第11名。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 494000 行业动态 网文AI,正在驱逐真人作者 如果番茄小说不能保证不再做这种杀鸡取卵的事情,我会继续断更去别的网站写。 siyushenqi.com 2025 年 8 月 13 日 448000 B站Q2游戏收入份额创新低,《斯露德》今日上线 今日,B站公布了Q2业绩报告。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 503000 行业动态 实测四款AI生图神器,Midjourney「霸主」地位难撼动 MJ、Ideogram 2.0、Flux、Imagen 3,谁能坐上AI生图第一把交椅? siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 15个进口版号下发,腾讯网易各占两席,这波赢麻了? 就在今日(8月2日),国家新闻出版署公布了8月进口版号,本次拿到版号的游戏共15款,其中手游占9款,手游&PC双端产品占3款,PC游戏1款,主机端2款。 siyushenqi.com 2025 年 8 月 18 日 465000 行业动态 私域神器每周合作精选No.181|海外短剧寻联运合作;海外短剧平台寻KOC分销;东南亚寻APK流量;游戏流量推广合作 本期精选的合作类型涵盖放海外短剧寻联运合作;海外短剧平台寻KOC分销;东南亚寻APK流量;游戏流量推广合作等。接下来就一起看看吧~ siyushenqi.com 2025 年 11 月 24 日 402000 OpenAI发布GPT-4:能识图能算税,ChatGPT摆脱Chat,再次进化 这一次,它将成为开发者手中的利器 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 451000 行业动态 守望2好评率跌破10%后,暴雪选择堵住国区玩家的嘴 反向宣传力度十足。 siyushenqi.com 2025 年 8 月 19 日 426000 阿联酋、沙特电商市场将保持40%的增长 阿联酋和沙特电商市场将达到40%以上的增长率,到明年年底将有助于推动中东、非洲和南亚的整体电子商务交易额达到1485亿美元。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 451000 行业动态 行业案例解析:AIGC 智能体如何重塑传统行业工作流 AIGC智能体正在成为推动各行业工作流自动化的关键力量。通过深度学习和自然语言处理等技术,AIGC不仅能够提升工作效率,还能在金融、制造、医疗等领域带来个性化服务与创新机会,深刻改变传统工作模式与生产力提升。其在推动流程自动化和决策支... siyushenqi.com 2026 年 1 月 24 日 421000 行业动态 SHEIN诉Temu侵权和窃密,涉数万产品 SHEIN在美国哥伦比亚特区地方法院对拼多多和Temu发起诉讼。 siyushenqi.com 2025 年 8 月 5 日 465000 行业动态 私域神器是如何帮企业出海业务营销推广的? 私域神器通过整合多维度策略和工具,帮助企业在海外市场实现高效营销推广,具体体现在以下几个方面: 精准市场定位与用户洞察 私域神器通过分析目标市场的文化背景、消费习惯及法律法规,结合用户画像(如年龄、兴趣等),帮助企业明确市场定位(如高端或亲民市场),并锚定核心用户群体。例如,印尼品牌Cool-Vita通过短剧内容植入,精准触达本地用户需求 多渠道整合构建… siyushenqi.com 2025 年 8 月 13 日 下午11:12 374000 行业动态 霸占榜首!首月iOS 3800万,广州买量黑马?老套路还是新机会? 广州游戏跑出买量黑马? siyushenqi.com 2025 年 8 月 18 日 447000 行业动态 人形机器人最大融资背后,还拿下7亿大单 银河通用完成超3亿美元融资,投后估值超30亿美元,创国内人形机器人单笔融资额与估值“双天花板”。 siyushenqi.com 2025 年 12 月 22 日 345000 发表回复 请登录后评论...登录后才能评论 提交