突破算力限制!Meta开源“记忆层”,重塑Transformer架构大模型 siyushenqi.com • 2025 年 8 月 13 日 下午9:38 • 行业动态 • 阅读 431 Meta公司发布了一项名为“记忆层”(Memory layers)的创新研究,旨在解决传统Transformer架构预训练大模型在存储和查询数据时对算力需求随参数增加而指数级增长的问题。 摘要 “记忆层”提出了一种新的查询机制,通过比较查询键与两个较小集合中的键来快速找到最相关的键,避免了遍历整个记忆层,从而提高了查询效率。 该技术能够在不增加算力的情况下显著增加大模型的参数量。例如,研究人员在一个仅有1.3亿参数的模型中添加了128亿额外的记忆参数,性能与Meta开源的Llama 2-70相当,但算力需求降低了约10倍。 “记忆层”的核心算法之一是Product-Key Lookup,它采用分而治之的策略,将单一键集合分解为两个较小的键集合,通过两个阶段的查找减少必要的比较次数,提高查找效率。 并行记忆层通过在多个GPU之间分配任务来优化硬件GPU的使用,有效解决了随着模型规模增加而增长的计算和内存需求。 今天凌晨3点,全球社交巨头Meta分享了一个创新研究——Memory layers(记忆层)。 目前,Transformer架构的预训练大模型在存储、查询数据时,随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法,通过比较查询键与两个较小集合中的键,可以快速找到最相关的键,而无需遍历模型的整个记忆层。 这也就是说,可以在不增加算力的情况下显著增加大模型的参数。例如,研究人员在仅有1.3亿参数的模型中添加了128亿额外的记忆参数,其性能与Meta开源的Llama 2- 70相当,而算力却比它低了10倍左右。 开源地址:https://github.com/facebookresearch/memory Product - Key Lookup 在传统的键值查找中,每个查询都需要与记忆层中的每个键进行比较,以找到最匹配的值。该方法在键的数量较少时是可行的,但随着记忆层规模的增长,这种暴力搜索的方式变得非常低效,需要消耗巨大算力和时间。 给大家举一个简单的例子,你想在一个巨大的图书馆里找一本书。这个图书馆有成千上万本书,每本书都有一个唯一的编号(相当于记忆层中的“键”)。如果你要找到一本特定的书(相当于查询),传统的方法是逐个检查每一本书的编号来查找你要的那一本。 这种方法在图书馆只有几百本本书时可能还行得通,当图书馆藏书量达到数万时,逐本查找方法就变得极其耗时和低效了。 Product - Key Lookup是“记忆层”的核心算法之一,使用了一种分而治之的策略,将传统的单一键集合分解为两个较小的键集合,通过两个阶段的查找来减少必要的比较次数,从而提高查找效率。 首先,查询键被分割为两个子查询,每个子查询分别与两个半键集合进行比较。由于每个半键集合的大小只有原始键集合的平方根大小,因此这个阶段的计算量大幅减少。在第一阶段,每个半键集合中找到与子查询最相似的k个键,这个过程称为top-k查找。 在第二阶段,两个半键集合中找到的top-k键被合并,以确定最终的top-k键。这一步骤涉及到对两个半键集合中找到的键进行综合评分,以确定它们与原始查询键的整体相似度。需要考虑到两个半键集合中的键的组合,以找到最佳的匹配。 除了计算效率之外,Product-Key Lookup模块还优化了内存和带宽的使用。由于每个GPU只需要处理一半的键,因此内存的使用量减少了一半。由于每个GPU只需要返回与自己处理的键相关的值,所以内存带宽的需求也得到了优化。 Product-Key Lookup算法不仅提高了记忆层的查询效率,还为记忆层的应用开辟了新的可能性,使得记忆层可以被应用于更大规模的数据集和更复杂的任务中,包括大规模知识图谱的查询、长文本的语义检索等。 并行记忆层和共享记忆参数 并行记忆层主要是用于对硬件GPU的优化。在传统的Transformer架构模型中,随着模型规模的增加,计算和内存需求也随之增长。特别是在处理大规模数据集时,单一的计算单元很难满足这种需求。并行记忆层通过在多个GPU之间分配任务,有效解决这一难题。 在并行记忆层的设计中,每个计算单元只负责处理一部分数据,这样可以减少单个计算单元的负担,同时提高整体的处理速度。这种设计允许模型在保持单个计算单元负载合理的同时,处理更大规模的记忆层。使得模型可以扩展到数十亿甚至数百亿的参数,而不会受到单个计算单元性能的限制。 共享记忆参数则是另外一个重要优化方法,允许不同层的记忆层共享同一个参数集合。这种设计的优势在于,它减少了模型的总参数数量,同时提高了参数的利用率。 当一个记忆层接收到输入后,它会先从共享记忆池中查找最相似的记忆单元,然后根据查询结果生成输出。由于所有记忆层都指向同一个记忆池,因此它们可以在不影响彼此的情况下同时进行操作。 为了应对训练期间可能出现的变化,研究人员开发了一套动态调整策略。每当有新的键加入或旧有的键被更新时,系统会自动调整相应的子集,而无需对整个记忆池进行全面改造。这样的设计既简化了维护流程,又提高了系统的灵活性和适应性。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32783.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 2025 年,AI 的大风浪与大机会 上一篇 2025 年 8 月 13 日 下午9:38 支付宝继续卷AI应用:推出增强版AI视觉搜索“探一下” 下一篇 2025 年 8 月 13 日 下午9:38 相关推荐 6月数据更新,苹果设备全球多地区iOS系统占比概况 iOS 14.6已正式发布一个月有余。值得一提的是,苹果ASA也即将在7月21日正式面向中国大陆市场生效。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 457000 中国云服务走向全球?先把 Status Page 搞定 Status Page 很简单,下决心公开 Status Page 很难! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 355000 行业动态 在非洲怎么做短视频? 如果说东南亚是十年前的中国,非洲就是十年前的东南亚。 siyushenqi.com 2025 年 8 月 26 日 470000 行业动态 阿里领投穹彻智能 穹彻智能2025年10月获阿里战略投资,两年完成5轮、累计数亿元级融资,创国内具身智能最快融资节奏。 siyushenqi.com 2025 年 10 月 20 日 420000 行业动态 黑神话错失TGA年度?无需袈裟,中国游戏已经在全世界站着挣钱了 《黑神话:悟空》在2024年的TGA上获得了最佳动作和玩家之声奖,但未能赢得年度最佳游戏奖。 siyushenqi.com 2025 年 8 月 17 日 421000 行业动态 2024年,国产手游《Last War》和《菇勇者传说》在韩国市场杀疯了 2024年第三季度,韩国手游下载量达1.3亿次,内购营收近12.4亿美元,环比分别增长17%和3%.去年前三个季度,累计下载量3.5亿次,内购总收入37亿美元,其中75%来自Google Play。 siyushenqi.com 2025 年 8 月 17 日 460000 4个月内连推两个爆款,这家国内大厂把韩国二次元市场吃透了? 出海已经是当今产品的必要选项,海外市场也在一轮轮国内精品的攻势下逐渐被抢占,前不久,B站游戏在韩国发行的《高能手办团》就拿下当地免费榜双榜Top 1,以及畅销榜双榜Top 4的开局佳绩。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 498000 行业动态 谷歌发布新RL方法,性能提升巨大,o1模型已证明 目前,多数大模型不具备自我纠错或能力较差,尤其是在数学和代码领域在给出错误答案后,会一直坚持错误答案,影响模型的准确率。 siyushenqi.com 2025 年 8 月 13 日 454000 行业动态 私域神器每周精选 No.25|优质游戏寻CPS流量渠道 多款手游寻国内外发行 本期精选的合作类型涵盖多款精品手游发行、资源合作与流量需求等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 458000 行业动态 还想做电商的人们,该从哪里找增长? 以直播、短视频为代表的内容电商,经历了相当长一段时间的爆发式增长,不少商家已经吃到了甜头。 siyushenqi.com 2025 年 8 月 5 日 492000 行业动态 中国跨境电商Shein在美遭遇知识产权纠纷 中国跨境电商Shein在美遭遇知识产权纠纷 siyushenqi.com 2025 年 8 月 13 日 464000 中国产品出海启示录 今年上半年,字节跳动旗下TikTok下载量及收入双双登顶全球移动App排行榜,英美用户使用时长首次超过YouTube。截至今年9月,其全球月活用户突破10亿大关。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 457000 行业动态 字节跳动布局AI模型社区:Lumi与LiblibAI谁能笑到最后? AI生图产品成为国内外创作者新宠,AI模型社区产品蓬勃发展,吸引众多创作者、企业和资本关注。LiblibAI作为社区型产品迅速崛起,不到一年完成数亿元融资,其成功得益于强大的社区力量、多重功能和良好的用户粘性,成为AI生图创作者和爱好者聚集地。 siyushenqi.com 2025 年 8 月 13 日 484000 年营收近60亿!他做独立站只不过1年时间 “从代工厂向品牌转型,并成为全球领先的骨传导耳机品牌,韶音用了近10年的时间” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 810000 行业动态 米哈游莉莉丝网易跟安卓渠道分手,是时候改变了 该出手时就得出手 siyushenqi.com 2025 年 8 月 18 日 521000 行业动态 一周要闻NO.184丨韩国AI国家队翻车;完美世界发布反腐公告;Shein高管将出席欧盟议会听证会;苹果正式牵手谷歌Gemini 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2026 年 1 月 21 日 311000 行业动态 deepseek结合WhatsApp能给跨境电商哪些流量支撑? DeepSeek 是一种基于人工智能的深度搜索技术,能够帮助用户在海量数据中快速找到所需信息。结合 WhatsApp 这样的即时通讯工具,可以为跨境电商提供多方面的流量支撑和业务增长机会。以下是具体的应用场景和优势: 1. 精准客户获取DeepSeek 的优势:通过深度搜索技术,DeepSeek 可以帮助跨境电商精准定位目标客户群体,分析客户需求、兴趣和行为… siyushenqi.com 2025 年 8 月 13 日 下午9:38 431000 行业动态 Gmail和谷歌企业邮箱如何在国内使用 Gmail和谷歌企业邮箱如何在国内使用。 siyushenqi.com 2025 年 8 月 3 日 533000 行业动态 2025年5月中国手游发行商全球收入排行榜 Sensor Tower商店情报平台显示,2025年5月共33个中国厂商入围全球手游发行商收入榜TOP100,合计吸金20.2亿美元,占本期全球TOP100手游发行商收入36.6%。 siyushenqi.com 2025 年 8 月 15 日 412000 行业动态 做出20亿营收的单品后,他们成功拿到了第一笔巨额融资 目前大约70名员工。 siyushenqi.com 2025 年 8 月 19 日 397000 行业动态 私域神器每周合作精选 No.88|游戏研发公司寻求发行合作;短剧平台,寻求国内爆款短剧出海 本期精选的合作类型涵盖游戏研发公司寻求发行合作;短剧平台,寻求国内爆款短剧出海。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 422000 行业动态 月收入暴涨10842%,视频社交出海再现“新宠”,要效率还是要深度? 后来者入局社交,差异化是关键。 siyushenqi.com 2025 年 8 月 17 日 442000 国内流水破亿,日韩免费榜Top 2,放置休闲品类杀出一匹黑马 在出海之前,《房东模拟器》在国内市场已经过验证,在去年年底时游戏双端“App+小游戏”总流水已超过了1亿。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 446000 被日本厂商放弃的二次元游戏《神角技巧》,在谷得游戏接盘后斩获TapTap 9.1高分 不久前的6月30日,一款独特的沙盒游戏开始了删档计费测试——这便是由谷得游戏所开发的,二次元沙盒MMO《神角技巧》。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 484000 在韩国,4399的《奇迹之剑》赢了莉莉丝的《万国觉醒》! Sensor Tower最近的数据显示,在韩国市场上,4399出海的《奇迹之剑》在Q3的整体收入上,赢了势头正劲的《万国觉醒》 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 471000 行业动态 谜底科技创始人参与、10人小团队制作,这款拿下苹果年度APP的AI语言学习工具什么样? “小而美”的大市场。 siyushenqi.com 2025 年 12 月 10 日 390000 行业动态 月下载60万+,重庆厂商推出的情侣应用圈粉巴西、印尼,海外恋爱应用市场还有多大潜力? 巴西、印尼小情侣“新宠”。 siyushenqi.com 2025 年 11 月 28 日 345000 上TikTok卖爆款!17岁小伙进账百万美金顺便拿到名校offer 一位美国加州17岁高中生,通过TikTok推广,在独立站销售食物香味泥胶产品,车库创业三年,收入至少120万美金! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 418000 效仿Temu?亚马逊上线新平台,主打低价,卖家已可入驻!| 跨境焦点 2024年,还要继续“卷”低价吗? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 486000 印尼电商平台2020年GMV超400亿美元,同比增长91% 其实自去年疫情爆发以来,除了少数几个国家能把社会运转控制在比较理想的情况之外,大多数国家都实行不同程度的社会距离限制政策。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 456000 发表回复 请登录后评论...登录后才能评论 提交