谷歌推出TransformerFAM架构，以更低的消耗处理长序列文本 siyushenqi.com • 2025 年 8 月 13 日 下午11:20 • 行业动态 • 阅读 413 Transformer对大模型界的影响力不言而喻，ChatGPT、Sora、Stable Difusion等知名模型皆使用了该架构。 Transformer对大模型界的影响力不言而喻，ChatGPT、Sora、Stable Difusion等知名模型皆使用了该架构。 但有一个很明显的缺点，其注意力复杂度的二次方增长在处理书籍、PDF等超长文档时会显著增加算力负担。 虽然会通过滑动窗口注意力和稀疏注意力等技术来解决这一问题,在处理极长序列时仍存在局限性。 因此，谷歌的研究人员提出了全新架构TransformerFAM，可以无缝与预训练模型集成,并通过LoRA进行少量精调从而大幅度提升模型性能。 研究人员在1B、8B和24B三种参数的Flan-PaLM大语言模型上评估了Transformer FAM的性能。实验结果显示,与Transformer架构相比,TransformerFAM在长序列任务上取得了好的能力并且资源消耗更低。 论文地址：https://arxiv.org/abs/2404.09173 TransformerFAM的技术灵感来自人脑中工作记忆的机制。研究人员发现,大脑中的工作记忆能力是由前额叶皮层和视床之间的反馈循环维持的,即持续的神经元脉冲活动形成了一个反馈回路,从而实现了对短期记忆的维持和更新。 受此启发,研究人员设计了一个集成在Transformer中的反馈循环,使得注意力机制不仅可以关注输入序列,还能自我关注自身的潜在表示，使大模型能够存储超长和更新全局上下文信息。 简单来说，可以把TransformerFAM看成是一个"便签本"，可以帮助大模型记住很多短暂、细小的事情，又不会对内存、算力造成过多的负担。 反馈注意力记忆 反馈注意力记忆（Feedback Attention Memory，FAM）是TransformerFAM架构的核心模块，主要通过反馈循环使神经网络能够注意到自身的潜在表示，从而允许大模型处理超长的输入序列。 研究人员在每个Transformer层中都加入了FAM模块，在自注意力过程中被激活，使得输入查询不仅关注当前块和滑动窗口覆盖的过去记忆段,还能关注前一步的FAM状态,将全局上下文知识融入当前表示。 同时一个专门的FAM查询则负责根据当前块和上一步的FAM,更新后续的FAM状态以实现全局上下文信息的传递。 这种巧妙设计使得每个Transformer层都能够维持一个与其抽象层次相对应的分布式工作记忆状态。 块内压缩 块内压缩是Transformer架构中处理长序列数据的关键技术。主要是将长序列分成若干个小块，然后对每个块中的信息进行压缩，以便模型能够更高效地处理和记忆这些信息。 在每个Transformer层中，块内压缩通过自注意力机制将当前块的信息压缩成一个固定长度的表示用于反馈记忆的激活。然后再与之前的FAM状态结合，通过一个前馈网络进行更新生成全新的FAM状态。 更新后的FAM状态会被传递到下一个块，作为那里的额外上下文信息，从而实现跨块的数据信息传递。 随着模型逐块处理整个序列，新的记忆状态会包含越来越多跨块的信息，从而形成一个全局的上下文理解，但对内存、算力的需求几乎没有额外增加，同时又获得了“记忆存储”的泛化能力。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33771.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 微软要将AI融入《我的世界》，为了教你怎么玩游戏 上一篇 2025 年 8 月 13 日 下午11:20 网易出了款AI音乐软件，比Suno还专业！ 下一篇 2025 年 8 月 13 日 下午11:20 相关推荐 《出海洞察前线·上海站》圆满落幕：洞察游戏出海营销新流量密码， 驶入增长“快车道” 钛动科技、阿里云、私域神器于12.29日共同举办了《出海洞察前线·上海站》，聚焦于游戏出海2023新趋势 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 414000 行业动态 游戏、社交电商等创新业务收入爆增70.5%，自研大模型深度赋能，赤子城的下一站要继续跟AI手牵手？ “灌木丛”战略的又一次胜利。 siyushenqi.com 2025 年 8 月 31 日 510000 行业动态 Stripe 大中华区销售开发总监 Daniel Chao 确认担任 PAGC 2025丨第五届全球产品与增长展会 开幕峰会演讲嘉宾 Stripe 大中华区销售开发总监 Daniel Chao 确认担任 PAGC 2025丨第五届全球产品与增长展会 开幕峰会演讲嘉宾 siyushenqi.com 2025 年 8 月 17 日 417000 广州游戏行业二次元浓度激增，仅次于上海？！ 广州的二次元浓度有点高。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 462000 行业动态 2024年，AI大厂押注东南亚 生成式AI继续火热。 siyushenqi.com 2025 年 8 月 13 日 443000 行业动态 月流水300万美金，日活用户20万，美国人超爱为情绪疗愈买单？ 为情绪付费，美国人说“值”。 siyushenqi.com 2025 年 8 月 17 日 410000 行业动态 AI带娃，月入千万 全球婴儿睡眠监测市场已超28亿美元，北美仅睡眠教练App就1.58亿美元，AI切入的是高付费意愿的“育儿确定性”赛道。 siyushenqi.com 2025 年 8 月 26 日 478000 《卧龙》：幻想中的三国动作游戏，要被日本人做出来了 在6月13日的微软游戏发布会上，一款名为《卧龙：苍天陨落》的游戏深深吸引了全球玩家的目光 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 458000 冲上印尼社交榜Top15，来自中国厂商的社交App卷起“3D沉浸感” 3D虚拟社交冲榜东南亚。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 484000 行业动态 支援伦敦！TikTok Shop英国或将有大事发生 据英国《金融时报》的报道，负责TikTok Shop巴西市场的员工正被调往英国、美国和东南亚等已经推出小店服务的市场。在欧洲业务高层进行更广泛的高管职位重组之际，负责将电商服务引入西班牙市场的员工也正被调往伦敦。 siyushenqi.com 2025 年 8 月 13 日 444000 行业动态 小米AI眼镜，它来了 小米AI智能眼镜预计将于6月16日举行媒体日，6月26日正式发布。该产品对标Ray-Ban Meta和雷鸟V3等AI拍摄眼镜，集成音频、AI模块和摄像头。小米凭借其消费电子大厂的资源和能力，有望在AI眼镜领域取得突破。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 如何保护OpenClaw免受恶意技能和代码注入攻击 OpenClaw作为灵活的技能与插件平台，其安全风险随之增加。恶意技能和代码注入攻击是最常见的威胁类型，可能通过未经验证的插件或系统漏洞潜入平台。提前进行防护，通过监控与代码审查识别风险，能够有效避免潜在的安全事件。 siyushenqi.com 2026 年 3 月 10 日 267000 2020年8月海外热门MOBA手游 - 收入同比增长23%，拉美市场潜力凸显 由于MOBA游戏在PC端拥有庞大的玩家规模，一直以来不乏厂商探索这一细分市场。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 480000 行业动态 AI伴侣翻车？美国对Meta、OpenAI等启动调查 联邦贸易委员会首次针对“AI 聊天机器人对未成年人的心理与社会影响”启动系统性调查，对象涵盖 Alphabet、OpenAI、Meta、Instagram、Snap、xAI 与 Character.AI。 siyushenqi.com 2025 年 9 月 12 日 484000 行业动态 DeepSeek成“春节档”最大赢家 超越ChatGPT，登顶美国的它什么样？ 一个月后的今天，DeepSeek再度震撼了全球科技圈。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 社媒营销：如何通过矩阵策略提高品牌曝光度 多平台协同提升曝光 增强用户互动效果 内容多样化吸引受众 数据分析优化策略 定期评估调整计划 多平台协同提升曝光 社交媒体营销通过矩阵策略，能够将品牌信息在多个平台上进行同步推广，最大化品牌曝光度。通过与不同平台的协同作用，品牌能够覆盖更广泛的受众群体，吸引潜在客户群体。每个社交平台都有其特定的用户群体和互动方式，矩阵策略通过在不同平台上执行定制化的内容策略… siyushenqi.com 2025 年 8 月 13 日 下午11:20 413000 美妆服装依然热销！这样的“捷径”不能走！亚马逊打击不良商家，大卖全面清理账号！没有利润，会员日还要“卷”？ 低价买入，高价卖出是不变的商业逻辑。但是如果过了度，就容易陷入违反平台政策的垄断和哄抬物价之中 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 506000 AI成谎言制造机，资本涌向打假科技 AI撒谎不打草稿，科技能否打假？ siyushenqi.com 2025 年 8 月 14 日 • 行业动态 433000 行业动态 OpenAI发布Windows版ChatGPT，高级语音能用了 OpenAI向所有Windows用户开放了桌面版ChatGPT，这是对之前版本的扩展，提供了更多功能。 siyushenqi.com 2025 年 8 月 13 日 382000 行业动态 亚马逊新款AI芯片来了 亚马逊首款3nm AI训练芯片，主打“4倍级”性能/能效/带宽提升，单UltraServer可扩至百万芯片，仅强调性价比，不拼顶级算力。 siyushenqi.com 2025 年 12 月 3 日 386000 行业动态 LinkedIn矩阵：打造外贸营销新渠道的高效策略 精准定位目标客户 内容营销提升品牌曝光 利用LinkedIn广告推广 建立专业网络关系 数据分析优化策略 精准定位目标客户 在外贸营销中，LinkedIn提供了一个强大的平台，通过精准的客户定位帮助品牌接触到潜在的目标群体。通过精准筛选行业、职位、地理位置等数据，LinkedIn可以帮助企业找到合适的客户并与之建立联系。这个过程不仅提升了营销的效率，也大大降… siyushenqi.com 2025 年 8 月 13 日 下午11:20 413000 私域神器周报 No.1丨出海盛宴抢“鲜”看 互联网一周又有哪些大事 从本周开始，私域神器公众号将持续更新《私域神器周报：出海新鲜事》栏目，汇总近期互联网海内外大事，聚焦游戏、泛娱乐社交、跨境电商以及Web3.0板块，让工作繁忙之余可以快速回顾近期行业趋势，紧跟时代风口。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 504000 行业动态 ChatGPT 越用人越傻？ 随着大型语言模型（LLM）如ChatGPT的广泛应用，人们对其在教育领域的使用产生了诸多关注和担忧。本研究旨在探究使用LLM进行写作任务时的认知成本，以及这种使用方式对学生学习技能的潜在影响。 siyushenqi.com 2025 年 8 月 13 日 411000 融资数千万美元后，这家创业公司将要和莉莉丝合作开发云原生游戏 和人聊起 Metaverse 时，有句话让葡萄君印象深刻。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 458000 行业动态 超80万件产品被紧急召回，亚马逊等平台均有销售！ 无论是多么厉害的爆款产品，一旦遇上产品安全性问题都得凉凉。 siyushenqi.com 2025 年 8 月 13 日 442000 行业动态 海外游戏进韩国需指定代理人、墨西哥对暴力游戏征收特别税...一文详解25年各国出海游戏新规！ 应对挑战，需要硬实力。 siyushenqi.com 2025 年 10 月 21 日 404000 2022年12月成功出海的中国手游 -《PUBG Mobile》登顶海外收入增长榜，多款策略手游收入表现亮眼 2022年12月中国手游产品在海外市场收入及下载量详细榜单 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 510000 行业动态 现实和常理冲突，逻辑来帮忙 广告在展示的时候，平台已经给了价值，那么这个用户是否点击，是否转化，与这个价值都没有关系了 siyushenqi.com 2025 年 8 月 3 日 423000 私域神器周报 No.21丨华为苹果相继召开新品发布会 看看出海圈本周又有哪些大事件 9月第二周，热浪褪去，不知不觉2022年已经过去了2/3，出海行业继续领跑互联网核心，成为追求增长的必然历程。为了提升行业认知，私域神器为大家整理了一周内出海行业中值得关注的新闻。本周华为苹果相继召开新品发布会，互联网中各大厂商也大动作不断。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 482000 行业动态 印尼税务大调整，电商税推迟至明年2月 印尼政府正式确认，对电商平台MSME征收0.5%所得税（PPh）的实施时间从2025年7月延后至2026年2月，旨在缓冲对小商户的冲击、维持购买力。 siyushenqi.com 2025 年 10 月 14 日 410000 发表回复 请登录后评论...登录后才能评论 提交
