Meta开源创新大模型架构AU-Nets siyushenqi.com • 2025 年 8 月 13 日 上午11:36 • 行业动态 • 阅读 415 传统固定粒度分词(BPE 等)在低资源语言、特殊字符场景下泛化差,且后续无法动态调整,限制了模型能力。 摘要 Meta 提出 AU-Net:一种自回归、层次化的 U-Net 架构,直接从原始字节学习,无需预建词表,可在训练过程中动态将字节组合成 1~4 词的任意粒度语义单元。 收缩路径:多阶段下采样,把字节依次压缩为词级、双词级等高层表示。扩张路径:带跳跃连接的多线性上采样,把高层语义还原并融入局部细节。推理时按池化模式分层激活,兼顾连贯性与效率。 512/2048/3072 三维度的三阶段设计、窗口化注意力、位置特定线性变换、RegexPool 动态分段策略,全部已开源。 打破“先分词再建模”范式,提升低资源语言及特殊文本场景下的泛化能力,并为高效、灵活的序列建模提供新范式。 在大模型领域,如何将文本数据分解成合适的单元一直是重点研究对象。传统的分词方法,如Byte Pair Encoding等,会预先将文本分割成固定粒度的单元,然后构建一个静态的词汇表供模型使用。但这种方法存在诸多局限性,一旦分词完成,模型在后续处理中就只能局限于这些预设的单元,无法灵活地调整对数据的处理方式和预测范围; 另一方面,对于一些低资源语言或者具有特殊字符结构的文本,这种固定分词方式往往难以有效处理,限制了模型的泛化能力和应用范围。 为了解决这些难题,Meta的研究人员开源了创新架构AU-Net,过引入一种自回归的 U-Net 架构,彻底改变了传统语言模型的分词和处理模式。AU-Net 能够直接从原始字节开始学习,动态地将字节组合成单词、词对,甚至多达四个单词的组合,形成一种多尺度的序列表示。 开源地址:https://github.com/facebookresearch/lingua/tree/main/apps/aunet AU-Net的架构灵感来源于医学图像分割领域的 U-Net 架构,它是一种自回归的层次化模型,具有独特的收缩路径和扩张路径。收缩路径的主要作用是对输入的字节序列进行压缩处理,通过逐步合并字节来形成更高层次的语义单元,从而提取出文本的宏观语义信息。 而扩张路径则负责将这些压缩后的高层次信息逐步还原,恢复到原始的序列长度,并且在这个过程中将高层次的语义信息融入到更细致的局部细节中,使得模型在不同层次上都能够捕捉到文本的重要特征。 收缩路径分为多个阶段,每个阶段都有其特定的功能和结构。在第一阶段,模型直接处理原始字节。这个阶段的维度设置为 512,包含 3 层。由于字节级别的序列是最长的,为了保证计算的可行性,模型在这个阶段会限制注意力机制的作用范围,使其仅在一定的窗口内进行操作。这样的设计既能够充分利用自注意力机制的优势,又能够避免因为序列过长而导致的计算负担过重的问题。 接下来是第二阶段,在这个阶段,模型会在单词边界处进行池化操作。池化操作是通过选择特定位置的向量来实现的,这些位置是由预先定义的分割函数确定的。分割函数会根据单词的起始位置来选取对应的向量,这些向量能够捕捉到单词之前的上下文信息。 然后模型将这些向量投影到下一个阶段的维度,即 2048 维度,并且这个阶段也包含 3 层。通过这种方式,模型能够将字节级别的信息抽象成单词级别的语义信息,为后续的高层次处理提供基础。 第三阶段的池化操作则是在每两个单词处进行。这个阶段的维度进一步增加到 3072,包含 18 层。在这个阶段,模型开始处理更大范围的语义信息,它不仅仅关注单个单词,而是将两个单词作为一个整体来进行处理。这种设计使得模型能够捕捉到单词之间的搭配关系和更复杂的语义结构,从而更好地理解文本的含义。 扩张路径的作用是将收缩路径中压缩后的高层次信息逐步还原,并且在这个过程中将高层次的语义信息与局部细节信息进行融合。在扩张路径中,模型会采用一种称为多线性上采样的策略来进行上采样操作。 模型会将每个粗向量复制多次,以匹配下一个阶段的长度,并且为这些复制的向量应用不同的位置特定线性变换。这种策略使得每个位置的向量都能够根据其在序列中的相对位置进行调整,从而更好地融合高层次的信息和局部细节。 例如,当从每两个单词的表示恢复到单词级别的表示时,模型会为每个单词位置生成一个独特的向量。这些向量不仅包含了来自高层次的语义信息,还能够根据单词的具体位置进行适当的调整,以更好地捕捉单词级别的细节特征。通过这种方式,模型能够逐步恢复序列的长度,并且在这个过程中将高层次的语义信息有效地融入到局部细节中,从而生成更加准确和自然的文本。 在扩张路径中,模型还会利用跳跃连接来传递信息。跳跃连接的作用是将收缩路径中提取到的细节信息直接传递到扩张路径中的相应阶段,从而保证在还原过程中不会丢失重要的局部细节。这些跳跃连接的存在使得模型在不同层次上都能够同时获取到高层次的语义信息和局部细节信息,进一步提高了模型的生成能力和预测准确性。 在推理阶段,AU-Net 采用自回归的生成机制。字节级别的阶段会在每一步都保持活跃,而更深层次的阶段则根据池化模式以较低的频率激活。这种自回归的生成方式不仅保证了生成文本的连贯性和准确性,还提高了推理效率。 自回归生成机制的优势在于它能够确保模型在每一步生成过程中都能够充分考虑到前面已经生成的内容以及深层次的语义信息。通过这种方式,模型能够生成更加自然和准确的文本,避免了可能出现的语义不连贯或者语法错误等问题。同时,由于更深层次的阶段不是在每一步都激活,这大大减少了计算量,提高了推理的速度,使得 AU-Net 在实际应用中更加高效和实用。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32332.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI能否带来广泛繁荣? 上一篇 2025 年 8 月 13 日 上午11:36 “AIGC第一股”美图推出新AI Agent王炸,昨日登顶国区App Store,仅靠语言指令就能修改视频? 下一篇 2025 年 8 月 13 日 上午11:36 相关推荐 行业动态 SHEIN逼出一场“世纪联姻” 全球电商两大阵营解体?亚马逊Shopify握手言和,新的对手竟然是他们…… siyushenqi.com 2025 年 8 月 12 日 467000 网易今年第一款公测的游戏上线了 RTS作为一个在端游时代就逐渐没落的品类,几乎可以说是天生就和手游相性不合。复杂的操作逻辑、高强度的PVP对抗......这些问题在移动端不但很难解决,反而因为手机用户碎片化时间、轻度需求等属性更容易被放大。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 424000 行业动态 聊聊Google Ads常见广告账号受限/被封问题 本文为你系统整理了谷歌官方提供的 Google Ads 账号问题解决办法以及一份专业、完整的英文申诉信,无论你是广告主、代理商,还是运营同学,都建议收藏备用! siyushenqi.com 2025 年 8 月 3 日 508000 行业动态 GICC 2025丨智造出海新篇启幕,跨境电商线上峰会10月24日见 智能硬件出海的新机遇,来了。 siyushenqi.com 2025 年 10 月 16 日 453000 掘金出海第二课:破解流量玄学!我们找到了休闲游戏黄金变现法则 4位业内“老炮”,闲聊休闲游戏海外掘金之道 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 457000 行业动态 跻身Google Play摄影畅销榜TOP10,中国AI视频APP走红的逻辑 从SelfyzAI的海外“出圈”,看AI视频APP如何吸引用户。 siyushenqi.com 2025 年 8 月 17 日 461000 行业动态 腾讯音乐和美国最大私营音乐版权公司签署独家授权协议 据报道,腾讯音乐(NYSE:TME)和美国最大的私营音乐版权公司peermusic今日联合宣布,双方已达成一项独家数字许可协议 siyushenqi.com 2025 年 8 月 26 日 533000 干货荟萃|好产品也要有靠谱发行 哇哇鱼/鸿萌娱乐/孢子游戏/花娱网络海外发行经验与产品研发分享 2022PAGC游戏对接会 加速助力游戏出海道路 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 463000 行业动态 允许一部分传统影视人,靠短剧端原生富起来? 短剧行业一直在极速变化着。 siyushenqi.com 2025 年 8 月 18 日 479000 行业动态 Meta要砍掉元宇宙部门三成预算 Meta内部已讨论把2026年元宇宙部门预算削减最多30%,重点落在Quest VR与Horizon Worlds,1月可能启动裁员。 siyushenqi.com 2025 年 12 月 8 日 302000 《我的世界》宣布禁止NFT和区块链技术 《Minecraft(我的世界)》及其研发公司Mojang Studios宣布游戏内将不允许或支持NFTs(non-fungible tokens)和区块链技术 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 479000 行业动态 小米集团第三季度经调整净利为41.28亿 同比增长18.9% 小米集团在港交所发布三季报,2020年第三季度,小米集团总收入达到人民币722亿元 siyushenqi.com 2025 年 8 月 26 日 437000 历经4年研发,突然杀进畅销前十,他们对“3D动作二次元”发起了挑战 在历时四年的开发后,勇仕网络的二次元动作手游《深空之眼》终于迎来了公测。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 486000 行业动态 昆仑万维《圣境之塔》上线港澳台至今单日收入突破200万元 近日,昆仑万维发布公告称,由全资子公司北京乐游方舟科技有限公司自主研发MMORPG《圣境之塔-卡巴拉》(下称《圣境之塔》)在港澳台上线之后成绩亮眼。 siyushenqi.com 2025 年 8 月 25 日 379000 行业动态 直播兴起下的麦克风生意,Maono闪克如何借助Shopee做到Top 1? 目前,在同类型麦克风品牌类目的竞争中,Maono闪克的麦克风产品销量位居第一,并已陆续开通了Shopee多个东南亚站点。 siyushenqi.com 2025 年 8 月 12 日 528000 行业动态 重磅!Llama-3,最强开源大模型正式发布! Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型。 siyushenqi.com 2025 年 8 月 13 日 378000 ChatGPT背后的打工人,月薪3000 人工智能训练师工作的背后,藏着哪些隐秘的故事? siyushenqi.com 2025 年 8 月 14 日 • 行业动态 420000 行业动态 一周要闻NO.184丨韩国AI国家队翻车;完美世界发布反腐公告;Shein高管将出席欧盟议会听证会;苹果正式牵手谷歌Gemini 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2026 年 1 月 21 日 308000 行业动态 亚马逊低价反击,出海四小龙年底大作战 SHEIN、Temu、阿里速卖通和TikTok Shop这四家跨境电商平台,在去年挑战亚马逊的霸主地位后,今年面临亚马逊的反击。 siyushenqi.com 2025 年 8 月 5 日 503000 行业动态 钉钉上线的365会员,让人看到了Apple Intelligence的影子 钉钉推出了名为“钉钉365”的个人会员服务,面向个人用户,提供AI搜索、个人AI助理、个人认证等增值服务。 siyushenqi.com 2025 年 8 月 13 日 395000 宜家这些最「过时」的产品,怎么成了被 Z 世代追捧的时尚单品? 作为有着 70 多年历史的家具品牌,人们总是调侃道家具的终点就是「宜家风」,那么过往年代的宜家设计风格会是怎样的呢? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 430000 行业动态 亚马逊妥协了,承诺三大改革,或使卖家格局大变 欧盟的反垄断压力,让亚马逊做出改革承诺。 siyushenqi.com 2025 年 8 月 13 日 451000 行业动态 2月出海手游丨Last War营收击败菇勇者,网易蛋仔对上腾讯NBA 心动出海拿下港澳台,友塔网络3款SLG产品爆量。 siyushenqi.com 2025 年 8 月 18 日 510000 行业动态 痛丢700万首BGM,TikTok开创自己的音乐帝国 AI作曲,字节发行,TicToc专心搞音乐? siyushenqi.com 2025 年 8 月 18 日 434000 行业动态 全球第一消除手游,11年创收200亿美元:生儿简单,育儿难 真的好想再活500年 siyushenqi.com 2025 年 8 月 18 日 459000 中东还是吃鸡和SLG市场,《原神》神奇不再 | 中东出海秀 在本期榜单上,《PUBG Mobile》笑傲沙特和土耳其畅销榜,是当地最吸金的游戏。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 546000 行业动态 中国厂商,快去沙特淘金! 不论你身处哪个行业,通过生活中接触到的各种信息,你都会感受到沙特近几年的巨大转变。 siyushenqi.com 2025 年 8 月 18 日 451000 行业动态 UnlockGame、南京道成网络科技有限公司、绝峰游戏 确认加入PAGC2025丨第五届全球产品与增长展会 游戏对接会 UnlockGame、南京道成网络科技有限公司、绝峰游戏 确认加入PAGC2025丨第五届全球产品与增长展会 游戏对接会 siyushenqi.com 2025 年 8 月 17 日 445000 行业动态 Unity凌晨5点裁员“突袭”,矛头直指跨平台与广告业务? 2025年2月11日,Unity宣布第六轮裁员计划,占总员工数的四分之一。此次裁员涉及引擎产品和广告团队,广告团队将彻底合并和重组。 siyushenqi.com 2025 年 8 月 17 日 404000 重磅报告 | 面对全球1160亿美元的“大蛋糕”,游戏出海路在何方? 新机遇·新挑战:2022 游戏应用营销现状报告 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 455000 发表回复 请登录后评论...登录后才能评论 提交