微软发布Mu模型:支持Windows智能体,小参数跑出10倍性能 siyushenqi.com • 2025 年 8 月 13 日 上午11:29 • 行业动态 • 阅读 390 Mu模型参数量为3.3亿,性能可比肩微软之前发布的Phi-3.5-mini模型,但体量更小,且在离线NPU的笔记本设备上响应速度快,每秒能超过100 tokens。 摘要 可在Windows中设置智能体,将自然语言指令实时转化为系统操作,如调整鼠标指针大小、屏幕亮度等。 借鉴Phi Silica模型,专为小型本地部署优化,使用仅解码器的Transformer架构,并进行了双重层归一化、旋转位置嵌入和分组查询注意力三大创新。其中,双重层归一化增强训练稳定性,旋转位置嵌入解决了传统绝对位置嵌入的局限性,分组查询注意力优化了多头注意力机制,减少了参数和内存占用。 使用预热稳定衰减时间表和Muon优化器等训练技术,先在高质量教育token上预训练,再从Phi模型中进行知识蒸馏,实现显著的参数效率,性能接近Phi-3.5-mini。 微软计划将智能体集成到Windows搜索框中,为提升精准度,扩大训练规模,采用自动化标注的合成方法等多种技术对Mu微调,使其响应时间控制在500毫秒以内,智能体在Windows设置的理解和执行操作方面表现出色。 今天凌晨,微软在官网发布了创新小参数模型Mu。 Mu仅有3.3亿参数,但其性能可以比肩微软之前发布的小参数模型Phi-3.5-mini,体量却比它小10倍左右,并且在离线NPU的笔记本设备上,可以跑出每秒超过100 tokens的响应,这在小参数模型领域非常罕见。 此外,Mu支持在Windows中设置智能体,可将自然语言指令实时转化为系统操作,例如,只需对着电脑说一句 “把鼠标指针调大一些,调整屏幕亮度”,智能体就能精准定位到相关设置项一键完成调整。 Mu架构简单介绍 Mu借鉴了之前微软发布的小参数模型Phi Silica,专为小型本地部署优化,尤其是在配备NPU的Copilot+ PC上。 架构方面,Mu使用了仅解码器的Transformer,并在此基础之上进行了双重层归一化、旋转位置嵌入和分组查询注意力三大创新。 双重层归一化方法通过在Transformer架构的每个子层前后分别实施LayerNorm操作,有效确保了激活值的分布具有良好的统计特性,从而显著增强了训练过程的稳定性。 不仅避免了深层网络中常见的训练不稳定问题,还通过减少数值不稳定情况的发生,间接提高了训练效率,从总体上降低了训练时间和资源消耗。 在Transformer架构中,位置嵌入是让模型理解序列顺序的关键部分。传统的绝对位置嵌入方法是给每个固定位置分配独立的向量,把绝对位置信息添加到词向量中。 但这种方式有两个根本问题:一是当输入序列长度超过训练时的长度,模型因为没有对应位置的预训练向量,就很难准确理解超出部分的位置关系; 另外一个是绝对位置编码只能反映 token 在序列里的绝对位置,没办法直接表示 token 之间的相对距离,在需要理解长距离关系,例如,分析长句语法、代码函数调用顺序的任务中,存在天然不足。 旋转位置嵌入则通过引入复数域的旋转操作,从本质上改变了位置编码的机制。其核心原理基于复数乘法的几何特点,把每个位置的嵌入向量表示成复数形式,通过和旋转矩阵相乘,让向量在复平面上旋转。 对于每个位置和维度,旋转位置嵌入都定义了旋转矩阵,当输入序列中的两个 token 交互时,它们位置嵌入向量的旋转角度差异,直接体现了两者的相对距离。从数学角度看,旋转位置嵌入 把位置编码变成了动态可扩展的函数映射,而不是静态的向量存储。这一特性让模型具备了出色的长序列外推能力。 在推理时遇到超长序列,旋转位置嵌入 可以根据已经学习到的旋转规则,动态生成超出训练长度部分的位置编码,避免了传统绝对位置编码因为 没见过的位置而导致性能大幅下降的问题。 Mu还使用了分组查询注意力对多头注意力机制进行了大量优化。在传统的多头注意力中,每个头都拥有自己的Key、Query和Value矩阵,这导致了大量的参数和内存消耗。 分组查询注意力则通过在头组之间共享键和值,显著减少了注意力参数的数量和内存占用。例如,如果有12个头,可以分为3组,每组4个头共享相同的键和值。 这种设计不仅减少了参数和内存占用,降低了在NPU上的延迟和功耗,提高了模型的运行效率,还通过保持头的多样性,确保了每个头可以独立计算查询,从而维持了与传统多头注意力机制相当的性能。 此外,Mu还使用了预热稳定衰减时间表和Muon优化器等训练技术来进一步优化其性能。微软使用了A100 GPU对Mu进行了训练,遵循Phi模型开发中首创的技术,首先在数百亿个最高质量的教育token上进行预训练,以学习语言的语法、语义和一些世界知识。 为了进一步提高准确性,还从Phi模型中进行知识蒸馏。通过捕获Phi模型的一些知识,Mu模型实现了显著的参数效率。其参数只有Phi-3.5-mini的十分之一,性能却和它差不多。 支持Windows智能体 为提升 Windows 系统的易用性,微软一直着力攻克修改数百项系统设置的难题,目标是在“设置”中打造一个理解自然语言并能无缝修改可撤销相关设置的 AI 智能体。微软计划将该智能体集成到现有搜索框中,以实现流畅的用户体验,这要求对众多可能的设置实现超低延迟响应。 在测试了各种模型后,Phi LoRA 最初达到了精度目标,但规模过大,无法满足延迟要求。Mu具有合适的特性,需要针对特定任务进行调整才能在 Windows设置中实现最佳性能。 此场景下的基线 Mu 模型虽在性能和功耗方面表现出色,但在使用相同数据且未经任何微调时,精准度会下降50%。为缩小这一差距,微软将训练规模扩大到 360万个样本,提升了 1300 倍,并将处理的设置从约50项扩展至数百项。 通过采用自动化标注的合成方法、带元数据的提示调优、多样化措辞、噪声注入和智能采样,用于设置智能体的Mu微调模型成功达成质量目标。Mu微调模型的响应时间控制在 500 毫秒以内。根据测试显示,Mu模型打造的智能体,在Windows设置的理解、执行操作方面比较出色。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32260.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 拒绝依赖英伟达,亚马逊新自研AI训练芯片2025年末量产 上一篇 2025 年 8 月 13 日 上午11:28 眼镜支付:“新生活方式”将会成为AI眼镜的制胜法宝 下一篇 2025 年 8 月 13 日 上午11:29 相关推荐 行业动态 ChatGPT正式成为AI搜索,免费可用 OpenAI 在 ChatGPT 两岁生日时宣布推出 ChatGPT search,这标志着 ChatGPT 消除了即时信息获取的短板,现在可以通过网络资源链接快速、及时地获取答案。 siyushenqi.com 2025 年 8 月 13 日 499000 新鲜出炉:传音旗下非洲短视频应用Vskit 2020年度数据报告 2020年是非洲短视频应用Vskit诞生的第三年。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 546000 行业动态 净赚3亿,这家厦门公司靠AI美女翻身 AI,真的可以成为美图的摇钱树吗? siyushenqi.com 2025 年 8 月 13 日 408000 行业动态 智谱从 DeepSeek老家杭州融了一大笔钱 智谱完成了一轮超10亿元人民币的战略融资,投资方包括杭州城投产业基金、上城资本等。此次融资旨在推动智谱国产基座GLM大模型的技术创新和生态发展。在DeepSeek浪潮席卷全球、大语言模型价值被重估的背景下,智谱的融资具有标杆意义,显示了地方政府对AI产业的支持和智谱在行业中的重要地位。 siyushenqi.com 2025 年 8 月 13 日 399000 行业动态 争夺「国产帕鲁」,没想到网易这次的动作这么快! 抢占先机。 siyushenqi.com 2025 年 8 月 18 日 515000 最热衷为服务和环保支付溢价的Z世代,还有哪些独特的网购习惯? Z世代(Generation Z)一词是欧美流行用语,特指在90年代末至2010年初出生的一代人。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 461000 两个月拿下五百万用户 Zenly“继承者”登上34国应用榜Top10 Zenly被母公司Snap宣布关闭的命运成为定局之后,从用户到开发者都开始了自己的行动,用户自发寻找下一个能够代替Zenly的社交产品,而开发者的使命是补上Zenly遗留的庞大LBS社交市场。 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 447000 行业动态 Vision Pro国行发售在即,买美版的人却更多了 美版便宜出了一部iPhone 15 Pro Max的价格。 siyushenqi.com 2025 年 8 月 18 日 410000 行业动态 中国又一款大模型登顶!外媒:“又一个DeepSeek时刻” 7 月 18 日,万亿参数 MoE 模型 Kimi K2 在权威榜单 LMArena 中位列全球开源第一、总榜第五(前四均为闭源),获社区 3000+ 票支持。 siyushenqi.com 2025 年 8 月 13 日 464000 散爆CEO羽中与五周年的少女前线 五一期间,我在上海世博中国船舶馆采访了散爆CEO同时也是《少女前线》系列总制作人的羽中 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 542000 行业动态 风口上的AI玩具:创业蓝海还是资本赌局? 大厂高管、资本与个人创业者集体涌入,AI玩具销量年增超200%,2028年国内市场有望破300亿元。 siyushenqi.com 2025 年 9 月 11 日 491000 行业动态 干了10年外贸,我悟了:别再做平台的“打工人”,用这套组合拳把客户“圈”进你的地盘 干了十年外贸,我发现死磕B2B平台就像给房东打工。今天分享一套实战组合拳,教你如何把LinkedIn、Facebook、TikTok等公域流量,引到自己的独立站和WhatsApp私域里,真正把客户“圈”进自己的地盘,做客户的主人。 siyushenqi.com 2026 年 3 月 6 日 506000 行业动态 上线3个月流水破十亿,晶核数值膨胀后变现迎大考 关注流水的可持续性 siyushenqi.com 2025 年 8 月 18 日 656000 行业动态 马斯克旗下xAI宣布Grok 2.5正式开源 Grok 2.5 于 8 月 24 日正式开源并托管至 Hugging Face;马斯克重申“每发布新一代就开源上一代”,Grok 3 预计 6 个月后开源。 siyushenqi.com 2025 年 8 月 26 日 573000 行业动态 不要小看「实而不华」的腾讯 AI 早早开始拿 AI 赚钱的腾讯,是怎么做AI的? siyushenqi.com 2025 年 8 月 13 日 411000 行业动态 俄罗斯电商市场:数万中国卖家的大迁徙 万亿级电商市场,中国卖家的掘金机遇。 siyushenqi.com 2025 年 12 月 1 日 416000 中东亚马逊和Noon的卖家模式有何不同?哪个更适合你? 亚马逊和Noon这两个最大的竞争对手都在中东争夺市场份额,且有许多卖家看到中东电子商务行业的巨大商机. siyushenqi.com 2025 年 8 月 13 日 • 行业动态 404000 行业动态 苹果AI乱局:库克越重视,业务越混乱? 苹果成立 AKI 团队,由前 Siri 负责人 Robby Walker 挂帅,自研类 ChatGPT「答案引擎」,以应对 Siri 重大升级被推迟至 2026 年的真空期。 siyushenqi.com 2025 年 8 月 13 日 445000 大火的派对游戏有多香?腾讯买下《鸡你太美》开发商 《糖豆人》、《Among Us》、《动物派对》……都“1202年”了,就算你没亲自体验过这些游戏,想必也曾在各大直播平台窥见过它们的火热。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 576000 行业动态 不做下一个TikTok,Zoom放弃中国选择印度 在TikTok被印度封禁、强制出售美国业务之际,另一家有“中国血统”的公司Zoom选择将中国市场拱手让给合作伙伴,转而拥抱印度。 siyushenqi.com 2025 年 8 月 26 日 539000 美版“三顿半”爆火!中国咖啡出海潜力何在? 国内的咖啡赛道正如火如荼。据统计,仅23年第一季度就拿到了至少14笔咖啡品类融资,估值融资金额约超5亿人民币。而这份商业火热,也促成了不少咖啡品牌渴望出海扩张的野心,在把盘子做大之后,咖啡赛道正尝试着走出国内,争取更大的全球消费市场。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 463000 行业动态 把“二次元”做进“竞技射击”这件事,《卡拉彼丘》比大家想得更认真 两手抓,两手都要硬。 siyushenqi.com 2025 年 8 月 18 日 464000 行业动态 小游戏史上最大地震?苹果威胁“分钱”、腾讯重磅发声!山雨欲来? 腾讯公司首席战略官在财报电话上承认了腾讯正在与苹果就小游戏的收入进行谈判。 siyushenqi.com 2025 年 8 月 17 日 386000 行业动态 Telegram矩阵:外贸企业如何通过即时通讯优化客户管理 即时通讯提升沟通效率 客户管理更加便捷 支持多语言交流 增强客户关系维护 数据安全性高 即时通讯提升沟通效率 随着全球化进程的不断加速,外贸企业需要高效的沟通方式来处理大量的客户询盘、订单确认、产品咨询等事务。Telegram作为一种即时通讯工具,能够提供快速、便捷的消息传递服务,大大提高了外贸企业与客户之间的沟通效率。通过即时通讯,企业可以实时回应客户需求… siyushenqi.com 2025 年 8 月 13 日 上午11:29 390000 行业动态 欧美市场被物流逼“封”,这个新市场销量猛增3倍后还将大爆发 时下,亚马逊多个仓库“爆仓”、运费集体涨价、海关税金疯涨、货代遭围堵等物流“乱象”丛生…… siyushenqi.com 2025 年 8 月 13 日 412000 这款电商界的Midjourney,正在颠覆着海外电商的营销物料生产方式 借助生成式AI技术,PhotoG可以快速生成高度真实的商品场景展示,帮助品牌降低拍摄成本、提高营销效率,并大幅缩短物料制作周期。 siyushenqi.com 2025 年 8 月 6 日 • 行业动态 483000 7款二次元游戏被按下暂停键,大厂撑腰也不是长久之计 今年的二次元游戏领域有点冰火两重天的感觉 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 429000 过去2年,美国应用商店采用付费订阅的游戏数量增长两倍 自2017年12月,《堡垒之夜》在游戏中加入Battle Pass以来,按时间或赛季订阅的付费模式得到越来越多厂商的青睐。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 504000 行业动态 AIGC+游戏系列之一:米哈游完美世界电魂网络等九家公司正在如何用 本文共盘点了恺英网络、汤姆猫、昆仑万维、电魂网络、完美世界、凯撒文化、心动公司七家上市公司和米哈游、莉莉丝两家非上市公司的AIGC布局应用情况。 siyushenqi.com 2025 年 8 月 24 日 463000 私域神器周报 No.40丨蛋仔派对DAU破3000万 SHEIN预计上市 一起来看更多出海大事件 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 15 日 • 行业动态 415000 发表回复 请登录后评论...登录后才能评论 提交