微软开源Phi-3.5:支持手机、平板电脑,性能超Llama 3.1 siyushenqi.com • 2025 年 8 月 13 日 下午9:06 • 行业动态 • 阅读 423 微软开源了最新Phi-3.5系列模型,共有mini指令微调、专家混合和视觉微调三种模型。 微软开源了最新Phi-3.5系列模型,共有mini指令微调、专家混合和视觉微调三种模型。 Phi-3.5系列的参数非常小,但性能却超过了Meta最新开源的Llama 3.1 8B和Mistral 7B等知名开源模型,也是目前开源大模型排行榜中唯一入选前10名的小参数模型。 所以,微软开源的Phi-3.5系列是专门面向那些算力、硬件有限的中小企业和个人开发者,同时可以部署在手机、平板电脑等移动设备中使用。 Mini开源地址:https://huggingface.co/microsoft/Phi-3.5-mini-instruct 专家混合:https://huggingface.co/microsoft/Phi-3.5-MoE-instruct 视觉:https://huggingface.co/microsoft/Phi-3.5-vision-instruct 微软其他模型开源地址:https://huggingface.co/microsoft Phi-3.5架构简单介绍 Phi-3.5是2.0、3.0版本的延伸,使用的是Transformer解码器,有3072维隐藏层、32个注意力头以及32层架构。具有4K的默认上下文长度,并通过 LongRope扩展至128K,使得模型能够处理更长的文本序列,支持中文、英文、法文等。 此外,还使用了组查询注意力机制,每个注意力头的KV缓存中使用4个查询共享1个键。为了进一步提高训练和推理速度,微软使用了块稀疏注意力模块,能根据不同的稀疏模式有效地划分上下文,减少KV缓存的使用量。 Phi-3.5之所以能够实现如此出色的性能,主要原因之一是其使用了超过3.3万亿token高质量训练数据集。这个数据集是 phi-2 使用的数据集的扩展版本,由经过严格筛选的公开网络数据以及合成数据组成,在模型的预训练过程中发挥了巨大作用。 在安全优化方面,使用了监督微调、近端策略优化和直接偏好优化等方法,使Phi-3.5的输出更符合人类预期,极大减少非法、错误的内容输出。 三款模型 Phi-3.5-mini指令微调模型支持128K上下文,能生成文本/代码、数学推理、解读长文档、总结会议摘要等。在MMLU、MGSM、MEGA TyDi QA、MEGA XCOPA等测试基准中,整体性能超过Llama-3.1-8B、Mistral-7B。 Phi-3.5视觉模型除了文本生成之外,还支持图像识别、光学字符识别、图表/表格解读、图像比较、剪辑视频摘要等。 在Art Style、Counting、Forensic Detection、Jigsaw、Relative Depth、Visual Correspondence等视觉基准测试中,其性能超过了InternVL-2-4B/8B、GPT-4o-mini、Claude-3.5-Sonnet、Gemini-1.5-Flash等知名开闭源模型,仅次于GPT-4o。 Phi-3.5专家混合模型共有420亿参数,但在推理的过程中只有66亿参数处于激活状态,其性能大幅度超过了同类开闭源模型,但对资源的消耗却非常低。 而专家混合模型可以根据不同场景的复杂任务,调动切换不同的专家模块来处理,进一步提升了对资源的合理分配。 专家混合模型之所以能够实现这种效率和性能的平衡,源于其独特的技术原理。在专家混合模型架构中,模型不是由单一的神经网络构成,而是由多个小型网络或专家组成。 每个专家负责处理其擅长的特定类型的任务。当模型接收到输入数据时,会通过 “门控网络”来决定哪些专家需要被激活,以及每个专家应该对最终的输出贡献多少。 专家混合模型的另一个技术优势是其可扩展性。随着开发人员对模型进行进一步的训练和优化,可以轻松地增加更多的专家来提升模型在特定领域的表现,或者通过改进门控网络来优化模型的决策过程。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32474.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 当Agent开始自己创造自己,AI产品爆发还会是遥远的梦吗? 上一篇 2025 年 8 月 13 日 下午9:05 日均Tokens使用量超5000亿,豆包大模型怎么抓住千行百业 下一篇 2025 年 8 月 13 日 下午9:06 相关推荐 行业动态 奈飞退出!派拉蒙1110亿美元“吞下”华纳 派拉蒙以1110亿美元击败奈飞,成功收购华纳。奈飞因财务考量放弃,交易仍待监管批准。 siyushenqi.com 2026 年 3 月 2 日 347000 行业动态 菜鸟冲击IPO,先从顺丰京东“虎口夺食”? 菜鸟能抄好自营快递作业吗? siyushenqi.com 2025 年 8 月 13 日 447000 行业动态 8月中国厂商及游戏出海榜:点点互动升入前三;星铁重回榜首 9月11日,data.ai公布了今年8月中国厂商及游戏出海榜单,具体内容如下: siyushenqi.com 2025 年 8 月 19 日 638000 这款披萨主题超休闲游戏登顶iOS免费榜了 超休闲赛道还有许多未知的可能性 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 440000 行业动态 PAGC最后72小时免费报名,广州见!拓人脉,找合作,聊出海,再忙也要去! 倒计时3天!垂直精准的互联网出海人商业狂欢日! siyushenqi.com 2025 年 8 月 17 日 507000 SHEIN在法国的运营被封停!|跨境电商 2025年11月5日,法国总理勒科尔尼(Sébastien Lecornu)正式宣布,法国政府已启动程序暂停快时尚品牌SHEIN在法国的运营,理由是SHEIN等四家跨境平台上架销售“儿童X外观玩偶”。 截至目前,SHEIN已将该玩偶下架,并表示将进一步审查第三方供应商的合规流程,希望尽快与法国当局对话。SHEIN虽然是自有品牌,但平台上允许第三方商家入驻,除… siyushenqi.com 2025 年 8 月 13 日 下午9:06 • 行业动态 423000 行业动态 小杨哥们出海,外国人的钱好赚吗? 从交个朋友、东方甄选,到疯狂小杨哥,大家的目光纷纷投向海外,只是国内的成功模式能否复制,海外的钱好赚吗? siyushenqi.com 2025 年 8 月 9 日 456000 “电子木鱼”的走红,是年轻人焦虑转移的新方式? 电子木鱼的流行更像是一种集体的焦虑转移,而非真的要把个人生活全都交给赛博佛祖。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 371000 行业动态 过度依赖GPT,会让我们的文明倒退吗? 春季学期伊始,全球各地的老师们如临大敌,因为学生们带着ChatGPT杀过来了。Study.com的调研显示,每10个学生中就有超过9个知道ChatGPT,多达89%的学生使用ChatGPT来完成家庭作业,53%的学生直接拿ChatGPT写论文。 siyushenqi.com 2025 年 8 月 14 日 491000 行业动态 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会! 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 479000 行业动态 新注册的Twitter账号怎么养?从零开始的安全养号指南 随着海外社媒营销的不断升温,Twitter成为许多跨境电商、内容创作者、独立站站长重点布局的平台之一。但不少人在注册新账号后,不久就遭遇“限流”、“封号”、“功能受限”等问题,原因就在于没有做好“养号”。 对于Twitter这样强调真实互动和行为轨迹的平台,新注册账号不能“急功近利”,而应通过科学的养号流程,逐步建立平台信任度。 本文将从养号的时间节点、行为… siyushenqi.com 2025 年 8 月 13 日 下午9:06 423000 行业动态 孙正义向OpenAI投资5亿美元,估值1500亿美元 孙正义的软银集团向人工智能研究实验室OpenAI投资了5亿美元,该轮融资估值超过1500亿美元。 siyushenqi.com 2025 年 8 月 13 日 445000 行业动态 亚马逊又一新增收费,10月Prime大促正式生效! 随着时间来到8月的后半段,不少亚马逊卖家已深刻体会到淡季运营的不易。 siyushenqi.com 2025 年 8 月 5 日 442000 行业动态 Telegram群发效果评估:案例分析与优化建议 Telegram群发营销已经成为常见的推广手段,凭借其快速传播和广泛用户基础,助力企业和个人精准触及目标群体。通过优化群发内容、选择最佳发送时机、管理多账号等方式,可以显著提升群发的效果,包括提高到达率、互动率和转化率。 siyushenqi.com 2026 年 1 月 25 日 353000 行业动态 黄仁勋最新2万字演讲实录:将打破摩尔定律发布新产品,机器人时代已经到来 黄仁勋给token敲定了一个中文译名——词元。 siyushenqi.com 2025 年 8 月 13 日 415000 行业动态 【出海榜单】2022 年 11 月中国非游戏厂商及应用出海收入 30 强 非游戏厂商收入榜单前三名(按排名先后顺序)为字节跳动、欢聚集团、腾讯,相比十月排名无变化。 siyushenqi.com 2025 年 8 月 24 日 516000 重磅!阿里巴巴又推跨境出海平台Miravia,这次瞄准西班牙高端用户 阿里巴巴将在本月底(11月30日)在西班牙推出新的出海平台——Miravia siyushenqi.com 2025 年 8 月 13 日 • 行业动态 557000 5月16日—5月22日共有25款游戏开测|GameRes GameRes游资网统计了2022年5月16日—2022年5月22日的最新手游开测信息,共有25款游戏开测。以下是下周开测信息: siyushenqi.com 2025 年 8 月 25 日 • 行业动态 483000 行业动态 107个地区登顶!《鸣潮》无需做第二个「原神」 《鸣潮》的全球化之路看来是成了。 siyushenqi.com 2025 年 8 月 18 日 504000 为什么喜欢用“怀孕女性”制作买量素材?谈海外买量素材的几个趋势 广告作为移动营销者与潜在用户之间沟通的语言,游戏行业的买量素材一直是一个热门话题。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 529000 行业动态 2023 年聚焦游戏领域: 激励视频依旧是最受欢迎的广告形式 data.ai 和 IDC 合作推出 2023 年聚焦游戏领域报告,深入分析游戏行业现状 siyushenqi.com 2025 年 8 月 19 日 421000 行业动态 1亿美元押注!郑志刚携手 JAKOTA Capital强势入局短剧产业 香港知名企业家郑志刚在商业布局上做出新动作,携手 JAKOTA Capital,强势进军全球短剧产业。 siyushenqi.com 2025 年 8 月 17 日 475000 行业动态 华为强大、AMD紧逼,英伟达尚能饭否? 英伟达在AI数据中心、大模型芯片市场占有率超80%,其领先地位源于近20年前的投资,当时研究人员发现GPU可用于AI等高强度计算任务,英伟达随后构建了CUDA软件生态系统,如今全球大多数AI算力依赖其产品。 siyushenqi.com 2025 年 8 月 13 日 437000 行业动态 让765万用户“对齐颗粒度”,私密社交又有新宠?共享日历玩法撬动市场新增长 社交+工具,两大赛道结合创造“新思路”。 siyushenqi.com 2025 年 8 月 17 日 426000 行业动态 涉嫌窃取Nexon游戏机密,《Project KV》开发商遭韩国警方调查 韩国游戏公司Dynamis One因涉嫌泄露Nexon Games未公开项目,遭到韩国警方立案调查。首尔警方于2月24日搜查了Dynamis One的办公楼,并扣押了相关资料。 siyushenqi.com 2025 年 8 月 17 日 415000 行业动态 WhatsApp群发绩效指标:送达率与互动率分析 在如今数字化飞速发展的时代,WhatsApp作为全球领先的即时通讯工具,已被许多企业广泛用于群发营销。通过WhatsApp群发消息,品牌能够快速接触到目标用户,但如何评估这些营销活动的效果,尤其是送达率和互动率,成为了关键问题。本文将深入分析这两个绩效指标,探讨如何通过优化策略提高WhatsApp群发的营销效果。我们将从送达率与互动率的概念出发,逐步分析影响… siyushenqi.com 2025 年 8 月 13 日 下午9:06 423000 行业动态 人形机器人豪掷亿元登春晚:表演背后的商业逻辑与技术价值 四家人形机器人企业亮相春晚引发热议。表演不仅是技术实力的展示,更是推动租赁市场、软件生态和产业基础设施完善的重要契机。 siyushenqi.com 2026 年 2 月 10 日 269000 行业动态 迪士尼牵手OpenAI:AI娱乐“正版化”的开端 迪士尼“三重身份”入局,10 亿美元战略投资 + 200+顶级 IP 授权 + 全面接入 OpenAI API,从维权斗士变身生态规则制定者。 siyushenqi.com 2025 年 12 月 31 日 322000 行业动态 成功!马斯克官宣首个Neuralink脑机接口人类,意念操控鼠标,全民机器人时代来了? 刚刚,马斯克宣布,首个植入Neuralink大脑芯片的人类已经完全康复,患者仅用意念,就可以控制鼠标。Neuralink开创的脑机接口时代,终于来了!马斯克离自己的星辰大海,又近了一步。 siyushenqi.com 2025 年 8 月 13 日 298000 在Steam商店卖了超过1100万份后,《糖豆人》怎样延续成功? 《糖豆人:终极淘汰赛》(下文简称《糖豆人》)是2020年游戏行业的最大黑马之一 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 459000 发表回复 请登录后评论...登录后才能评论 提交