微软开源最强小参数大模型—Phi-3 Mini siyushenqi.com • 2025 年 8 月 13 日 下午11:13 • 行业动态 • 阅读 533 4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。 4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。 据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。 Phi-3-mini对内存的占用极少,可以在 iPhone 14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制,但每秒仍能生成12 个tokens数据。 值得一提的是,微软在预训练Phi-3-mini时使用了合成数据,能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。 开源地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3 Ollama地址:https://ollama.com/library/phi3 技术报告:https://arxiv.org/abs/2404.14219 2023年6月,微软首次推出了专用于Python编码的模型Phi-1,只有13亿参数却在编程领域击败了GPT-3.5等知名模型,这让微软看到小参数模型的广阔发展空间。 随后在Phi-1基础之上,微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5,成为当时最强小参数模型之一。 2023年12月,微软在Phi-1.5基础之上开发了Phi-2,参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下,击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中,Phi-2的性能甚至超过了700亿参数的Llama-2。 本次发布的Phi-3系列集合了之前三代所有的优秀技术特征,并使用了海量高质量数据集、创新的训练、微调方法,使其成为目前最强的开源小参数模型。 Phi-3-mini架构简单介绍 Phi-3-mini采用了transformer架构,支持4K和128K上下文窗口,也是同类小模型中第一个支持128K的开源产品。 高质量训练数据集是Phi-3-mini性能超强的重要原因之一,微软使用了3.3T tokens数据集包括:经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码; 通过合成数据创建的教科书式数据,例如,数学、编码、常识推理、世界常识、心理科学等; 高质量聊天格式的监督数据,涵盖各种主题以反映人类在不同方面的偏好,例如,遵循指令、真实性、诚实性等。 在训练策略方面,为了帮助Phi-3-mini更好地吸收合成数据,微软使用了迭代训练策略:初始阶段,Phi-3-mini使用了公开网络数据,学会了基本的语法、语义和上下文理解; 迭代阶段,将合成数据与网络数据合并构建全新的训练集,并对Phi-3-mini进行迭代训练,进一步强化模型的理解和生成能力,并且进行多次重复训练。 测试数据方面,Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中,对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。 结果显示,Phi-3-mini仅通过少量样本提示,在语言理解、编码、数学的性能超过了参数更大的模型,整体性能非常出色。 微软表示,在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中,Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5,资源消耗却更少。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33685.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI数字人加入卖货大军,成本5000日入8万,这个赛道又火了? 上一篇 2025 年 8 月 13 日 下午11:13 这个禁止打字,只能发语音的AI Native产品,成了硅谷最火的社交软件 下一篇 2025 年 8 月 13 日 下午11:13 相关推荐 行业动态 Meta与Midjourney合作,集成在新模型中 Meta将把Midjourney的AI图像与视频生成能力嵌入未来模型和产品,直接对标 OpenAI Sora、Google Veo 等业内领先方案。 siyushenqi.com 2025 年 8 月 27 日 610000 干货荟萃丨新兴城市出海峰会·武汉:深度刨析游戏出海细分赛道 看这几家大厂负责人怎么说 北上广深之外,中国新一线城市也诞生大量优秀的全球性互联网企业,武汉就是其中之一。扬帆出海联手火山引擎等多家平台,聚焦武汉出海新生态,9月28日带来了新兴城市出海峰会的武汉专场,本文是本次峰会多位嘉宾的精华分享整理。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 463000 行业动态 风口淘金,“玩坏了”的表情包引领线上社交新潮流 越南娱乐市场已走上“搞笑”之路。 siyushenqi.com 2025 年 8 月 17 日 411000 行业动态 前腾讯PM:AI的商业模式最好是毛毛虫模式 本文汇总了关于AIGC商业化的13个非共识认知—— siyushenqi.com 2025 年 8 月 13 日 449000 微软深夜放炸弹!GPT-4 Office全家桶发布,10亿打工人被革命 AI桌面革命深夜打响,GPT-4全面接入微软Office全家桶,势必颠覆人类办公! siyushenqi.com 2025 年 8 月 14 日 • 行业动态 448000 成为下一个SHEIN?每月600万流量的Cider可能不这么想 当下,快时尚市场已成为时尚产业中的主流。而在这个市场中,SHEIN作为领先品牌之一,一直以来都引领着潮流,拥有着众多粉丝。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 446000 行业动态 AI革命下一站:Anthropic与OpenAI斥巨资打造“虚拟员工” Anthropic与OpenAI正用大模型+模拟企业软件,训练AI像白领一样操作Salesforce、Zendesk、Cerner等系统,完成复杂工作流。 siyushenqi.com 2025 年 9 月 22 日 422000 Shopee正式进入阿根廷市场:包邮有门槛、可分期 在巴西、墨西哥、哥伦比亚和智利之后,准备多时的Shopee阿根廷市场也正式开通了,在拉美再扎了一个点。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 591000 行业动态 2026年3月全球手游收入与下载量排行榜TOP10 Sensor Tower发布2026年3月全球手游收入与下载量排行榜。《Last War: Survival Game》蝉联收入榜首,《Block Blast!》领跑下载榜。文章深度分析头部游戏运营策略及市场增长趋势。 转自扬帆出海 2026 年 4 月 10 日 473000 行业动态 Manus 在海外发生了什么?凭什么撑起 20 亿美元的估值? Manus作为一家中国创业公司,近期传出未经官方认证的消息称其ARR近1亿美元,估值达20亿美元。然而,Manus在国内和国外的评价反差巨大。在国内,Manus曾引发大量质疑和批评,而海外尤其是硅谷的AI圈子里对其评价普遍较好,海外巨头如谷歌、微软等都在认真看待Manus,并积极推进合作。 siyushenqi.com 2025 年 8 月 13 日 491000 行业动态 周受资的危急时刻 要么字节跳动剥离TikTok,要么美国下架TikTok。 siyushenqi.com 2025 年 8 月 8 日 453000 行业动态 北京、上海、华南、福建、成都...2025出海代表都有谁!丨出海游戏公司盘点(上篇) 2025出海游戏公司风向标。 siyushenqi.com 2025 年 10 月 30 日 531000 行业动态 一条视频带货262万!TikTok Shop美区达人周榜(11.20-11.26) 在本次黑五强爆发期间,TikTok Shop英美站点各种爆品不断涌现,实现销量节节高升,各行业捷报频传,爆品不断。 siyushenqi.com 2025 年 8 月 12 日 458000 行业动态 2021年2月全球热门移动应用收入TOP10 Sensor Tower 商店情报数据显示,2021年2月抖音及海外版TikTok在全球App Store和Google Play吸金超过1.1亿美元。 siyushenqi.com 2025 年 8 月 25 日 578000 行业动态 eBay德国站取消货到付款功能,推动卖家合规销售 eBay持续推进合规化进程。 siyushenqi.com 2025 年 8 月 12 日 395000 行业动态 WhatsApp协议号的风险防控与合规运营 加强数据隐私保护 提升用户安全措施 确保合规性与法规遵循 监控协议号使用情况 定期进行风险评估 加强数据隐私保护 随着WhatsApp协议号在企业中的广泛应用,数据隐私的保护成为了核心关注点。企业在使用WhatsApp协议号时,必须严格遵循数据隐私相关的法律法规,确保用户的个人信息不会遭到泄露或滥用。企业需通过加密技术来保障信息在传输过程中的安全,同时,确保… siyushenqi.com 2025 年 8 月 13 日 下午11:13 533000 行业动态 2022游戏前瞻:爆品化、云游化、混合变现深度演绎 循着技术、商业变现路径,走上快车道 siyushenqi.com 2025 年 8 月 3 日 411000 行业动态 AI,正在“杀死”哪些软件? 2026年AI正深度冲击软件业,从办公工具到开发流程面临重塑。软件公司需转型为结果交付方、能力提供方或围绕AI重做业务,以应对洗牌。 转自扬帆出海 2026 年 3 月 27 日 337000 行业动态 干了10年外贸,我掏心窝子聊聊那些被低估的获客渠道 干了十年外贸,我发现真正有效的获客往往来自被低估的“笨办法”。本篇深度剖析WhatsApp、Facebook、Instagram、YouTube、LinkedIn和独立站如何超越工具层面,通过内容与信任构建,实现高质量客户转化,重新解读矩阵营销的深层逻辑。 siyushenqi.com 2026 年 3 月 6 日 292000 行业动态 关停Now直播 腾讯转身上线AI社交APP“未伴" AI社交玩法或正在潜移默化地“接棒”传统社交。 siyushenqi.com 2025 年 8 月 13 日 424000 TiKToK为啥这么猛? 海外社交应用巨头 为何没能“掐死”TiKToK? siyushenqi.com 2025 年 8 月 26 日 • 行业动态 433000 行业动态 拍10部火1部,道观也来凑热闹,短剧成吸金神器? 短剧疯狂:几十万成本撬动过亿票房,演员一天片酬涨到两万。 siyushenqi.com 2025 年 8 月 19 日 436000 行业动态 2024年4月成功出海的中国手游 - 《Last War》蝉联收入榜首,《AFK Journey》登顶增长榜 2024年4月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 18 日 586000 行业动态 【市场洞察】移动市场 2023 年第 3 季度总结 - 热门应用市场篇 本篇为移动市场2023年第3季度热门应用市场总结。 siyushenqi.com 2025 年 8 月 18 日 395000 行业动态 人形机器人,困在A轮里 智元机器人在经历6轮A轮融资后挺进B轮,但更多人形机器人创企仍困在A轮融资阶段。松延动力是其中典型,自2023年9月成立后已完成5次融资,但仍未进入B轮。其创始人姜哲源表示,企业竞争主要集中在融资领域,融资跟不上就可能被淘汰。 siyushenqi.com 2025 年 8 月 13 日 469000 行业动态 硬件搭上AI,字节美团相中万亿新赛道 AI+硬件的春天来了? siyushenqi.com 2025 年 8 月 13 日 423000 行业动态 美团外卖再出新招:与到店服务融合,创新不止 在全国推“蜂窝制”运营。 siyushenqi.com 2025 年 8 月 5 日 516000 行业动态 沐瞳STG新游登顶全球34个国家免费下载榜后,TapTap评分怎么就跌破4.8了? 画风独树一帜,游戏独木难支? siyushenqi.com 2025 年 9 月 5 日 496000 行业动态 AI漫剧版权大战:这回真的炸了 灵境万维AI漫剧《末世超市》2.2亿播放爆火,3天后被漫谭文化发函指控“系统性抄袭”,双方互甩调色盘,引爆行业版权罗生门。 siyushenqi.com 2026 年 1 月 12 日 371000 印度手游赶超中国倒计时,如何扩大内需成关键 中国的限制性政策,或许也会为全球游戏市场带来一个巨大的悬念。那就是中国是否不再是世界上最大的手游市场了?印度作为中国主要的竞争对手,在窥视着取而代之的机会。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 456000 发表回复 请登录后评论...登录后才能评论 提交