8x7B开源MoE击败Llama 2逼近GPT-4!欧版OpenAI震惊AI界,22人公司半年估值20亿 siyushenqi.com • 2025 年 8 月 13 日 下午10:53 • 行业动态 • 阅读 482 前几日,一条MoE的磁力链接引爆AI圈。刚刚出炉的基准测试中,8*7B的小模型直接碾压了Llama 2 70B!网友直呼这是初创公司版的超级英雄故事,要赶超GPT-4只是时间问题了。有趣的是,创始人姓氏的首字母恰好组成了「L.L.M.」。 开源奇迹再一次上演:Mistral AI发布了首个开源MoE大模型。 几天前,一条磁力链接,瞬间震惊了AI社区。 87GB的种子,8x7B的MoE架构,看起来就像一款mini版「开源GPT-4」! 无发布会,无宣传视频,一条磁力链接,就让开发者们夜不能寐。 这家成立于法国的AI初创公司,在开通官方账号后仅发布了三条内容。 6月,Mistral AI上线。7页PPT,获得欧洲历史上最大的种子轮融资。 9月,Mistral 7B发布,号称是当时最强的70亿参数开源模型。 12月,类GPT-4架构的开源版本Mistral 8x7B发布。几天后,外媒金融时报公布Mistral AI最新一轮融资4.15亿美元,估值高达20亿美元,翻了8倍。 如今20多人的公司,创下了开源公司史上最快增长纪录。 所以,闭源大模型真的走到头了? 8个7B小模型,赶超700亿参数Llama 2 更令人震惊的是,就在刚刚,Mistral-MoE的基准测试结果出炉—— 可以看到,这8个70亿参数的小模型组合起来,直接在多个跑分上超过了多达700亿参数的Llama 2。 来源:OpenCompass 英伟达高级研究科学家Jim Fan推测,Mistral可能已经在开发34Bx8E,甚至100B+x8E的模型了。而它们的性能,或许已经达到了GPT-3.5/3.7的水平。 这里简单介绍一下,所谓专家混合模型(MoE),就是把复杂的任务分割成一系列更小、更容易处理的子任务,每个子任务由一个特定领域的「专家」负责。 1. 专家层:这些是专门训练的小型神经网络,每个网络都在其擅长的领域有着卓越的表现。 2. 门控网络:这是MoE架构中的决策核心。它负责判断哪个专家最适合处理某个特定的输入数据。门控网络会计算输入数据与每个专家的兼容性得分,然后依据这些得分决定每个专家在处理任务中的作用。 这些组件共同作用,确保适合的任务由合适的专家来处理。门控网络有效地将输入数据引导至最合适的专家,而专家们则专注于自己擅长的领域。这种合作性训练使得整体模型变得更加多功能和强大。 有人在评论区发出灵魂拷问:MoE是什么? 根据网友分析,Mistral 8x7B在每个token的推理过程中,只使用了2个专家。 以下是从模型元数据中提取的信息: {"dim": 4096, "n_layers": 32, "head_dim": 128, "hidden_dim": 14336, "n_heads": 32, "n_kv_heads": 8, "norm_eps": 1e-05, "vocab_size": 32000, "moe": {"num_experts_per_tok": 2, "num_experts": 8} 与GPT-4(网传版)相比,Mistral 8x7B具有类似的架构,但在规模上有所缩减: - 专家数量为8个,而不是16个(减少了一半) - 每个专家拥有70亿参数,而不是1660亿(减少了约24倍) - 总计420亿参数(估计值),而不是1.8万亿(减少了约42倍) - 与原始GPT-4相同的32K上下文窗口 此前曾曝出,GPT-4很可能是由8个或者是16个MoE构成 目前,已经有不少开源模型平台上线了Mistral 8×7B,感兴趣的读者可以亲自试一试它的性能。 LangSmith:https://smith.langchain.com/ Perplexity Labs:https://labs.perplexity.ai/ OpenRouter:https://openrouter.ai/models/fireworks/mixtral-8x7b-fw-chat 超越GPT-4,只是时间问题? 网友惊呼,Mistral AI才是OpenAI该有的样子! 有人表示,这个基准测试结果,简直就是初创公司版本的超级英雄故事! 无论是Mistral和Midjourney,显然已经破解了密码,接下来,要超越GPT-4只是问题。 深度学习大牛Sebastian Raschka表示,基准测试中最好再加入Zephyr 7B这一列,因为它是基于Mistral 7B的。这样,我们就可以直观地看出Mistral微调和Mistral MoE的对比。 有人表示质疑:这些指标主要是对基础模型有意义,而不是对聊天/指令微调。 Raschka回答说,没错,但这仍然可以看作是一种健全性检测,因为指令微调经常会损害模型的知识,以及基于QA的性能。 对于指令微调模型,添加MT-Bench和AlpacaEval等对话基准测试是有意义的。 并且,Raschka也强调,自己只是假设Mistral MoE没有经过指令微调,现在急需一份paper。 而且,Raschka也怀疑道:Mistral MoE真的能超越Llama 2 7B吗? 几个月前就有传言,说原始的Mistra 7B模型可能在基准数据集上进行了训练,那么这次的Mistral 8x7B是否也是如此? 软件工程师Anton回答说,我们也并不能确定GPT-4没有在基准测试上训练。考虑到Mistral团队是前Llama的作者,希望他们能避免污染的问题。 Raschka表示,非常希望研究界为这些LLM组织一场Kaggle竞赛,其中一定要有包含尚未使用数据的全新基准数据集。 也有人讨论到,所以现在大模型的瓶颈究竟是什么?是数据,计算,还是一些神奇的Transformer微调? 这些模型之间最大的区别,似乎只是数据集。OpenAI有人提到过,他们训练了大量的类GPT模型,与训练数据相比,架构更改对性能的影响不大。 有人表示,对「7Bx8E=50B」的说法很感兴趣。是否是因为此处的「集成」是基于LoRa方法,从而节省了很多参数? (7x8=56,而6B对于LoRa方法来说节省得很少,主要是因为它可以重复使用预训练权重) 有人已经期待,有望替代Transformer的全新Mamba架构能够完成这项工作,这样Mistral-MoE就可以更快、更便宜地扩展。 OpenAI科学家Karpathy的言语中,还暗戳戳嘲讽了一把谷歌Gemini的虚假视频演示。 毕竟,比起提前剪辑好的视频demo,Mistral AI的宣传方式实在太朴素了。 不过,对于Mitral MoE是第一个开源MoE大模型的说法,有人出来辟了谣。 在Mistral放出这个开源的7B×8E的MoE之前,英伟达和谷歌也放出过其他完全开源的MoE。 曾在英伟达实习的新加坡国立大学博士生Fuzhao Xue表示,他们的团队在4个月前也开源了一个80亿参数的MoE模型。 成立仅半年,估值20亿 由前Meta和谷歌研究人员创立,这家总部位于巴黎的初创公司Mistral AI,仅凭6个月的时间逆袭成功。 值得一提的是,Mistral AI已在最新一轮融资中筹集3.85亿欧元(约合4.15亿美元)。 这次融资让仅有22名员工的明星公司,估值飙升至约20亿美元。 这次参与投资的,包括硅谷的风险投资公司Andreessen Horowitz(a16z)、英伟达、Salesforce等。 6个月前,该公司刚刚成立仅几周,员工仅6人,还未做出任何产品,却拿着7页的PPT斩获了1.13亿美元巨额融资。 现在,Mistral AI估值相当于翻了近10倍。 说来这家公司的名头,可能并不像OpenAI名满天下,但是它的技术能够与ChatGPT相匹敌,算得上是OpenAI劲敌之一。 而它们分别是两个极端派————开源和闭源的代表。 Mistral AI坚信其技术以开源软件的形式共享,让任何人都可以自由地复制、修改和再利用这些计算机代码。 这为那些希望迅速构建自己的聊天机器人的外部开发者提供了所需的一切。 然而,在OpenAI、谷歌等竞争对手看来,开源会带来风险,原始技术可能被用于传播假信息和其他有害内容。 Mistral AI背后开源理念的起源,离不开核心创始人,创办这家公司的初心。 今年5月,Meta巴黎AI实验室的研究人员Timothée Lacroix和Guillaume Lample,以及DeepMind的前员工Arthur Mensch共同创立Mistral AI。 论文地址:https://arxiv.org/pdf/2302.13971.pdf 人人皆知,Meta一直是推崇开源公司中的佼佼者。回顾2023年,这家科技巨头已经开源了诸多大模型,包括LLaMA 2、Code LLaMA等等。 因此,不难理解Timothée Lacroix和Guillaume Lample创始人从前东家继承了这一传统。 有趣的是,创始人姓氏的首字母恰好组成了「L.L.M.」。 这不仅是姓名首字母简写,也恰好是团队正在开发的大语言模型(Large Language Model)的缩写。 这场人工智能竞赛中,OpenAI、微软、谷歌等科技公司早已成为行业的佼佼者,并在LLM研发上上斥资数千亿美元。 凭借充足的互联网数据养料,使得大模型能自主生成文本,从而回答问题、创作诗歌甚至写代码,让全球所有公司看到了这项技术的巨大潜力。 因此OpenAI、谷歌在发布新AI系统前,都将花费数月时间,做好LLM的安全措施,防止这项技术散播虚假信息、仇恨言论及其他有害内容。 Mistral AI的首席执行官Mensch表示,团队为LLM设计了一种更高效、更具成本效益的训练方法。而且模型的运行成本不到他们的一半。 有人粗略估计,每月大约300万美元的Mistral 7B可以满足全球免费ChatGPT用户100%的使用量。 他们对自家模型的既定目标,就是大幅击败ChatGPT-3.5,以及Bard。 然而,很多AI研究者、科技公司高、还有风险投资家认为,真正赢得AI竞赛的将是——那些构建同样技术并免费提供给大众的公司,且不设任何安全限制。 Mistral AI的诞生,如今被视为法国挑战美国科技巨头的一个机遇。 自互联网时代开启以来,欧洲鲜有在全球影响重大的科技公司,但在AI领域,Mistral AI让欧洲看到了取得进展的可能。 另一边,投资者们正大力投资那些信奉「开源理念」的初创公司。 去年12月,曾在OpenAI和DeepMind担任研究科学家创立了Perplexity AI,在最近完成了一轮7000万美元的融资,公司估值达到了5亿美元。 风险投资公司a16z的合伙人Anjney Midha对新一轮Mistral的投资表示: 我们坚信 AI 应该是开放源代码的。推动现代计算的许多主要技术都是开源的,包括计算机操作系统、编程语言和数据库。广泛分享人工智能底层代码是最安全的途径,因为这样可以有更多人参与审查这项技术,发现并解决潜在的缺陷。 没有任何一个工程团队能够发现所有问题。大型社区在构建更便宜、更快、更优、更安全的软件方面更有优势。 创始人Mensch在采访中透露,公司目前还没有盈利,不过会在「年底前」发生改变。 目前,Mistral AI已经研发了一个访问AI模型的新平台,以供第三方公司使用。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33345.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 马斯克摊上事了!Grok AI被爆疑似抄袭ChatGPT?? 上一篇 2025 年 8 月 13 日 下午10:53 马斯克的新AI我试了,开局就被它“骂”了一顿。。。 下一篇 2025 年 8 月 13 日 下午10:54 相关推荐 行业动态 拉美市场潜力大爆发,7000万新电商消费者正在涌入 增长尤为明显的拉美市场,对电商巨头们有着致命吸引力。 siyushenqi.com 2025 年 8 月 12 日 427000 行业动态 PAGC2025丨大咖论道,解锁DTC品牌增长新动能,翻开出海人的智汇新篇 掌握出海人的品牌增长秘笈。 siyushenqi.com 2025 年 8 月 15 日 479000 行业动态 运气拼输赢!韩国一款塔防游戏凭运气杀出重围? 111%再次推出“有毒”游戏。 siyushenqi.com 2025 年 8 月 18 日 503000 “叠纸系”浮出水面,鹰角还来助拳,这家上海年轻公司刚出道即走红? 没有透露玩法,只公布了数段介绍、一些图片和视频,就吸引了大量玩家关注,并斩获10万预约…… siyushenqi.com 2025 年 8 月 25 日 • 行业动态 550000 行业动态 杨植麟找出路 Kimi曾是国内月活数仅次于字节旗下豆包的AI APP,月活达到3600万,但半年后月活下滑至1820万,排名从第二滑至第四。面对DeepSeek等竞争对手的冲击,Kimi的技术优势逐渐被削弱,用户留存面临挑战。 siyushenqi.com 2025 年 8 月 13 日 503000 行业动态 跨境电商,一人搞定?我们雇阿里国际的AI开了家店,赚遍全球市 创业夫妻店雇AI做设计,显示器爆单成行业品牌No.1。这背后,不仅是3亿用户出海业务给的底气,也是因为一个团队一心做好了3件事。 siyushenqi.com 2025 年 8 月 5 日 444000 行业动态 年增长500万用户,两款小众社交应用靠“饥饿营销”拿捏用户,破解用户心理成关键 如何靠“搞心态”拉高用户欲望。 siyushenqi.com 2025 年 8 月 17 日 427000 行业动态 亚马逊斥资28亿美元 在印度建设第二个云服务区域 腾讯科技讯 11月7日,印度政府一位高级官员周五宣布,亚马逊将在特伦甘纳邦(Telangana)投资约28亿美元 siyushenqi.com 2025 年 8 月 26 日 490000 行业动态 版号的猫鼠游戏:500起游戏被处罚案例,多数因举报下架 几乎每个月都有游戏厂商因版号问题而被处罚的新闻传出,游戏新知获悉相关案例就超过500起。版号监察力度依然在加大,违规操作在监管面前愈发无所遁形。 siyushenqi.com 2025 年 8 月 25 日 478000 行业动态 AI爆火,阿联酋想抢占先机 阿联酋正开始发挥超出自身实力的作用。 siyushenqi.com 2025 年 8 月 13 日 437000 行业动态 东南亚电商开始“变天”了吗? 东南亚电商市场,进还是退? siyushenqi.com 2025 年 8 月 13 日 469000 行业动态 WhatsApp群发功能全面解析与最佳实践指南 WhatsApp 群发功能提供了便捷的消息传递方式,适用于企业与个人用户,尤其在营销和通知中有显著优势。通过广播列表和 WhatsApp Business API,用户可以根据需求进行高效且合规的沟通。本内容介绍了两者的区别及应用场景... siyushenqi.com 2026 年 1 月 24 日 367000 行业动态 苹果CEO库克否认退休传闻 苹果CEO库克驳斥退休传言,称热爱工作且无法想象离开苹果,正值公司50周年及AI、折叠屏产品关键期。 转自扬帆出海 2026 年 3 月 23 日 229000 行业动态 OpenClaw高级插件开发与扩展实践 OpenClaw 插件系统提供灵活的扩展机制,支持自定义功能模块和第三方集成。通过模块化设计和 SDK 接口,开发者可以高效组合、更新和管理插件,从而提升系统功能性和适应不同应用场景的能力。 siyushenqi.com 2026 年 3 月 10 日 320000 行业动态 专访:首月预估流水超1.7亿元,两人865天熬出98%好评的爆款 《米塔》是由俄罗斯AIHASTO团队开发的一款美少女恐怖冒险游戏,仅由两名开发者耗时865天完成。游戏上线一周获得超1万条评论,好评率高达98%,上线一月销量达200万套,销售额2350万美元。其成功源于独特的恐怖与浪漫结合的风格,以及对二次元和恐怖元素的巧妙融合。 siyushenqi.com 2025 年 8 月 17 日 523000 行业动态 2022年11月中国手游发行商全球收入排行榜 2022年11月共43个中国厂商入围全球手游发行商收入榜TOP100。 siyushenqi.com 2025 年 8 月 24 日 475000 行业动态 2.13亿!九鼎投资拿下南京机器人企业 九鼎2.13亿元现金控股南京神源生,溢价50%且无对赌,意在切入具身智能核心零部件赛道,打造第二增长曲线。 siyushenqi.com 2025 年 8 月 14 日 452000 行业动态 虐恋占比超61%!德国短剧市场的爆款逻辑与竞争新态势 德国是欧洲最大经济体,短剧投放量超3万部、平台超600家,为中国出海重点市场。 siyushenqi.com 2025 年 9 月 24 日 397000 行业动态 2023年12月全球热门移动游戏下载量TOP10 2023年12月全球热门移动游戏下载量TOP10出炉 siyushenqi.com 2025 年 8 月 18 日 430000 闷声赚了12亿+,这家厂商在海外开测了一款创新SLG 游戏出海多隐形大佬。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 417000 行业动态 斯坦福最新研究:硅谷的AI创业潮,其实是一场大型的资源错配 斯坦福大学研究团队在2025年1月至5月间完成了一项调查,采访了1500名美国员工和52名AI专家,评估了104个职业中的844项具体任务,旨在系统量化人们对于AI的需求。研究结果显示,员工对于AI自动化的渴望程度呈现出复杂图景,仅有7.11%的任务得分大于等于4分(员工希望大部分由AI接管),6.16%的任务得分在2分以下(员工强烈抵触自动化),46.1%的任务获得了3分以上的正面评价。 siyushenqi.com 2025 年 8 月 13 日 475000 行业动态 热卖5万单、频造爆款!这一品类在Shopee上狂飙? 销量超5万单,这一产品成功火了 siyushenqi.com 2025 年 8 月 12 日 525000 被日本厂商放弃的二次元游戏《神角技巧》,在谷得游戏接盘后斩获TapTap 9.1高分 不久前的6月30日,一款独特的沙盒游戏开始了删档计费测试——这便是由谷得游戏所开发的,二次元沙盒MMO《神角技巧》。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 484000 行业动态 圆桌讨论:破圈·技术引力场——Akamai 华南区互联网事业部 总经理 唐鉴维、INSIGHT ENTERTAINMENT 创始人 宋月雷、爱聊科技 CTO 周彤 圆桌讨论:破圈·技术引力场 演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 399000 行业动态 继大疆押注后,智能派再获数亿元融资,或与拓竹正面硬刚 消费级3D打印品牌智能派即将完成数亿元融资,由深创投领投,美团龙珠、美团战投、高瓴资本等跟投。大疆此前已投资智能派,此次融资释放信号:智能派将切入FDM 3D打印产品线,与拓竹正面竞争。 转自扬帆出海 2026 年 4 月 18 日 317000 行业动态 私域神器适合哪些出海行业推广营销获客? 游戏出海、金融科技、跨境电商、能源行业、健康医疗、社交软件、旅游服务、物流运输、海外地产、娱乐传媒、在线教育、制 造 业 siyushenqi.com 2025 年 7 月 21 日 511001 行业动态 小米 AI 眼镜刚来,苹果眼镜 2027 年杀到!库克最后的 One More Thing? 2025年,智能眼镜成为科技领域的热门产品。Rokid、Meta等品牌纷纷发布新品,小米也推出了首款智能眼镜,Google也进入“轻量眼镜”和“头显”市场,苹果也即将加入竞争。 siyushenqi.com 2025 年 8 月 13 日 415000 莉莉丝的SLG宇宙有了“四部曲”,新游《Age Of KITA》来自异星世界 从《剑与家园》到《万国觉醒》再到最近横扫日韩市场的《战火勋章》,想必很少有人会质疑莉莉丝SLG品类的全球发行能力。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 536000 行业动态 PAGC2025丨高效链接资源,共享行业红利,短剧对接会实战干货集结 PAGC2025丨风口剧场——短剧对接会,嘉宾演讲精彩回顾。 siyushenqi.com 2025 年 8 月 15 日 419000 2022年11月澳大利亚电商市场报告 受黑五网一的促销活动影响,11月也成为澳大利亚线上购物最重要的时间节点之一。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 389000 发表回复 请登录后评论...登录后才能评论 提交