苹果开源OpenELM,大模型开源领域再迎一巨头! siyushenqi.com • 2025 年 8 月 13 日 下午11:14 • 行业动态 • 阅读 482 4月24日,苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似,是一款专门针对手机等移动设备的模型。 4月24日,苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似,是一款专门针对手机等移动设备的模型。 OpenELM有指令微调和预训练两种模型,一共有2.7亿、4.5亿、11亿和30亿4种参数,提供生成文本、代码、翻译、总结摘要等功能。 虽然最小的参数只有2.7亿,但苹果使用了1.8万亿tokens的数据进行了预训练,这也是其能以小参数表现出超强性能的主要原因之一。 值得一提的是,苹果还把训练OpenELM模型的深度神经网络库CoreNet也开源了,仅1天多的时间Github就超过1100颗星。苹果的MobileOne、CVNets、MobileViT、FastVit等知名研究都是基于CoreNet完成的。 开源地址:https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.com CoreNet地址:https://github.com/apple/corenet?ref=maginative.com 论文地址:https://arxiv.org/abs/2404.14619 目前,大模型领域主要分为开源和闭源两大阵营,国内外知名闭源的代表企业有OpenAI、Anthropic、谷歌、Midjourney、Udio、百度、科大讯飞、出门问问、月之暗面等。 开源阵营有Meta、微软、谷歌、百川智能、阿里巴巴、零一万物等。苹果作为手机闭源领域的领导者,本次却罕见地加入开源大模型阵营,可能在效仿谷歌的方式先通过开源拉拢用户,再用闭源产品去实现商业化营利。 不管咋说,苹果选择开源对于开发者、中小企业来说都是一个不错的福利。因为,与以往只提供模型权重和推理代码的做法不同,苹果发布了完整的训练、评估框架等。 主要内容包括数据准备、模型训练、微调以及评估流程,同时提供了多个预训练检查点和训练日志,可以让我们深度了解全球顶级科技公司的技术思想和开发流程。 OpenELM架构简单介绍 OpenELM采用了无编码器的transformer架构,并在多个方面进行了技术创新。OpenELM的使用了一种“层级缩放”策略,使得模型能够跨各个转换器层更有效地分配参数,能以最少的训练数据取得了更好的性能,同时极大提升准确率。 例如,11亿参数的OpenELM,比12亿参数的OLMo模型的准确率高出2.36%,而使用的预训练数据却只有OLMo的一半。 此外,OpenELM不使用任何全连接层中的可学习偏置参数,采用RMSNorm进行预归一化,并使用旋转位置嵌入编码位置信息。 OpenELM还通过分组查询注意力代替多头注意力,用SwiGLU FFN替换了传统的前馈网络,并使用了Flash注意力来计算缩放点积注意力,能以更少的资源来进行训练和推理。 训练流程与数据集 在训练流程中,苹果采用了CoreNet作为训练框架,并使用了Adam优化算法进行了35万次迭代训练。 苹果使用了批量大小为4096的小批量随机梯度下降进行模型参数更新,并设置了适当的学习率和权重衰减。 预训练数据集方面,OpenELM使用了包括RefinedWeb、去重的PILE、RedPajama的子集和Dolma v1.6的子集在内的公共数据集,一共约1.8万亿tokens数据。 此外,苹果使用了动态分词和数据过滤的方法,实现了实时过滤和分词,从而简化了实验流程并提高了灵活性。还使用了与Meta的Llama相同的分词器,以确保实验的一致性。 这次苹果真的是很有诚意的开源,一开到底所有内容都贡献出来了,家大业大就是敢玩。这也表明苹果进军大模型领域的决心,以后开源领域更热闹啦~ 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33687.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 这个禁止打字,只能发语音的AI Native产品,成了硅谷最火的社交软件 上一篇 2025 年 8 月 13 日 下午11:13 首日破发,“AIGC第一股”出门问问今日上市 下一篇 2025 年 8 月 13 日 下午11:14 相关推荐 行业动态 OpenAI发布sCM提升50倍效率,扩散模型重大技术突破! OpenAI发布了一种新的扩散模型方法sCM,该方法能够在保持生成图片质量的同时显著提高推理效率,仅需两步即可生成高质量图片或3D模型,实现了50倍的时钟加速。 siyushenqi.com 2025 年 8 月 13 日 452000 行业动态 亚马逊突发新规!卖家成本再次暴涨 9月30日起,美加站卖家必须默认加入“物流捐赠计划”且不可退出,捐赠仍需按件支付1.04-14.32美元处理费,剥夺库存自主权并增加成本。 siyushenqi.com 2025 年 8 月 27 日 619000 警惕高价AI手机 AI手机的时代真的来了吗? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 431000 行业动态 单周卖1.6万件,个护出现新热品!TikTok Shop美国小店(4.15-4.21)新榜 研究机构Earnest Analytics公布了一组关于电商平台复购率的最新数据 siyushenqi.com 2025 年 8 月 6 日 451000 行业动态 OpenAI CEO奥特曼谈智能时代:我们可能在“几千天内”拥有超级AI OpenAI首席执行官山姆·奥特曼预测,超级人工智能可能在未来十年内出现,这可能在几千天内实现。 siyushenqi.com 2025 年 8 月 13 日 487000 行业动态 又有米哈游投资的公司拟上市:5年做到行业第一 成立5年,Suplay凭「卡卡沃」拿下中国收藏级非对战卡牌市占第一。 siyushenqi.com 2026 年 1 月 7 日 347000 行业动态 OpenAI向1亿ChatGPT用户,公开10种安全措施 OpenAI为了保证全球超过1亿的ChatGPT和数百万开发人员,能以安全、稳定的方式使用其产品,更新了安全策略和保护措施。 siyushenqi.com 2025 年 8 月 13 日 420000 历数a16z五次榜单:中国AI已崛起,成都有家AI创企持续上榜 从2023秋到2025夏,a16z五版“全球AI消费百强榜”见证了中国AI从缺席到霸榜的逆袭。 siyushenqi.com 2025 年 9 月 15 日 • 行业动态 523000 行业动态 秦点科技 确认入驻PAGC 2025丨第五届全球产品与增长展会! 秦点科技 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 391000 行业动态 2023年8月中国手游发行商全球收入排行榜 2023年8月共40个中国厂商入围全球手游发行商收入榜TOP100,合计吸金20.7亿美元,占本期全球TOP100手游发行商收入39.3% siyushenqi.com 2025 年 8 月 18 日 487000 网易做了七年的游戏,成功登顶美国 iOS 下载榜 七年磨一剑,上线即登顶美国免费榜、畅销22位,1000万预注册把IP势能一次性兑现。 siyushenqi.com 2025 年 9 月 10 日 • 行业动态 506000 行业动态 亚马逊新款AI芯片来了 亚马逊首款3nm AI训练芯片,主打“4倍级”性能/能效/带宽提升,单UltraServer可扩至百万芯片,仅强调性价比,不拼顶级算力。 siyushenqi.com 2025 年 12 月 3 日 388000 腾讯Facebook向苹果投降,后IDFA时代游戏营销走向何处? 1995年,美国麻省理工学院教授尼古拉斯·尼葛洛庞帝在其新书《数字化生存》中,提出了一个令人饶有兴趣的概念——我的日报 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 449000 腾讯称海外取得战略性进展 《列王的纷争》去年流水近7亿 | 欧美出海秀 在本期榜单上,《使命召唤手游》和《State of Survival》分别是出海美国、德国游戏中,在畅销榜上排名最高的。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 578000 首月预售超200万元!新兴睡眠科技品牌Vesta如何征战海外? 调查显示,在中国,至少有3亿人失眠。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 492000 上市公司董事长亲自“督战”做跨境! 面对未知的转型之路,洪兴股份能否打破魔咒? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 438000 “热度失控”的TikTok爆品:卖爆亚马逊,二手价格翻6倍 2024开年第一热品。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 494000 行业动态 美团、智谱、Kimi等卷入隐私风暴 国家网络与信息安全信息通报中心通告,应用宝平台中35款移动应用存在违法违规收集使用个人信息的情况,智谱清言、Kimi等热门AI应用在列。智谱清言因“实际收集的个人信息超出用户授权范围”,Kimi因“实际收集的个人信息与业务功能没有直接关联”被通报。 siyushenqi.com 2025 年 8 月 13 日 414000 行业动态 玄学经济已经全球化了吗? 全球年轻人精神压力飙升,消费重心从“物质”转向“情绪”。疗愈经济年增10%,2025年将达7万亿美元,“情绪刚需”成为跨文化的新蓝海。 siyushenqi.com 2025 年 9 月 8 日 532000 行业动态 SHEIN融资20亿美元、Tik Tok Shop在印尼正式关闭 ...一文速览跨境电商投融资大事件 今天我们将一起回顾2022-2023年度跨境电商投融资大事件,以1年为周期,回顾跨境电商领域的投融资大新闻。 siyushenqi.com 2025 年 8 月 12 日 456000 PAGC 2025丨展会推荐官 微游互娱 SVP&CSO 何意、龙锐科技 联合创始人 王钊楷、狐之空 CEO 申阳 邀您参与万人出海展会 PAGC 2025丨展会推荐官 微游互娱 SVP&CSO 何意、龙锐科技 联合创始人 王钊楷、狐之空 CEO 申阳 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 441000 巴西之后,Shopee进入墨西哥市场 Shopee作为近年来发展尤为迅速的东南亚电商平台,不仅在东南亚本土的下沉市场积极扩张,也把火遍东南亚的Shopee大促广告曲带入了巴西。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 481000 去拉美最富有的国家做电商 智利是否有望成为拉美地区的又一掘金佳地?今天先来简单了解下智利的电商市场情况。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 430000 行业动态 跻身全球四大时尚品牌 SHEIN又带繁花出海 2023年SHEIN搜索量超越ZARA耐克,营收远超300亿美金。 siyushenqi.com 2025 年 8 月 12 日 431000 行业动态 沙特时尚电商Nejree推出“先试后买”服务,并获得1500万美元A轮融资 总部位于利雅得的沙特时尚电子商务平台 Nejree今天(7月11日)宣布,已经获得新一轮1500万美元A轮融资,投资方是Impact46。 siyushenqi.com 2025 年 8 月 13 日 427000 行业动态 Supercell投资芬兰新工作室Future Run,后者正开发跨平台体育竞技游戏 Supercell投资芬兰新工作室Future Run,后者正开发跨平台体育竞技游戏 siyushenqi.com 2025 年 8 月 19 日 457000 行业动态 2025年8月成功出海的中国手游 - 《Whiteout Survival》与《Kingshot》蝉联收入榜冠亚军 点点互动旗下《Kingshot》8月收入再度劲增26%,强势登顶出海手游收入增长榜,并继续携手《Whiteout Survival》包揽出海手游收入榜冠亚军。 siyushenqi.com 2025 年 9 月 11 日 521000 行业动态 应用商店App内购价格过高遭苹果打压:不许上架 新浪科技讯 2月20日早间消息,据报道,最近有开发者披露,苹果应用商店内存在一些欺骗性App操纵评分评价 siyushenqi.com 2025 年 8 月 25 日 562000 坚果资本Calvin:品牌出海十大趋势,从资本角度看内卷出路 4月18日,由跨境谷、万邑通、SHOPLINE联合主办的「出海·重塑」第二届全球品牌出海峰会在中国·杭州圆满举办,大会邀请了26位跨境领军人物来到现场,为1200+到场跨境品牌卖家展开分享。坚果资本投资副总裁Calvin以《2023年品牌出海的十大趋势,如何在内卷中找到自己的核心竞争力》为题进行了演讲,探讨了技术创新导向的驱动力、如何对供应链持续改善以及打造品牌文化,提高核心用户忠诚度等在品牌出海中建立核心竞争力的十大趋势。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 467000 行业动态 AI时代,百度的三大主义 李彦宏将人工智能比作新的工业革命,认为它将是一个长期的、对整个社会彻底重构的过程,而非短期现象或快速出现的“超级应用”。 siyushenqi.com 2025 年 8 月 13 日 404000 发表回复 请登录后评论...登录后才能评论 提交