苹果智能背后模型公布:3B模型优于Gemma-7B,服务器模型媲美GPT-3.5-Turbo siyushenqi.com • 2025 年 8 月 13 日 下午11:26 • 行业动态 • 阅读 412 Apple Intelligence 由多种高度智能的生成模型组成,这些模型专为用户的日常任务设计。在苹果刚刚更新的博客中,他们详细介绍了其中两款模型。 在刚刚结束的全球开发者大会上,苹果宣布了 Apple intelligence, 这是一款深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的全新个性化智能系统。 Apple Intelligence 由多种高度智能的生成模型组成,这些模型专为用户的日常任务设计。在苹果刚刚更新的博客中,他们详细介绍了其中两款模型: 一个拥有约 30 亿参数的设备端语言模型; 一个更大的基于服务器的语言模型,该模型通过私有云计算在苹果服务器上运行。 这两个基础模型是苹果生成模型家族的一部分,苹果表示,他们会在不久的将来分享更多关于这一模型家族的信息。 在这篇博客中,苹果用大量篇幅介绍了他们是如何开发高性能、快速且节能的模型;如何进行这些模型的训练;如何为特定用户需求微调适配器;以及如何评估模型在提供帮助和避免意外伤害方面的表现。 苹果基础模型的建模概览 预训练 基础模型是在 AXLearn 框架上训练而成的,这是苹果在 2023 年发布的一个开源项目。该框架建立在 JAX 和 XLA 之上,使得用户能够在各种硬件和云平台上高效且可扩展地训练模型,包括 TPU 以及云端和本地的 GPU。此外,苹果使用数据并行、张量并行、序列并行和 FSDP 等技术,沿着多个维度(如数据、模型和序列长度)扩展训练。 苹果在训练其基础模型时,使用了经过授权的数据,这些数据包括为了增强某些特定功能而特别选择的数据,以及由苹果的网页爬虫 AppleBot 从公开的网络上收集的数据。网页内容的发布者可以通过设置数据使用控制,选择不让他们的网页内容被用来训练 Apple Intelligence。 苹果在训练其基础模型时,从不使用用户的私人数据。为了保护隐私,他们会使用过滤器去除公开在互联网上的个人可识别信息,比如信用卡号码。此外,他们还会过滤掉粗俗语言和其他低质量的内容,以防这些内容进入训练数据集。除了这些过滤措施之外,Apple 还会进行数据提取和去重,并使用基于模型的分类器来识别并选择高质量的文档用于训练。 后训练 苹果发现数据质量对模型至关重要,因此在训练流程中采用了混合数据策略,即人工标注数据和合成数据,并进行全面的数据管理和过滤程序。苹果在后训练阶段开发了两种新算法:(1) 带有「teacher committee」的拒绝采样微调算法,(2) 使用带有镜像下降策略优化以及留一优势估计器的从人类反馈中进行强化学习(RLHF)算法。这两种算法显著提高了模型的指令跟随质量。 优化 除了保证生成模型本身的高性能,Apple 还采用了多种创新技术,在设备端和私有云上对模型进行优化,以提升速度和效率。特别是,他们对模型在生成第一个 token(单个字符或词语的基本单位)和后续 token 的推理过程都进行了大量优化,以确保模型的快速响应和高效运行。 苹果在设备端模型和服务器模型中都采用了分组查询注意力机制,以提高效率。为了减少内存需求和推理成本,他们使用了共享的输入和输出词汇嵌入表,这些表在映射时没有重复。设备端模型的词汇量为 49,000,而服务器模型的词汇量为 100,000。 对于设备端推理,苹果使用了低位 palletization,这是一个关键的优化技术,能够满足必要的内存、功耗和性能要求。为了保持模型质量,苹果还开发了一个新的框架,使用 LoRA 适配器,结合了混合的 2 位和 4 位配置策略 —— 平均每个权重 3.5 位 —— 以实现与未压缩模型相同的准确率。 此外,苹果还使用交互式模型延迟和功耗分析工具 Talaria,以及激活量化和嵌入量化,并开发了一种在神经引擎上实现高效键值 (KV) 缓存更新的方法。 通过这一系列优化,在 iPhone 15 Pro 上, 当模型接收到一个提示词时,从接收到这个提示词到生成第一个 token 所需的时间约为 0.6 毫秒,这个延迟时间非常短,表明模型在生成响应时非常快速生成速率为每秒 30 个 token。 模型适配 苹果将基础模型针对用户的日常活动进行了微调,并且可以动态地专门针对当前的任务。 研究团队利用适配器(可以插入预训练模型各个层的小型神经网络模块)来针对特定任务微调模型。具体来说,研究团队调整了注意力矩阵、注意力投影矩阵和逐点(point-wise)前馈网络中的全连接层。 通过仅微调适配器层,预训练基础模型的原始参数保持不变,保留模型的一般知识,同时定制适配器层以支持特定任务。 研究团队使用 16 bit 表征适配器参数的值,对于约 30 亿参数的设备模型,16 适配器的参数通常需要 10 兆字节。适配器模型可以动态加载、临时缓存在内存中以及交换。这使基础模型能够动态地专门处理当前的任务,同时有效地管理内存并保证操作系统的响应能力。 为了促进适配器的训练,苹果创建了一个高效的基础设施,以在基本模型或训练数据更新时快速重新训练、测试和部署适配器。 性能评估 苹果在对模型进行基准测试时,专注于人类评估,因为人类评估的结果与产品的用户体验高度相关。 为了评估特定于产品的摘要功能,研究团队使用了针对每个用例仔细采样的一组 750 个响应。评估数据集强调产品功能在生产中可能面临的各种输入,并包括不同内容类型和长度的单个文档和堆叠文档的分层混合。实验结果发现带有适配器的模型能够比类似模型生成更好的摘要。 作为负责任开发的一部分,苹果识别并评估了摘要固有的特定风险。例如,摘要有时会删除重要的细微差别或其他细节。然而,研究团队发现摘要适配器没有放大超过 99% 的目标对抗样本中的敏感内容。 图 3:摘要用例的「好」和「差」响应占比。 除了评估基础模型和适配器支持的特定功能之外,研究团队还评估了设备上模型和基于服务器的模型的一般功能。具体来说,研究团队采用一组全面的现实世界 prompt 来测试模型功能,涵盖了头脑风暴、分类、封闭式问答、编码、提取、数学推理、开放式问答、重写、安全、总结和写作等任务。 研究团队将模型与开源模型(Phi-3、Gemma、Mistral、DBRX)和规模相当的商业模型(GPT-3.5-Turbo、GPT-4-Turbo)进行比较。结果发现,与大多数同类竞争模型相比,苹果的模型更受人类评估者青睐。例如,苹果的设备上模型具有约 3B 参数,其性能优于较大的模型,包括 Phi-3-mini、Mistral-7B 和 Gemma-7B;服务器模型与 DBRX-Instruct、Mixtral-8x22B 和 GPT-3.5-Turbo 相比毫不逊色,同时效率很高。 图 4:苹果基础模型与可比较模型的评估中首选响应比例。 研究团队还使用一组不同的对抗性 prompt 来测试模型在有害内容、敏感主题和事实方面的性能,测量了人类评估者评估的模型违规率,数字越低越好。面对对抗性 prompt,设备上模型和服务器模型都很强大,其违规率低于开源和商业模型。 图 5:有害内容、敏感主题和事实性的违规响应比例(越低越好)。当面对对抗性 prompt 时,苹果的模型非常稳健。 考虑到大型语言模型的广泛功能,苹果正在积极与内部和外部团队进行手动和自动红队合作,以进一步评估模型的安全性。 图 6:在安全 prompt 方面,苹果基础模型与同类模型的并行评估中首选响应的比例。人类评估者发现苹果基础模型的响应更安全、更有帮助。 为了进一步评估模型,研究团队使用指令跟踪评估 (IFEval) 基准来将其指令跟踪能力与同等大小的模型进行比较。结果表明,设备上模型和服务器模型都比同等规模的开源模型和商业模型更好地遵循详细指令。 图 7:苹果基础模型和类似规模模型的指令跟踪能力(使用 IFEval 基准)。 苹果还评估了模型的写作能力,涉及各种写作指令。 图 8:写作能力(越高越好)。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33835.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 马斯克跟苹果互怼,但他们没告诉你的AI隐私真相是? 上一篇 2025 年 8 月 13 日 下午11:26 Stable diffusion 3 正式开源 下一篇 2025 年 8 月 13 日 下午11:26 相关推荐 行业动态 昆仑万维宣布天工AI每日活跃用户(DAU)超过100万 5月27日,昆仑万维集团宣布,天工AI每日活跃用户(DAU)已超过100万。 siyushenqi.com 2025 年 8 月 13 日 450000 行业动态 三七互娱投资强脑科技,斥资1.4亿元布局脑机接口领域 三七互娱出资2000万美元战略投资国内脑机接口首家独角兽强脑科技,打造“文娱+脑机”赛道新标杆。 siyushenqi.com 2025 年 10 月 30 日 517000 行业动态 解读美国最严隐私法CCPA,哪些出海企业需要注意? 《加州消费者隐私法案》(CCPA)是继欧盟《一般数据保护条例》(GDPR)颁布后又一部数据隐私领域的重要法律。它于2018年6月28日正式颁布,在随后的两年内又陆续做了多次修订,2020年7月1日开始正式执行。 siyushenqi.com 2025 年 8 月 3 日 479000 行业动态 7月国产网络游戏审批信息:105款游戏收获版号 7月22日,国家新闻出版总署公布了2024年7月份国产网络游戏审批信息。 siyushenqi.com 2025 年 8 月 18 日 443000 行业动态 跻身Google Play摄影畅销榜TOP10,中国AI视频APP走红的逻辑 从SelfyzAI的海外“出圈”,看AI视频APP如何吸引用户。 siyushenqi.com 2025 年 8 月 17 日 459000 行业动态 2024年7月中国手游发行商全球收入排行榜 2024年7月共35个中国厂商入围全球手游发行商收入榜TOP100,合计吸金20亿美元,占本期全球TOP100手游发行商收入37%。 siyushenqi.com 2025 年 8 月 17 日 528000 行业动态 上架3个月销量突破11w!该产品风靡TikTok... 3个月销售额超500w美元!该产品在TikTok爆火 siyushenqi.com 2025 年 8 月 12 日 435000 行业动态 AI预测极端天气提速5000倍!微软发布Aurora,借AI之眼预测全球风暴 微软发布首个大规模大气基础模型Aurora,可被用于预测和减轻极端天气影响,模型拥有超高的准确率和效率,与如今数值预报系统界的SOTA相比,它的计算速度提高了约5000倍。 siyushenqi.com 2025 年 8 月 13 日 374000 行业动态 外卖大战在巴西打响:数十亿美元已砸下 iFood一家独大,占据最大市场份额,凭网络效应、多品类扩张和先发优势稳居龙头,但高抽佣引发餐厅普遍不满。 siyushenqi.com 2025 年 12 月 15 日 414000 行业动态 14人小团队融资2亿+,这些休闲游戏厂商被资本争抢 过去一年,海外休闲游戏市场呈现火热态势,合成+、三消+、休闲棋牌等品类收入增长显著,原本以IAA为主的休闲玩法如3D堆叠、Sort(整理、排序)品类也在IAP上取得突破。 siyushenqi.com 2025 年 8 月 17 日 470000 行业动态 一款AI产品做到3万人社群,上线15个月实现盈利,对话灵力AI创始人讲述“AI产品商业化”的故事 一款AI产品如何解答商业化难题。 siyushenqi.com 2025 年 8 月 13 日 371000 行业动态 外贸人,七月外贸新规请查收! 所有外贸人们,七月的外贸新规快收好! PART 01 国内外贸新规 中厄 AEO 互认7月1日起正式实施 根据海关总署公告 2025 年第 128 号,《中华人民共和国海关总署和厄瓜多尔国家海关总署关于中国海关企业信用管理制度与厄瓜多尔海关 “经认证的经营者” 制度互认的安排》自 2025 年 7 月 1 日起正式实施。中厄海关相互认可对方的 AEO 企业,… siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 想在游戏行业靠内容营销挣钱?没点格局都卷不明白 至少抛开不可抗力因素,我们目前能做的,可能是在有限的市场中做好长线经营、挖掘更多增长机会 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 483000 行业动态 对话Vickie Chen:“对游戏的热爱是AviaGames的核心所在” “领导一家公司,为企业的生存和发展承担全部责任,为投资者带来回报,并带领团队取得成果,这需要很大的毅力。对我来说,游戏在我的生活中一直扮演着重要的角色,无论是职业还是个人,是我创业历程背后的激情所在。” siyushenqi.com 2025 年 8 月 24 日 648000 行业动态 WhatsApp绿标号认证难题与应对措施 用户申请难度大 审核周期长 企业信任度下降 优化审核流程 提供申请支持 用户申请难度大 WhatsApp绿标认证作为企业获取认证标识的重要途径,然而许多用户和企业反映申请流程过于繁琐。具体来说,用户需提供大量证明材料,如企业合法身份信息、社交媒体账户、官网链接等,而每一项信息的准确性和完整性要求极高。这导致了不少用户在申请过程中遇到困难,无法顺利完成认证。 … siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 行业动态 爆单类目之一!阿联酋化妆品市场会有怎样趋势? 阿联酋化妆品市场预测到2025年将突破30亿美元,原因是年轻人口需求不断增加、和生活方式的日益普及以及全国美容院数量不断增加将推动化妆品市场的发展,年轻一代热衷于尝试新的化妆品产品,个人外表人均支出的增加将推动阿联酋对化妆品的需求。 siyushenqi.com 2025 年 8 月 13 日 457000 行业动态 小杨哥的切片生意翻车了 大主播的“卖水”生意,越来越难干了。 siyushenqi.com 2025 年 8 月 12 日 452000 行业动态 如何通过Instagram矩阵提升外贸企业在海外市场的影响力 Instagram矩阵的战略价值 矩阵账号结构与定位规划 高质量内容生产与分发机制 广告投放与影响者协同机制 数据分析与持续优化能力 在海外社交媒体环境中,Instagram 已成为外贸企业建立国际品牌影响力的核心阵地之一。相比单一账号运营,Instagram矩阵通过多账号、多角色、多内容形态的协同运作,能够系统性放大品牌信息的触达效率与信任构建速度。本文将… siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 行业动态 外贸谈判中,客户要求降价怎么办? 首先,先稳住心态。 客户砍价不是坏事 ,反而是一种想买东西的释放信号:我想买但是有点贵。 这是作为采购的一个本能反应,你如果一慌马上去降价,那客户反而会觉得你的价格其实还有很大的空间。 其次,要理清客户说的“贵”到底是什么意思。 (一)搞清楚客户为什么要说“贵” 不要直接说 we are in good quality。 可以先问一句,你觉得我们的价格贵,是… siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 行业动态 又一个跨境公司即将上市,估值超10亿美元 跨境支付公司PingPong在第二期上市辅导中披露拟申报深圳证券交易所创业板上市。 图片 浙江证监局官网显示,1月11日,中信证券披露了关于杭州乒乓 跨境支付公司PingPong在第二期上市辅导中披露拟申报深圳证券交易所创业板上市。 siyushenqi.com 2025 年 8 月 13 日 686000 APUS入局 千亿参数多模态大模型“AiLME”如何炼成? 人工智能技术的突破意味着什么?APUS创始人李涛给出的答案是“一次最具有代表性的、全新的工业革命”。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 494000 行业动态 重磅!美国新关税上限锁定70%,8月生效!全球贸易版图或生变,对中国影响几何? 当地时间7月4日,美国总统再度在全球贸易领域投下 “重磅炸弹”:宣布从当日起向多个贸易伙伴致函,单方面设定新的关税税率,新政策应该将于8月1日正式生效。 据其公开表态,7月4日当天已发出 “10或12封” 函件,剩余信件将在7月9日前全部送达。而这一天,正是美国此前划定的关税谈判最后期限。对于外界最关注的税率,美国总统明确表示 “可能从10%、20% 到60… siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 行业动态 独家丨微软云PK掉亚马逊云,撬走SHEIN 数十亿云订单 未来谁当全球云计算一哥?或许取决于中国企业 siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 非洲,美妆行业的“新大陆”? 欧美亚竞争日趋激烈,非洲正成为美妆个护品牌的新蓝海 siyushenqi.com 2025 年 8 月 12 日 401000 行业动态 从原画师到培训课,ChatGPT正在改变职场选择 ChatGPT这股风吹得有多大? siyushenqi.com 2025 年 8 月 14 日 428000 引爆英国站!转型跨境的国企新卖家,凭借它两月售出200万! 你对国企的印象是什么? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 365000 落入氪金陷阱的NCsoft,会靠《天堂W》这款“终极版天堂”翻身么? 今年8月,NCsoft正式向全球玩家公开了《天堂》系列的新作,跨平台MMORPG游戏《天堂W》,当时就有消息传出这将是《天堂》系列的绝唱。虽然在9月30日的第二次展示会中,NCsoft闭口不谈这一话题,但是在10月3日,TGS闭幕当天,《天堂W》的CCO(游戏创意长)、NCsoft的CEO 金泽辰在介绍影片中却走漏了一些风声。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 510000 行业动态 WhatsApp磐石系统升级指南与新功能解析 引言 主要功能与优势 对比分析 常见问题解答 引言 随着科技不断发展,越来越多的应用程序在不断更新与创新,其中,WhatsApp作为全球领先的即时通讯应用之一,也不断推陈出新。最近,WhatsApp发布了磐石系统(Rock Solid System)升级,这一升级不仅带来了新的隐私设置,还提升了消息发送速度、增强了多设备登录功能,并进一步强化了安全性。本文将… siyushenqi.com 2025 年 8 月 13 日 下午11:26 412000 TopOn发布《2022年度全球手游广告变现报告》,助力手游开发者提升广告收益 全球移动广告聚合工具平台TopOn正式发布《2022年度全球手游广告变现报告》,帮助各位洞察全球,助力产品提升收益。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 305000 行业动态 2022年8月中国手游发行商全球收入排行榜 2022年8月中国手游发行商在全球 App Store 和 Google Play 的收入排名。本期共40个中国厂商入围全球手游发行商收入榜TOP100,合计吸金超过20亿美元,占全球TOP100手游发行商收入38.1% siyushenqi.com 2025 年 8 月 24 日 463000 发表回复 请登录后评论...登录后才能评论 提交