苹果开源视觉模型界的“瑞士军刀”,能执行数十种任务 siyushenqi.com • 2025 年 8 月 13 日 下午11:34 • 行业动态 • 阅读 383 苹果和瑞士洛桑联邦理工学院的研究人员联合开源了大规模多模态视觉模型——4M-21。 苹果和瑞士洛桑联邦理工学院的研究人员联合开源了大规模多模态视觉模型——4M-21。 多数大模型通常针对特定任务或数据类型进行优化,这种专业化虽然能确保在特定领域的高性能,但也限制了模型的通用性和灵活性。 例如,开源模型Stable Difusion只能用于文生图,即便是Gemini这种多模态模型,也只能生成和解读图片。 而4M-21只有30亿参数,却可以提供图像分类、目标检测、语义分割、实例分割、深度估计、表面法线估计等数十种功能,基本相当于视觉模型界的“瑞士军刀”功能很全面。 开源地址:https://github.com/apple/ml-4m/ 论文地址:https://arxiv.org/abs/2406.09406 在线demo:https://huggingface.co/spaces/EPFL-VILAB/4M 4M-21能提供如此多的功能,其关键核心技术是“离散tokens”转换技术。简单来说,就是将各种模态的数据转换为统一格式的tokens序列数据。 无论是图像类数据、神经网络特征图、向量、结构化数据(实例分割或人体姿态),还是以文本形式表示的数据,都可以转换成模型可以理解的同一数据格式。 这不仅简化了模型的训练,还将原本形态各异的数据被映射到一个共享的、易于处理的表示空间,为多模态学习和处理奠定了基础。 对于图像类数据,例如,边缘检测图或特征图,研究人员使用了基于Vision Transformer的变分量化自编码器进行标记化,生成一个固定大小的小网格tokens阵列。 对于那些需要高保真度重建的任务,例如,RGB图像,会采用扩散解码器来增强视觉细节的恢复。 而对于非空间模态,全局嵌入或参数化的人体姿态等,则利用Bottleneck MLP和Memcodes量化方法将其压缩成少量的离散tokens。 至于文本、边界框、颜色调色板或元数据等序列数据,则通过WordPiece分词器编码为文本tokens,利用共享的特殊tokens来标识它们的类型和值。 在训练阶段,4M-21通过掩码建模的方法来完成多模态学习,会随机遮盖输入序列中的部分tokens,然后基于剩余未遮盖的tokens预测被遮盖的部分。 这种方法迫使模型学习输入数据的统计结构和潜在关系,从而捕捉到不同模态间的信息共通性和交互性。 此外,掩码建模不仅提升了模型的泛化能力,还提升了生成任务的准确性,能够以迭代的方式预测缺失的tokens。 无论是通过自回归(逐个预测)还是逐步解码(逐步揭示遮盖部分)的方式。使得模型在解码过程中能够生成连贯的输出序列,包括生成文本、图像特征或其他模态的数据,从而支持多模态处理能力。 研究人员将4M-21在图像分类、目标检测、语义分割、实例分割、深度估计、表面法线估计以及3D人体姿态估计等测试平台中进行了综合评测。 结果显示,4M-21的多模态处理能力可以媲美当前最先进的模型。例如,在COCO数据集上,在语义和实例分割任务上表现出色,准确识别和区分图像中的多个对象; 在3DPW数据集上的3D人体姿态估计任务中也取得了显著的成绩,能够精确捕捉人体的姿态变化。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33924.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 阶跃星辰的100天,大模型的“后发先至” 上一篇 2025 年 8 月 13 日 下午11:34 阿里甩出了AI超级应用 下一篇 2025 年 8 月 13 日 下午11:34 相关推荐 私域神器·七天乐丨2022年度移动应用复盘 共同回顾今年出海圈的“明星App” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 460000 堆料个性美术,能否带动玩法?《Memento Mori》的困境 日本开发商Bank of Innovation开发的二次元手游《Memento Mori》于10月18日全球首发,一上线就赚足了目光。但是许多玩家对于游戏所采取的AFK模式与卡牌对撞的玩法设计并不买账。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 469000 热点趋势|圣诞节玩具Top清单出炉!英国人钟爱芭比娃娃,另有5类爆款选品等你冲 63岁的芭比娃娃,依然风靡全球 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 423000 振奋人心!11月版号发放 70款游戏过审 腾讯、网易不再陪跑 11月17日,国家新闻出版署发布11月国产网络游戏审批信息,共70款游戏获批。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 480000 行业动态 小红书开源了首个多模态大模型dots.vlm1 dots.vlm1 是 hi lab 首个开源的多模态大模型,基于 12 亿参数 NaViT 视觉编码器 + DeepSeek V3 MoE,兼顾视觉理解、推理与纯文本任务。 siyushenqi.com 2025 年 8 月 13 日 422000 行业动态 dentsu X 与 LoopMe 合作推出‘品牌提升保证’解决方案 全球 AI 品牌广告科技领导者 LoopMe 近日宣布,与 dentsu X 合作,在市场上首推新产品——‘品牌提升保证’解决方案。 siyushenqi.com 2025 年 10 月 30 日 447000 行业动态 淘宝低调测试两款AI搜索产品 8 月已全量上线「AI 万能搜」(生活消费版 DeepSeek),9 月内测「AI 助手」(商品导购机器人),均隶属「搜推智能产品事业部」。 siyushenqi.com 2025 年 9 月 10 日 504000 行业动态 短剧行业遭遇AIGC“大洗牌” AI视频技术突破引发短剧行业变革,演员剪辑岗位面临替代,侵权争议与市场重构同步上演。 转自扬帆出海 2026 年 3 月 23 日 277000 行业动态 8月最赚钱和最烧钱的海外手游 《热门海外手游预估收入榜TOP20》和《海外手游信息流投放TOP20》两大榜单将为大家带来更多海外热门游戏的预估收入数据和买量投放分析。 siyushenqi.com 2025 年 8 月 18 日 514000 行业动态 2022年10月全球热门移动游戏下载量TOP10 Sensor Tower 商店情报数据发布了2022年10月全球热门移动游戏下载量TOP10 siyushenqi.com 2025 年 8 月 24 日 475000 行业动态 OpenAI在API新增”项目“功能,可精细化管理模型 项目的功能包括,模型的选择、功能、线程、助手、模型微调、数据存储等,同时可以将创建的API项目与团队中的其他成员共享。 siyushenqi.com 2025 年 8 月 13 日 397000 行业动态 5个月下载量破百万,小众爱好要就此崛起了吗? 由Z世代年轻人引领的生活潮流下,全球迈入了短视频时代,与此同时,播客这一曾经被忽视的小众爱好慢慢崛起,逐渐表现出大众化倾向,利用碎片化时间提供了具更有连续性、有意义、有深度的内容。 siyushenqi.com 2025 年 8 月 18 日 465000 Steam年度总结:1.4万款新游上架,《守望先锋2》居差评榜榜首 2023年Steam的用户数据打破了多个纪录。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 493000 行业动态 逛遍 ChinaJoy,发现 AI 对游戏产业的四个改变 一切看起来似乎与原来相同,但实际早已不同。 siyushenqi.com 2025 年 8 月 18 日 429000 行业动态 突发!美国暂停 T86 清关三个月,Temu 与 Shein 影响多少? 据外媒最新报道,美国加大了关税豁免打击力度,而Temu、Shein和其他电商平台利用这一豁免将廉价商品从海外寄送到美国购物者手中而无需支付关税。 siyushenqi.com 2025 年 8 月 6 日 462000 行业动态 完美世界拟3450万美元出售乘风工作室,收购方系爆款手游《大富翁GO》研发商 完美世界及其全资子公司上海完美时空与Scopely签订了《资产购买协议》,Scopely将以3450万美元购买乘风工作室在研游戏相关的资产及办公设备。 siyushenqi.com 2025 年 8 月 17 日 422000 行业动态 《堡垒之夜》获苹果批准,五年后重返美国应用商店 苹果公司在周二批准了Epic Games旗下的《堡垒之夜》重返美国App Store,这距离该游戏被移除已有五年之久。 siyushenqi.com 2025 年 8 月 17 日 467000 行业动态 亚马逊、temu自养号采购如何规避砍单?下单技术的实操与要点 最近接触几位做跨境批发的卖家,聊到采购现状时,大家不约而同提到新挑战:Temu、亚马逊等平台对批量采购的限制明显收紧——第三方代采成本涨了三成,账号关联导致订单取消的情况每月都有,补货稳定性越来越差。这种情况下,不少人开始调整策略:不再依赖外部代采,而是自己“养账号”,通过模拟真实用户行为完成采购。这并非什么复杂技术,核心是通过硬件隔离、行为模拟等细节操作,… siyushenqi.com 2025 年 8 月 13 日 下午11:34 383000 “多巴胺穿搭”爆火,消费市场需要简单的快乐 高饱和度的“多巴胺配色”遍布全网的现象,让一部分网友感慨“时尚是个圈”,曾经QQ秀里的非主流配色如今又成为新潮流。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 494000 行业动态 AI画中国退休老太太微博大火!「傻鹅之王」和快乐小狗挑战GPT-4想象力极限 最近,来自NUS、斯坦福、谷歌DeepMind等机构的研究人员,尝试开发了一个评估人类和AI的创造力的框架。而当人类用尽所有手段来逼迫AI把创造力发挥到极限,发现GPT-4几乎对于所有事物认知的极限都是无尽的宇宙空间。 siyushenqi.com 2025 年 8 月 13 日 469000 行业动态 亚马逊沙特站开站大半年,流量持续增长值得入场 亚马逊沙特站开站已有大半年,流量逐步增长。 siyushenqi.com 2025 年 8 月 13 日 479000 行业动态 亚马逊Vine新政解读丨10月19日起生效,最低$0! 光子易PhotonPay获悉,10月3日,亚马逊美国站发布了一则公告,宣布将于10月19日正式生效“新版Amazon Vine计划”。 siyushenqi.com 2025 年 8 月 3 日 432000 行业动态 破解流量困境,AI 驱动下 Moloco “增长飞轮”重塑品牌新未来 让增长“自循环”,和流量焦虑说再见。 siyushenqi.com 2025 年 12 月 19 日 416000 TikTok播放量达130亿!“嘴上的经济”在如何催生机会? 全世界都爱中国菜? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 428000 行业动态 Telegram群发工具评估2026:市场主流方案对比 随着数字营销和社群管理需求的增长,Telegram群发工具成为了必不可少的利器。它们不仅能提供批量发送信息的功能,还能够集成数据分析、CRM系统等高级特性。选择合适的工具需要考虑多种因素,包括功能、定价和适用场景。本文对市场上几款主流... siyushenqi.com 2026 年 1 月 25 日 457000 行业动态 第一批AI公司,已经开始破产了 Robin AI半年内从“英国前十”到挂牌甩卖,只因C轮没到账——AI赛道VC现在要求年均3-5倍、毛利80%以上的“指数级”增长,翻倍已被视为失败。 siyushenqi.com 2025 年 11 月 24 日 417000 行业动态 OpenClaw安装教程:从零搭建到运行全指南 OpenClaw 是一款跨平台、开源的本地 AI 自动化助手,支持在 macOS、Linux 和 Windows 系统上搭建和使用。它能够帮助用户执行各类自动化任务,具有灵活性和低资源占用的特点,适用于重复性任务的简化。安装和配置过程... siyushenqi.com 2026 年 3 月 10 日 367000 行业动态 《绝地求生》开发商招兵买马,或在做一款科幻射击新作 《绝地求生》开发商PUBG可能正在做一款融合了怪物、机甲等科幻主题的射击游戏。 siyushenqi.com 2025 年 8 月 25 日 436000 行业动态 快手“五战”出海,重整海外业务剑指巴西 屡屡碰壁的快手海外业务,迎来了新的调整。 siyushenqi.com 2025 年 8 月 13 日 453000 行业动态 年收入170万美金,靠图片生成音乐赚钱,AI应用还能萌发什么创意? 锁定CPM低谷,合理增加预算,先人一步抢占Q3三大季节性流量红利期。 siyushenqi.com 2025 年 8 月 13 日 405000 发表回复 请登录后评论...登录后才能评论 提交