杀疯了！Meta开源SAM-2：可商用，随意分割视频、图像 siyushenqi.com • 2025 年 8 月 13 日 下午11:41 • 行业动态 • 阅读 411 今天凌晨，Meta在SAM的基础之上对架构、功能以及准确率等进行大量更新，正式开源了SAM-2，并支持Apache 2.0规则的商业化。这也是继上周Llama 3.1之后，再次开源重磅模型。 2023年4月5日，Meta首次开源了视觉分割模型SAM，能够根据交互和自动化两种方式任意切割视频、图像中的所有元素，当时这个模型被誉为计算机视觉界的“ChatGPT时刻”。目前，SAM在Github超过45000颗星。 今天凌晨，Meta在SAM的基础之上对架构、功能以及准确率等进行大量更新，正式开源了SAM-2，并支持Apache 2.0规则的商业化。这也是继上周Llama 3.1之后，再次开源重磅模型。 同时Meta还分享了SAM-2的训练数据集SA-V，包含了51,000真实世界视频和超过600,000个时空遮罩，这比其他同类数据集大50倍左右，可帮助开发人员构建更好的视觉模型。 SAM-2开源地址：https://github.com/facebookresearch/segment-anything-2 在线demo：https://sam2.metademolab.com/ 数据集地址：https://ai.meta.com/datasets/segment-anything-video/ SAM-2架构简单介绍 SAM-2基础架构是基于transformer模型并引入了流式记忆机制，主要由图像编码器、记忆编码器、记忆注意力模块、提示编码器和掩模解码器等模块组成。 图像编码器作为SAM-2处理视频帧的起点采用了流式处理方法，能够处理任意长度的视频，相比第一代可以使用更少的交互提升3倍效率。它使用的是一个预训练的Hiera模型，能够提供多尺度的特征表示，为后续的记忆注意力模块和掩模解码器提供丰富的上下文信息。 记忆编码器和记忆注意力模块是本次SAM-2的重要创新之一。记忆编码器负责将模型先前的预测和用户交互动作编码为记忆，并将这些记忆存储在记忆库中，用于影响后续帧的分割结果。 记忆注意力模块则利用这些记忆来增强当前帧的特征表示，使其能够更好地捕捉目标对象在时间序列中的动态变化。 记忆编码器通过将预测的分割掩模降采样并与当前帧的特征融合，生成记忆特征。随后通过一系列轻量级的卷积层进一步处理，以整合信息。记忆库则保留了目标对象在视频中的历史信息，通过维护一个先进先出队列来存储最近N帧的记忆。 提示编码器的设计遵循了SAM的原则，能够接受点击、框选或遮罩等不同类型的提示，以定义给定帧中对象的范围。这些稀疏提示通过位置编码和学习到的嵌入表示进行表示，而遮罩则通过卷积操作进行嵌入，并与帧嵌入相加。 掩模解码器的设计在很大程度上遵循了第一代SAM的架构，使用了双向transformer块，这些块更新提示和帧嵌入。为了处理可能存在多个兼容目标掩模的模糊提示，SAM-2预测每个帧上的多个掩模，这对于确保模型输出有效掩模至关重要。 SA – V训练数据集 现有的视频分割数据集通常存在一些限制，例如，注释对象主要集中在人、车辆和动物等特定类别，并且往往只覆盖整个对象而忽略了部分和子部分。 此外，这些数据集的规模相对较小，无法满足训练强大的视频分割模型的需求。为了解决这些难题，Meta开发了SA – V数据集并使用了三大阶段。 在第一阶段，使用了SAM模型来辅助人类标注。标注者的任务是在视频的每帧中以每秒6帧的速度使用SAM和像素精确的手动编辑工具来标注目标对象的掩码。 由于这是一种逐帧的方法，所有帧都需要从头开始标注掩码，因此流程非常缓慢，平均标注时间为每帧37.8秒。但这种方法能够产生高质量的空间标注，在这个阶段，共收集了16000个掩码片段，涵盖了1400个视频。 第二阶段，引入了SAM 2 Mask，它只接受掩码作为提示。标注者首先使用SAM和其他工具在第一帧中生成空间掩码，然后使用SAM 2 Mask将标注的掩码在时间上传播到其他帧，以获得完整的时空掩码片段。 通过这个阶段的工作，收集了635,000个掩码片段，标注时间下降到每帧7.4秒，相比第一阶段有了显著的提高，速度提升了约5.1倍。 第三阶段，使用了完全功能的SAM-2，它能够接受各种类型的提示，包括点和掩码。与前两个阶段不同，SAM-2受益于对象在时间维度上的记忆来生成掩码预测。 这意味着标注者只需要偶尔对SAM 2提供的预测掩码进行细化点击，就能够在中间帧中编辑预测的掩码片段，而不需要像在第一阶段那样从头开始标注。通过多次重新训练和更新SAM-2，标注时间进一步下降到每帧4.5秒，相比第一阶段速度提升了约8.4倍。 所以，SA – V在开发SAM-2过程中发挥了重要作用，也是目前最大视觉分割训练数据集之一。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33995.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 马斯克力挺扎克伯格，OpenAI“0元”应战 上一篇 2025 年 8 月 13 日 下午11:40 AI 幽灵，“刺杀”小说家 下一篇 2025 年 8 月 13 日 下午11:41 相关推荐 用创新打开局面，冲上畅销Top3，《三棋》制作人：希望它成为SLG新品类 一款创新的SLG产品该怎么做？ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 465000 行业动态 鹰角新游今日登上Steam新品节榜首：不是二次元 鹰角迄今为止配置要求最高的一款游戏。 siyushenqi.com 2025 年 8 月 17 日 380000 行业动态 2023年9月中国手游发行商全球收入排行榜 Sensor Tower商店情报平台显示，2023年9月共39个中国厂商入围全球手游发行商收入榜TOP100，合计吸金19.6亿美元。 siyushenqi.com 2025 年 8 月 19 日 494000 新版Midjourney太炸裂：AI绘画再无Bug，“有图有真相”时代彻底过去 进化版的AI绘图工具创造出了一个平行世界。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 435000 行业动态 苹果谷歌要小心了，微软确认Xbox手游商店7月发布！ 微软将率先推出《糖果传奇》等游戏，继而再向其他发行商开放商店功能。 siyushenqi.com 2025 年 8 月 18 日 419000 行业动态 GPT Store上线即乱：山寨、刷量、违禁内容层出 假GPT5登趋势榜第一。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 私域神器每周合作精选No.126｜寻IAA出海产品；《神喻》找海外发行；寻海外短剧独家授权；休闲自研产品寻国内外发行合作 本期精选的合作类型涵盖寻IAA出海产品；全3D东方幻想手游《神喻》找海外发行；寻求海外短剧独家授权，新剧、二轮都要；休闲模拟经营自研产品寻国内海 外发行合作等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 469000 微软爆炸级更新ChatGPT搜索服务，科技公司一夜回春！ 继昨天ChatGPT因为服务器不堪重负而停服，Google仓促官宣ChatGPT竞品Bard之后，微软又放大招，硅谷科技巨头的火药味越来越重了。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 414000 行业动态 微软宣布对印尼领先电子商务平台Bukalapak进行战略投资 据外媒报道，Bukalapak是印尼领先的电子商务平台之一。 siyushenqi.com 2025 年 8 月 13 日 425000 行业动态 WhatsApp超级号在出海贸易中的应用场景 WhatsApp超级号在出海贸易中的应用场景 提高客户沟通效率 支持多语言服务 便捷的订单管理 增强客户关系维护 实时反馈与支持 WhatsApp超级号在出海贸易中的应用场景 WhatsApp超级号作为一种创新的通信工具，在跨境电子商务与出海贸易领域得到了广泛应用。它不仅极大地提高了商家与客户之间的沟通效率，也为商家提供了更为高效的客户服务与订单管理方式，从… siyushenqi.com 2025 年 8 月 13 日 下午11:41 411000 行业动态 1毛钱1百万token，写2遍红楼梦！国产大模型下一步还想卷什么？ 大模型价格战，这匹国产黑马又破纪录了！最低的GLM-4 Flash版本，百万token价格已经低至0.1元，可以说是击穿地心。MaaS 2.0大升级，让企业训练私有模型的成本无限降低。 siyushenqi.com 2025 年 8 月 13 日 464000 社交独角兽Yalla 何以横扫中东土豪市场 深度拆解产品及运营 怀着对“社交”二字的敬畏，鄙人著此文，敬时光。7天前，带着了解沙特社交的目标，笔者开启了沙特社交产品体验之旅。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 566000 行业动态 终止与腾讯合作，“吃鸡”重返印度？ 9月8日，PUBG Mobile（“吃鸡”游戏）的拥有者和开发商韩国PUBG Corporation决定，不再将该游戏在印度的发行授权给腾讯 siyushenqi.com 2025 年 8 月 26 日 466000 谷歌云游戏变土豪？砍自研，买游戏单款千万美金 一个月之前，谷歌正式宣布裁撤Stadia位于洛杉矶和蒙特利尔的第一方游戏工作室，正式宣告谷歌游戏梦的破碎。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 440000 行业动态 英伟达GPU，警钟敲响 在传出法国将对英伟达发起反垄断调查后不久，又有新的不好消息传出。 siyushenqi.com 2025 年 8 月 13 日 459000 这款披萨主题超休闲游戏登顶iOS免费榜了 超休闲赛道还有许多未知的可能性 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 438000 腾讯是佛系股东？九城携手Voodoo、育碧洽谈Ohayoo 9月21日，第九城市（以下简称 九城）发布公告称，已经与全球小游戏之王、法国游戏开发及发行商voodoo签订合作协议 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 442000 互联网巨头和传统银行在印尼数字银行领域的博弈 我们曾在4月份举办了印尼数字银行报告解读会，吸引了超过150位来自银行、风投、互联网等行业的朋友参与，我们也收到了不少关于印尼数字银行的提问。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 494000 海外开发者分享：我们怎样利用远程协作制作超休闲手游？ 在团队所有成员在家办公大约6周后，我们推出了烘焙题材超休闲手游《烤一烤》(Bake It)。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 325000 行业动态 解密“不封号”的奥秘：WhatsApp磐石系统的核心防护机制 做外贸营销，最怕什么？不是客户不回复，而是账号突然被封！辛辛苦苦积累的客户资源一夜归零，这种痛只有经历过的人才懂。为何你的WhatsApp账号如此脆弱？因为你缺少专业的防护体系——WhatsApp磐石系统。 WhatsApp磐石系统 的核心竞争力之一，就在于其构建了一套坚不可摧的账号安全体系。我们常说的 whatsapp绿标号 和 whatsapp超级号，之… siyushenqi.com 2025 年 8 月 13 日 下午11:41 411000 行业动态 影视+游戏，重启的“DC宇宙”将是一个跨媒介的新世界 大招来了 siyushenqi.com 2025 年 8 月 24 日 407000 行业动态 当一家头部MCN决定做AIGC产品 一家擅长制造爆款的内容公司，最近推出了一款定位为“故事生成助手”的AI工具。 siyushenqi.com 2025 年 8 月 13 日 461000 「消失」一年后突然开测，这家上市公司打响了今年二次元TPS的第一枪！ 这款游戏能否率先打下了二次元TPS的首座山峰？ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 489000 为腾讯实现二次元梦的永航，居然又做了一款横版肉鸽游戏 赛博朋克+横板动作+Roguelike＝？ siyushenqi.com 2025 年 8 月 25 日 • 行业动态 442000 行业动态 美国加税后，中国短剧出海怎么办？ 中国短剧行业面临成本全面上升的困境。一方面，由于CBP政策变化，跨境物流成本大幅增加，如单集短剧从800美元升至2100美元；另一方面，广告成本和制作成本也在上升，如TikTok广告主平均CPM增长64%，剧组清关费用和拍摄场地租金大幅提高。 siyushenqi.com 2025 年 8 月 17 日 464000 行业动态 外贸出海没流量？WhatsApp磐石系统靠WS绿标号+WS蓝标号，精准定位全球客户，获高质量询盘！ 做外贸最无奈的，莫过于辛苦做了营销，却只收到少量询盘，且大多是无效咨询，浪费大量跟进时间。这其实是**全球精准营销**“精准度”不够导致的。而**WhatsApp磐石系统**凭借**whatsapp绿标号**和**whatsapp超级号**的特性，搭配精准触达功能，让**外贸获客**告别“少且杂”，轻松收获高质量询盘。 WhatsApp 磐石系统的whats… siyushenqi.com 2025 年 8 月 13 日 下午11:41 411000 行业动态 拉丁美洲B2C电商市场蓬勃发展，预计2026年规模将超8000亿欧元 这一数字无疑彰显了该地区的巨大市场潜力和增长空间。 siyushenqi.com 2025 年 8 月 7 日 452000 行业动态 《2024年亚太发行商非游戏应用市场洞察》- 2024H1 Top30应用收入同比上涨20%超65亿美元，短剧收入迎来爆发式增长 2024年上半年，Top30亚太发行商非游戏应用总收入同比上涨20%，超过65亿美元。《TikTok》稳居全球移动应用收入榜首，短剧应用收入环比激增4倍，全球累计收入超过7亿美元。 siyushenqi.com 2025 年 8 月 18 日 462000 99%的外贸人都不知道的LinkedIn运营秘籍！找客户提效的方法来了！ 用LinkedIn来做外贸客户开发，已是外贸企业目前达成的共识了。但是如何能够快速精准地找到目标客户呢？ LinkedIn运营的基础：精准的目标客户画像 01 开发客户前的准备工作 在用LinkedIn进行客户开发之前应该做以下准备工作： 02 通过分析海关数据等方法找到关键数据事实 以上提到的准备工作所需要的数据和事实该如何获取？我们可以通过以下途径： 分… siyushenqi.com 2025 年 8 月 13 日 下午11:41 • 行业动态 411000 海外观察 | 母婴社区+垂类电商 如何从孕期产品Glow上“抄作业” 专注女性健康，Glow有更多自己的“巧思” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 426000 发表回复 请登录后评论...登录后才能评论 提交
