机器人ChatGPT时刻!英伟达开源世界大模型,完美模拟物理世界 siyushenqi.com • 2025 年 8 月 13 日 下午9:39 • 行业动态 • 阅读 404 Cosmos能够从数据整合、训练再到定制各个开发阶段,大规模模拟和构建物理世界的基础模型,同时支持自定义微调,帮助开发者轻松创建模拟的物理环境,如仓储机器人训练场景或自动驾驶汽车在恶劣环境中的表现等,从而优化开发流程。 摘要 Cosmos采用了基于Transformer的自回归和扩散双架构模型。自回归模型专为视频生成设计,能够基于输入文本和过去的视频帧预测下一个token,使用了Transformer解码器架构并进行了关键修改用于世界模型开发;扩散模型则通过正向扩散和反向扩散过程,解构训练数据并根据用户输入重建它,生成高质量、逼真的输出。 Cosmos使用了9000万亿token的数据,涵盖自动驾驶、机器人、合成环境等领域的2000万小时数据,能够创建非常逼真的合成视频环境和互动,为训练复杂机器人、自动化驾驶提供重要基础。 Cosmos有Nano、Super和Ultra三种型号,分别针对实时、低延迟推理和边缘部署、性能基线模型设计、最大质量和保真度等不同需求优化;同时,提供了预防护和后防护两种安全机制,如关键词屏蔽、Aegis安全防护、视频内容安全分类器和面部模糊过滤器等,确保生成内容的安全性。 目前,许多世界知名的实体机器人、智能汽车开发商已经在使用Cosmos加速物理开发效率。例如,1X利用Cosmos推出世界模型挑战数据集,小鹏汽车将使用Cosmos加速人形机器人开发,Waabi评估Cosmos在自动驾驶汽车软件开发和模拟数据整理方面的应用,Uber与NVIDIA合作加速自动驾驶移动性等,展现了Cosmos在多个领域的广泛应用潜力和合作前景。 全球AI领导者NVIDIA(英伟达)在2025年CES展会上,开源了全新世界大模型NVIDIA Cosmos。 Cosmos能从数据整合、训练再到定制各个开发阶段的,大规模模拟、构建物理世界的基础模型,同时支持自定义微调。 例如,你想开发一个实体仓储机器人,但没有真实大型仓储环境为机器人提供货物搬运、拣选、分拣等训练环境,通过Cosmos就能轻松创建一个模拟的物理仓储环境,来训练、观察、优化机器人各种动作。 在自动驾驶领域,想观察汽车在大雨、暴雪、地震等超恶劣环境中的表现同样很难,而Cosmos可以轻松模拟这些环境,帮助开发者深度优化智能汽车的开发流程。 NVIDIA创始人兼首席执行官黄仁勋在演讲中表示,“机器人的ChatGPT时刻即将到来。与大语言模型一样,世界基础模型对于推动机器人和自动驾驶汽车的发展至关重要,但并非所有开发者都具备训练自己模型的专业知识和资源。 所以,NVIDIA开发了Cosmos,让物理AI大众化,帮助每个开发者都能轻松开发通用实体机器人技术。” 开源地址:https://huggingface.co/collections/nvidia/cosmos-6751e884dc10e013a0a0d8e6 API:https://build.nvidia.com/explore/simulation Cosmos架构介绍 Cosmos使用了基于Transformer的自回归和扩散双架构模型:自回归模型专为视频生成设计,基于输入文本和过去的视频帧预测下一个token。使用了Transformer解码器架并进行了关键修改用于世界模型开发。 3D RoPE(旋转位置嵌入)分别对空间和时间维度进行编码,确保精确的视频序列表示。交叉注意力层使文本输入为世界生成提供了更好的控制。QK归一化增强了训练稳定性。该模型的预训练是逐步进行的,从单个输入帧预测多达17个未来帧开始,然后扩展到34帧,最终达到121帧(或50000个token)。 扩散模型因其能够解构训练数据并根据用户输入重建它,从而产生高质量、逼真的输出而广受欢迎,用于生成图像、视频和音频。 Cosmos的扩散模型分为正向扩散和反向扩散两个阶段:在正向扩散过程中,训练数据通过逐步添加高斯噪声而逐渐被破坏,有效地将其转化为纯噪声。 在反向扩散过程中,模型学习逐步逆转这种噪声,通过去噪被破坏的输入来恢复原始数据。一旦训练完成,扩散模型通过采样随机高斯噪声并将其通过学习到的去噪过程来生成新数据。 此外,Cosmos扩散模型还有一些关键更新,专门针对物理AI开发。3D Patchification将视频处理成较小的块,简化了时空序列表示。混合位置嵌入处理空间和时间维度,支持具有不同分辨率和帧率的视频。交叉注意力层结合文本输入,使视频生成能够根据描述更好地控制。LoRA的自适应层归一化将模型大小减少了36%,在更少的资源下保持了高性能。 训练数据方面,Cosmos使用了9000万亿token的数据,包括自动驾驶、机器人、合成环境和其他相关领域的2000万小时数据。能够创建非常逼真的合成视频环境和互动,这为训练复杂机器人、自动化驾驶提供重要基础。 Cosmos共有Nano、Super和Ultra三种型号:Nano针对实时、低延迟推理和边缘部署进行了优化;Super作为性能基线模型设计;Ultra专注于最大质量和保真度,是蒸馏定制模型的理想选择。 为了提升Cosmos的安全性,提供了预防护和后防护两种安全机制。预防护主要基于文本提示的安全措施,使用两层:关键词屏蔽,一个屏蔽列表检查器扫描提示中的不安全关键词,使用词形还原来检测变体,并屏蔽非英语术语或拼写错误。Aegis安全防护,NVIDIA微调的Aegis AI内容安全模型检测并屏蔽语义上不安全的提示,包括暴力、骚扰和粗俗等类别。 后防护阶段通过以下方式确保生成视频的安全性:视频内容安全分类器,一个多类分类器评估每个视频帧的安全性。如果任何帧被标记为不安全,则整个视频将被拒绝。面部模糊过滤器,使用RetinaFace模型模糊生成视频中的所有人脸,以保护隐私并减少基于年龄、性别或种族的偏见。 Cosmos实际应用案例 根据NVIDIA在官网的展示,目前很多世界知名的实体机器人、智能汽车开发商已经在使用Cosmos加速物理开发效率。 著名人形机器人开发公司1X使用 Cosmos,推出了1X世界模型挑战数据集。国内的小鹏汽车将使用Cosmos 加速其人形机器人的开发。Hillbot 和 Skild AI 正在使用 Cosmos 快速推进其通用机器人的开发流程。 Waabi,一家从自动驾驶汽车开始开创物理世界生成式AI的公司,正在评估 Cosmos 在自动驾驶汽车软件开发和模拟的数据整理方面的应用。 Wayve在开发自动驾驶的AI基础模型,正在评估Cosmos作为搜索用于安全和验证的边缘和角落驾驶场景的工具。自动驾驶工具链提供商Foretellix将使用Cosmos,结合NVIDIA Omniverse Sensor RTX API,以规模评估和生成高保真测试场景和训练数据。 全球网约车巨头Uber正在与NVIDIA合作加速自动驾驶移动性。Uber的丰富驾驶数据集,结合Cosmos平台和NVIDIA DGX Cloud™的功能,可以帮助自动驾驶合作伙伴更高效地构建更强大的AI模型。 Uber首席执行官Dara Khosrowshahi表示,“生成式AI将推动移动性的未来,这需要丰富的数据和非常强大的计算能力。通过与NVIDIA合作,我们有信心可以帮助加速安全和可扩展的自动驾驶解决方案。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32788.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 Sam Altman新年发文:OpenAI周活破3亿,我们已找到通往AGI之路 上一篇 2025 年 8 月 13 日 下午9:39 零一万物决定给大厂让路 下一篇 2025 年 8 月 13 日 下午9:39 相关推荐 行业动态 AI究竟是友好的机器人还是末日预言的先驱? 在过去的十年中,人工智能(AI)曾经只是科幻小说中的虚构部分,可如今已成为我们日常生活的一部分。事实上,AI早已变得大众化,人们现在拥有苹果Siri、亚马逊的Alexa和谷歌助手等虚拟助手,甚至可以在家中的书架上都可以找到它。但是什么是人工智能?我们怎样才能信任它来帮助管理我们的生活? siyushenqi.com 2025 年 8 月 14 日 461000 在TikTok卖“女权T恤”月入10万,这对夫妻火了! 女权主义,没想到也能成为一种“致富经”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 456000 行业动态 莉莉丝裁撤《剑与家园2》,百人团队解散 今天《剑与家园2》制作人在全组会议上,向全体成员宣布项目解散。 siyushenqi.com 2025 年 8 月 24 日 472000 曾对标SHEIN的阿里独立站allyLikes,流量大幅下滑! 再造一个SHEIN,真有那么简单吗? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 398000 行业动态 苹果“云上谷歌”,连Siri都不放过 苹果因自建云服务使用率低、资本支出保守,考虑将新版Siri部署至谷歌云,暴露其AI基础设施依赖外部算力的困境。 siyushenqi.com 2026 年 3 月 5 日 294000 美柚海外版 MeetYou 冲入榜单 Top 10,非洲健康赛道布局初现 互联网技术正在改变非洲的健康服务,数字化为所有人的医疗保健及健康铺平了道路。2020 年新冠疫情迫使非洲认真审视其医疗行业的状况、成功和不足,暴露出技术可以实现的变革和创新的必要性。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 527000 行业动态 私域神器首发丨《光·遇》制作人陈星汉获得1.6亿美元投资,红衫资本领投 thatgamecompany融资1.6亿美元,皮克斯联合创始人艾德·卡姆尔(Ed Catmull)也将加入团队,担任创意文化和战略发展的首席顾问 siyushenqi.com 2025 年 8 月 15 日 529000 行业动态 2024年WhatsApp广告政策变化对外贸企业影响 WhatsApp广告政策变化概述 对外贸企业的影响 外贸企业应对策略 数据隐私影响 对比分析 WhatsApp广告政策变化概述 2024年,WhatsApp将实施全新的广告政策,为广告主提供更多广告投放的机会和选项。这一变动对全球各行各业的营销策略都将带来显著影响,尤其是在外贸领域,企业需要根据新的广告规则进行相应调整。 对外贸企业的影响 WhatsApp广… siyushenqi.com 2025 年 8 月 13 日 下午9:39 404000 出货量超过华为,排名全球第4!抢眼的营收背后谁是“推手”? 打着国潮、国货标签的中国品牌又火了,不同的是,这些火出国门的本土品牌还加速了国货出海时代的到来。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 449000 行业动态 亚马逊印度公司入驻商户数量已经超过70万家 据竺道资本了解,根据最新数据显示,亚马逊印度公司入驻商户数量已经超过70万家 siyushenqi.com 2025 年 8 月 13 日 454000 揭秘小程序短剧买量:占总成本90%,堪比股市量化交易 理解买量、学习买量,正是每一个当下想要入局这个红海行业的「野心家」的必修一课。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 471000 行业动态 Nano Banana有点ChatGPT时刻的味儿了 Nano Banana 将图像生成从“反复调试提示词”的抽卡式流程,转变为自然语言对话式编辑。用户可用简单指令(如“换背景”“戴帽子”)进行精确局部修改,模型还能记住上下文,实现多轮互动创作。 siyushenqi.com 2025 年 9 月 8 日 493000 行业动态 英伟达机器人“新大脑”即将揭晓 英伟达机器人账号确认 8 月 25 日将揭晓“新大脑”,黄仁勋手写贺卡“好好享受!”暗示重磅发布。 siyushenqi.com 2025 年 8 月 26 日 514000 行业动态 激进的可灵背后是一个内敛的快手 对于在AI时代秉持内敛型战略的企业而言,「世界模型」只是遥远而美妙的幻境,更现实的三步走计划可以概括为优化已有功能、探索AI原生功能、实现用户的AI化。 siyushenqi.com 2025 年 8 月 13 日 399000 行业动态 WhatsApp矩阵如何助力外贸企业高效获取新客户 WhatsApp矩阵概述 WhatsApp矩阵的关键特点 对比分析 常见问题解答 WhatsApp矩阵概述 随着全球化和跨境电商的快速发展,外贸企业面临着越来越激烈的竞争。如何高效地获取新客户并提高沟通效率,成为了外贸企业成功的关键。而WhatsApp矩阵为外贸企业提供了一整套基于即时通讯、群组管理和自动化工具的解决方案,帮助企业提高客户获取的效率,提升沟通… siyushenqi.com 2025 年 8 月 13 日 下午9:39 404000 行业动态 游戏圈“湖南一哥”2024开大招:「回归之战」的号角已经吹响 出乎意料的强强联手。 siyushenqi.com 2025 年 8 月 18 日 408000 头部游戏都在实践的“内容营销”,有哪些值得借鉴之处? 营销已经走到了“变革临界点”,营销费用缩水、效果标准提升,这样的大环境背景,也就催生了游戏厂商对“内容营销”的探索与追求。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 494000 因为“Monster”商标,魔爪饮料和游戏公司发生纠纷 无法理解。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 499000 全球112个游戏免费TOP1,《暗黑破坏神:不朽》打了漂亮的第一仗 2018年的暴雪嘉年华上,首席设计师Wyatt Cheng在压轴部分公布了手游新作《暗黑破坏神:不朽》 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 488000 《2021年韩国移动游戏市场洞察》- 韩国手游市场创收57.2亿美元,RPG游戏占比超66% Sensor Tower 商店情报数据显示,尽管2021年韩国移动游戏市场下载量同比略有下降,但收入依旧增长6.5%,达到57.2亿美元。RPG手游仍然是韩国市场收入最高的游戏类别,占比超过66%。RPG手游收入持续增长的主要原因,一方面归功于天堂系列等经典RPG手游的稳健运营,另一方面则得益于如《奥丁:神叛》、《二之国》等一系列高品质新游的不断推出。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 448000 巴西蓝海电商市场,消费电子产品很是吃香 巴西的电商水平在拉美地区可谓占领半壁江山,几乎占到该地区在线零售总额的1/3以上,其电商市场的增长速度也居于全球前列。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 492000 行业动态 2024年1月全球热门移动游戏收入TOP10 2024年1月全球热门移动游戏收入TOP10完整榜单出炉。 siyushenqi.com 2025 年 8 月 18 日 472000 行业动态 私域神器每周合作精选No.180|求AI制作漫剧团队;直播平台寻求东南亚公会资源;AI应用寻海外推广;寻墨西哥FB投放 本期精选的合作类型涵盖求AI制作漫剧团队;直播平台寻求东南亚公会资源;AI应用寻海外推广;寻墨西哥FB投放等。接下来就一起看看吧~ siyushenqi.com 2025 年 11 月 17 日 356000 行业动态 消息称字节跳动因版权纠纷暂停在全球推出Seedance 2.0 字节跳动因迪士尼等好莱坞公司版权诉讼压力,暂停视频生成模型Seedance 2.0全球发布计划,正加紧增加安全防护措施。 siyushenqi.com 2026 年 3 月 18 日 307000 在TikTok卖号,每月躺赚十万 买号,培训,建供应链,创品牌,TikTok美国市场开放前,商家正在加速布局。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 494000 长跑5年坐拥2000万用户,这款二次元手游越来越能打了 在大多数情况下,一款手游产品在进入生命周期的第五年之后,在运营上都不会有太大的动作了。但《碧蓝航线》似乎是个例外,自从上线以来这款产品就一直在保持着“生长”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 472000 行业动态 一周要闻NO.184丨韩国AI国家队翻车;完美世界发布反腐公告;Shein高管将出席欧盟议会听证会;苹果正式牵手谷歌Gemini 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2026 年 1 月 21 日 307000 拼多多市值达到京东的5倍 刘强东:京东必须改变,否则没有出路。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 445000 行业动态 传统潮玩卖出百万件后,前阿里巴巴专家在CES全球首秀“AI Labubu” bibo通过多模态感知系统与端云协同,实现快速、自然的情绪交互。 siyushenqi.com 2026 年 3 月 5 日 372000 行业动态 抖音快手战火烧到AI “追赶”OpenAI的中国公司们,步子迈得越来越大了。 siyushenqi.com 2025 年 8 月 13 日 454000 发表回复 请登录后评论...登录后才能评论 提交