微软团队发布第一个基于 AI 的天气和气候基础模型 ClimaX siyushenqi.com • 2025 年 8 月 14 日 上午12:07 • 行业动态 • 阅读 484 适用于一系列大气科学任务的一站式AI解决方案。 大多数最先进的天气和气候建模方法都是基于大气的物理学数值模型。这些方法旨在模拟非线性动力学和多个变量之间的复杂相互作用,这些变量很难近似。此外,许多此类数值模型的计算量很大,尤其是在以细粒度的空间和时间分辨率对大气现象进行建模时。 近期基于机器学习的数据驱动方法,旨在通过使用深度神经网络学习数据驱动的函数映射,来直接解决下游预测或投影任务。然而,这些网络是使用针对特定时空任务的精选和同质气候数据集进行训练的,因此缺乏数值模型的通用性。 微软自主系统与机器人研究小组以及微软研究院科学智能中心开发了 ClimaX,这是一种灵活且可推广的天气和气候科学深度学习模型,可以使用跨越不同变量、时空覆盖和物理基础的异构数据集进行训练。 ClimaX 使用新颖的编码和聚合块扩展了 Transformer 架构,这些块允许有效使用可用计算,同时保持通用性。ClimaX 在源自 CMIP6 的气候数据集上使用自我监督学习目标进行了预训练。然后可以对预训练的 ClimaX 进行微调,以解决广泛的气候和天气任务,包括那些涉及预训练期间看不到的大气变量和时空尺度的任务。 研究表明,与现有的数据驱动基线相比,ClimaX 中的这种普遍性导致天气预报和气候预测基准的卓越性能,即使在较低分辨率和计算预算下进行预训练也是如此。 该研究以「ClimaX: A foundation model for weather and climate」为题,于 2023 年 1月 24 日发布在 arXiv 预印平台。 当前一个关键的见解是,认识到天气和气候科学中的所有预测和建模任务都基于物理现象及其与当地和全球地理的相互作用。因此,应当设计一个以许多不同尺度模拟大量天气和气候变量的基础模型,从而对这些物理定律和相关的地理相互作用进行编码。 当前最先进的数值天气和气候模型基于对大型微分方程系统的模拟,这些微分方程基于不同地球系统的已知物理学将能量和物质的流动联系起来。因此,通常需要最先进的数值天气和气候模型才能在高分辨率的大型超级计算机上运行。尽管这些方法很成功,但众所周知,这些模型在长期和短期内都存在弱点和局限性。 另一方面,技术的进步带来了来自卫星、雷达和其他气象传感器的大量数据。这些数据还可以为天气和气候建模提供有价值的信息,特别是在更精细的时间和空间分辨率下,同时可能解释不太了解的复杂物理学。然而,当前的大规模数值天气和气候模型很难吸收这种规模的数据。 机器学习(ML)模型可以提供替代权衡,从数据和计算的规模中获益。近期,为中短期天气预报扩展深度学习系统的尝试已经取得了巨大的成功,通常已经在感兴趣的关键变量上匹配了当前最先进的数值天气模型。然而,由于大多数 ML 模型都是针对特定数据集的特定预测任务进行训练的,它们缺乏地球系统科学的通用实用性,因此不完全基于物理学。 从机器学习的角度来看,大量可用数据——从陆地、沙子或大气的直接天气测量,数十年来在不同空间尺度上重新分析的天气数据,到各种场景的物理信息气候预测——是为天气和气候建模建立完全基于物理的基础模型的卓有成效的基础。尤其如此,因为天气和气候数据通常共享同一组方程(尽管具有相当不同的特征)。 ClimaX 架构和框架 在自然语言处理或计算机视觉等学科中,众所周知,经过训练以使用监督学习解决单个任务的 ML 模型在训练期间需要标签,并且在训练分布之外部署时很脆弱。近年来,预训练大型无监督「基础」模型因此成为一种新范式,缓解了监督瓶颈。预训练后,有很多方法可以在几乎没有或没有(即零样本)额外监督的情况下,在任意跨度的任务上微调同一模型。 ClimaX 遵循预训练-微调范式。对于预训练 ClimaX,研究人员的第一个关键建议是超越标准的均质天气数据集,而是利用基于物理的气候模拟数据集,由于来自多个小组的各种气候模拟,这些数据集非常丰富。通过仅使用可用数据集的一小部分,研究表明这些数据集中的异质性已经足以作为一个丰富而丰富的预训练数据集。 但要做到这一点,研究人员需要一个模型架构能够恰当地包含那些高度多模态的气候数据集的异质性,因为观测通常对应于许多不同的、无限的变量。此外,许多观测数据集是不规则的,因为它们的时空覆盖范围不同,对应于大气变量的不同子集。 ClimaX 的核心是一个基于 Vision Transformers(ViT)的多维图像到图像转换架构。基于 ViT 的架构特别适合对天气和气候现象进行建模,因为它们自然地标记了类似于不同时空输入的多尺度数据的空间性质,并且还提供了将标记化扩展到广泛的多通道特征的机会。然而,要将 ViT 架构重新用于 ClimaX,需要进行两个根本性的改变:变量标记化和变量聚合。 图示:预训练期间使用的 ClimaX 架构。(来源:论文) 变量标记化:图像数据的标准 ViT 标记化方案将输入分成大小相等的块,并将这些块在宽度、高度和通道维度上展平为一个向量。然而,这对于气候和天气数据来说并不是那么简单,因为不同数据集之间的物理变量数量可能会有所不同。具体来说,在该研究的例子中,每个气候预训练数据子集都包含不同模型的模拟数据,因此具有不同的基础变量。因此,研究人员提出变量标记化,将变量视为单独的模式,即使在不规则数据集的情况下也能实现更灵活的训练。 图示:变量标记化,将变量视为单独的模式,以实现更灵活的训练。(来源:论文) 变量聚合:变量标记化有两个固有的问题。首先,它产生的序列随输入变量的数量线性增加,这在计算上作为 ViT 的自注意层的输入是不可行的。其次,输入很容易包含具有不同物理基础的不同变量的标记。因此,研究人员提出变量聚合,这是一种交叉注意操作,可为每个空间位置输出大小相等的嵌入向量。 图示:变量聚合,一种交叉注意操作,为每个空间位置输出大小相同的嵌入向量。(来源:论文) 对各种下游任务进行微调 论文重点介绍了 ClimaX 在各种与天气和气候相关的下游任务中的表现,研究人员将这些任务分为天气预报(全球、区域、次季节和季节)、气候预测和气候降尺度。ClimaX 由于其四个可学习的组件而非常灵活:令牌嵌入层、变量聚合模块、注意力块和预测头。如果下游变量与预训练变量重叠,还可以微调整个模型。如果在预训练期间看不到变量,研究人员会用新初始化的网络替换嵌入层和预测头,并对其他两个组件进行微调或冻结。 图示:用于气候预测任务的示例微调管道。一组不同的输入和输出变量需要不同的嵌入层和预测头。注意层可以被冻结或微调。(来源:论文) 亮点 全球天气预报 图示:使用 ClimaX(未来 6 小时至 1 个月)的关键天气变量(温度:T2m、T850、风:U10、V10)的预测结果可视化。(来源:论文) ClimaX 在对相同的 ERA5 数据进行微调时,即使在中等分辨率 (1.40625˚) 上,即使在短期和中期预测方面不比 IFS 表现得更好,但在长期预测方面的表现也相当出色。 图示:ClimaX 对关键天气变量(温度:T2m、T850、风:U10、地势:Z500)的全球预报性能与不同前置时间范围内使用的最先进的数值天气预报系统 IFS 的比较。ClimaX 已经接近中短期预测,同时在更长的提前期范围内变得更好。(来源:论文) 气候预测 气候预测帮助气候科学家了解温室气体浓度或气溶胶排放等各种强迫因素对长期气候状况的影响。最近引入了 ClimateBench,以持续评估机器学习方法,以提高气候预测的准确性。该任务明显不同于预训练机制,其输入和输出与预训练期间完全不同。尽管如此,将 ClimaX 注意力层转移到此任务,仍会产生与 ClimateBench 中当前最先进的基线相当或更好的性能。 表:尽管在预训练期间从未建构任何输入或输出变量,但 ClimaX 的表现优于其他基线。(来源:论文) 气候模型降尺度 由于空间分辨率较粗糙,气候模型通常无法提供足够的细节来分析区域和当地现象。降尺度有助于提供更高分辨率的气候预测,并通过将这些模型与更高分辨率的当地气候条件相关联来减少这些模型输出的偏差。研究人员通过使用较低分辨率气候模型的预测作为输入,并将再分析天气数据中的相应值作为较高分辨率的目标来评估 ClimaX 在此任务上的表现。研究人员发现 ClimaX 在所有关键指标上再次优于其他基于深度学习的基线。 表:ClimaX 在从 MPI-ESM (5.625˚) 到 ERA5 (1.40625˚) 的降尺度方面比其他深度学习基线表现更好。(来源:论文) 图示:使用 ClimaX 对关键气候变量(温度:T2m、T850)进行降尺度预测的可视化。(来源:论文) 缩放分析 当给定更多计算、数据或参数时,基于 Transformer 的机器学习架构已经发现了有利且可预测的缩放特性。ClimaX 模型也是如此。研究人员发现这些趋势很有希望,因为与其他领域目前流行的具有数十亿参数的架构相比,这里只扩展到相当小的模型。此外,还有大量公开可用的天气和气候数据,尚未利用这些数据来预训练更大的模型。 图示:ClimaX 的比例规律分析。更大的模型和更多的数据不断提高关键任务的性能,更大的模型也具有更高的样本效率。(来源:论文) 使用数据驱动方法推进天气和气候建模 该团队发布 ClimaX,旨在进一步推动数据驱动的天气和气候建模。该团队的目标是让任何人都能轻松使用最新的机器学习方法来解决大量问题,从局部范围内的近期预测到涉及天气和气候变量的长期过程建模。ClimaX 朝着为各种此类任务提供单一起点的想法迈出了一大步。研究人员迫不及待地想看看这个新兴领域的未来。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/34107.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 微软100亿美元砸向OpenAI,ChatGPT要加入Office全家桶了? 上一篇 2025 年 8 月 14 日 上午12:07 中国式ChatGPT来了?!传百度已在秘密研发,搜索引擎市场快要“变天” 下一篇 2025 年 8 月 14 日 上午12:08 相关推荐 行业动态 盗版短剧观察:0.99元可买万部!10分钟建站年入千万? 终于有人对盗版短剧重拳出击了? siyushenqi.com 2025 年 8 月 18 日 471000 行业动态 抖音快手战火烧到AI “追赶”OpenAI的中国公司们,步子迈得越来越大了。 siyushenqi.com 2025 年 8 月 13 日 458000 行业动态 量子计算OpenAI来了?前谷歌3人团队融资1亿元,打造AI算力芯片挑战物理极限 前谷歌量子计算团队今日宣布融资1410万美元,打造新型AI算力芯片,将根据热力学和信息的第一原理构建人工智能超级计算机,实现能够自我编程的算力芯片。 siyushenqi.com 2025 年 8 月 13 日 473000 行业动态 对话 Digital Turbine 全球变现侧 VP:手游出海如何创新,混变模式成就了多个出海爆款手游 IAP+IAA 模式驱动下,手游出海迎来新机遇。 siyushenqi.com 2025 年 8 月 17 日 445000 行业动态 美团旗下AI浏览器回应抄袭代码 美团旗下Tabbit AI浏览器被质疑抄袭“陪读蛙”代码,官方称fork时无开源协议,后续尊重作者选择并已开源相关代码。 siyushenqi.com 2026 年 3 月 5 日 297000 亚马逊直播AmazonLive效果如何?听听第一波“吃螃蟹”的人怎么说 早在2019年,亚马逊就上线了Amazon Live,在今年的Prime Day中,Amazon Live也吸引了不少直播受众。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 461000 行业动态 国产“双剑”开发商宣告转型半导体 大宇资讯更名为「光聚晶电联合股份有限公司」,母公司战略重心转向半导体、新能源等科技领域。 siyushenqi.com 2025 年 11 月 6 日 373000 沙特电商数据分享(statista) 作为世界上最成功的统计数据库之一的Statista是在线统计数据门户。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 442000 2000日夜人气不减,5年的《碧蓝航线》还在给市场持续带来惊喜 对于很多游戏来说,5年可能是一个永远等不到的数字,但对于现在的《碧蓝航线》来说,我觉得5年可能是一个新的开始。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 516000 核心游戏流水增长30%,这家上市公司迎来不错的开局 自研进入回报期 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 530000 行业动态 私域神器每周合作精选No.190|寻找海外漫剧分销方;需土耳其支付渠道;印度CPS、CPA游戏流量合作;社交APP寻分成合作 本期精选的合作类型涵盖寻找海外漫剧分销方;需土耳其支付渠道;印度CPS、CPA游戏流量合作;社交APP寻分成合作。接下来就一起看看吧~ siyushenqi.com 2026 年 1 月 29 日 326000 行业动态 OpenAI与苹果合作,将ChatGPT集成在iOS 18中 6月11日凌晨,OpenAI在官网宣布与苹果达成技术合作,将ChatGPT深度集成在苹果产品矩阵中,包括最新的iOS、iPadOS和macOS。 siyushenqi.com 2025 年 8 月 13 日 445000 行业动态 印度不太可能撤销《PUBG Mobile》禁令,暴力问题或成主要原因 此前,印度以收集用户数据的方式对国家安全构成了威胁等原因,正式宣布实施《PUBG Mobile》禁令 siyushenqi.com 2025 年 8 月 26 日 503000 行业动态 2020年5月全球热门移动应用下载量TOP10 Sensor Tower 商店情报数据显示,今年5月抖音及其海外版TikTok以将近1.12亿次下载量,位列全球移动应用(非游戏)下载榜冠军,较2019年同期增长一倍。 siyushenqi.com 2025 年 8 月 26 日 386000 行业动态 RCS短信营销:提升外贸企业短信营销效果的全新方式 RCS 技术概述与行业价值 RCS 短信的核心能力 外贸企业的应用场景与策略设计 落地实施、数据分析与合规要点 常见问题 在国际市场竞争持续加剧、获客成本不断攀升的背景下,外贸企业对高触达率、高转化率的数字化营销渠道提出了更高要求。传统短信营销虽然具备覆盖广、到达率高的特点,但在内容呈现、互动能力与数据反馈方面存在明显瓶颈。RCS 短信营销正是在这一背景下逐… siyushenqi.com 2025 年 8 月 14 日 上午12:07 484000 行业动态 短剧出海「一哥」,去年净利润只有24万?! 中文在线的财报一出,应该有不少人关心枫叶互动2023年的业绩。 siyushenqi.com 2025 年 8 月 18 日 536000 行业动态 从腾讯大模型的「实用」路线,我们看到了企业应用AI的新方向 现在每家公司都是 AI 公司,但引入 AI 之后,利润真的能提高吗? siyushenqi.com 2025 年 8 月 13 日 392000 行业动态 大厂搞AI,谁赚到钱了? 过去两年AI成为全球科技圈焦点,国内外众多公司重金投入。但同时引发质疑,大量投入后究竟有谁真正赚到钱。 siyushenqi.com 2025 年 8 月 13 日 373000 行业动态 大润发,要被卖了 被阿里摆上货架。 siyushenqi.com 2025 年 8 月 5 日 414000 行业动态 齐悟AI CEO 王一 确认担任 PAGC 2025丨第五届全球产品与增长展会 AIGC出海增长峰会圆桌嘉宾! 齐悟AI CEO 王一 确认担任 PAGC 2025丨第五届全球产品与增长展会 AIGC出海增长峰会圆桌嘉宾! siyushenqi.com 2025 年 8 月 17 日 449000 网易研究五年的AI技术,应用一次最多能省几十万? 利用AI技术生产美术资源。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 441000 行业动态 2023游戏行业价格战:真正的内卷刚刚开始 细节背后隐藏的巨变。 siyushenqi.com 2025 年 8 月 19 日 463000 行业动态 客户说我们的价格很有竞争力,质量也好,为什么就是不下单? 我们有很多客户来跟我们抱怨:客户说我们的产品质量和价格都很好很有竞争力,但是就是一直不下单,到底是什么原因呢? 其实这种情况是很正常的,有的新手业务员会觉得客户在忽悠我们,但是从采购的角度来看,是可以理解的。 采购是有周期的,不可心急 很多产品的订单都是定期下单的,比如年度订单,一年就下一次单,如果量不大,一次交货就可以了。所以,就算我们的产品再好,今年这个… siyushenqi.com 2025 年 8 月 14 日 上午12:07 484000 行业动态 多端数据互通 手机也可玩的端游《热血传奇加强版》要来了 继去年在《热血传奇》20周年推出了《热血传奇怀旧版》后,今年盛趣游戏似乎又要在传奇周年庆的节点放一个大招了。 siyushenqi.com 2025 年 8 月 25 日 448000 给自己训练一个研究助手,这款谷歌AI笔记应用有意思 当我们将语言模型(谷歌语言模型 PaLM 2 )放在底座上时,该如何重新想象笔记软件应有的样子 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 458000 行业动态 黑五第十年,进口跨境电商依然有新故事 亚马逊海外官方旗舰店在京东正式上线,首批上线了40万全球好物,并在价格策略、物流配送等关键环节上持续发力。 siyushenqi.com 2025 年 8 月 5 日 409000 行业动态 中东掘金:泛娱乐App的跨界狂潮 中东市场,一个充满异域风情和商业活力的地区,近年来逐渐成为全球泛娱乐App出海的热点。在这片古老而又年轻的土地上,1v1社交、Dating、语聊和直播等应用场景蓬勃发展,为出海企业提供了丰富的机遇。本文将深入探讨这些场景下App的特点、融合趋势以及面临的挑战和机遇。 siyushenqi.com 2025 年 8 月 18 日 530000 行业动态 SpaceX宣布收购xAI SpaceX以1.25万亿美元估值收购xAI,计划建设太空数据中心解决地面AI算力瓶颈,但两家公司均面临财务压力。 siyushenqi.com 2026 年 2 月 3 日 357000 对话白俄罗斯最大移动游戏开发商:如何拿下消除类游戏市场 Belka Games位于明斯克,是白俄罗斯最大的社交和移动游戏开发商之一,曾于2019年接受了AppLovin的投资。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 477000 开发了《部落冲突》的Supercell,今天依然在用自己的思路打造爆款 今年2月,芬兰手游开发商Supercell公布了公司2021年的财务数据,财报显示,2021年Supercell营收为22.4亿美元,与2020年相比同比增长了45.3%。这家厂商推出过多款爆款产品,最引人注目的莫过于已经运营了10年的《部落冲突》。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 465000 发表回复 请登录后评论...登录后才能评论 提交