香港科技大学、Manycor开源空间大模型,超3000颗星 siyushenqi.com • 2025 年 8 月 13 日 上午11:30 • 行业动态 • 阅读 446 香港科技大学、Manycore联合开源了一种名为SpatialLM的空间大模型,专门用于处理3D点云数据,并生成结构化的三维场景理解输出,如墙壁、门窗、物体边界框及其语义类别等。 摘要 SpatialLM通过将点云数据的特征提取、特征对齐和语言生成紧密结合,实现从原始三维数据到结构化场景描述的高效转换。它采用Sonata编码器作为前端模块,该编码器基于点的方法直接处理点云,能更好地保留几何信息,并通过自监督学习获得强大的特征表示;采用两层的MLP作为投影器,将点云特征映射到与语言模型兼容的特征空间中,实现多模态特征的融合;以阿里开源的Qwen2.5-0.5B为基础模型,通过在合成数据集上微调,学习从点云输入生成准确的三维场景描述。 研究团队从专业室内设计平台获取12328个场景,通过规则过滤与专业渲染生成包含403291面墙、123301扇门、48887扇窗户及412932个物体实例的大规模合成数据集,覆盖59个常见物体类别,所有物体尺寸大于15cm以确保真实性,并采用工业级渲染引擎生成带相机轨迹的RGBD图像。与现有数据集相比,其场景数量是Structured3D的3.5倍,且通过人类设计师的真实方案保证了空间布局的合理性,为LLM学习空间规律提供了高质量训练信号。 模型的训练过程采用了单阶段训练策略,将编码器、投影器和语言模型的所有参数同时进行训练,确保整个系统在训练过程中能够协同优化,实验结果表明这种策略能取得最佳性能,尤其在三维目标检测任务中,其重要性更为明显。 SpatialLM的出现让机器像人类一样感知、理解和与室内三维场景互动成为可能,它克服了传统三维场景建模方法的局限性,如难以扩展到新场景类型或对象类别等,为三维场景的理解和建模提供了新的思路和方法,有望在机器人导航、室内设计、虚拟现实等领域发挥重要作用。 香港科技大学、Manycore联合开源了一种专用于处理 3D 点云数据,并生成结构化的三维场景理解输出的空间大模型SpatialLM。 开源地址:https://github.com/manycore-research/SpatialLM 让机器像人类一样感知、理解和与室内三维场景互动,一直是人工智能的重要目标之一。但与二维图像相比,三维场景的理解和建模面临着更大的挑战,尤其是在数据获取、模型训练和计算效率等方面。 传统的三维场景建模方法通常依赖于复杂的网络设计和大量的手动标注数据。然而,这些方法往往存在局限性,例如,难以扩展到新的场景类型或对象类别。 而SpatialLM通过将点云数据的特征提取、特征对齐和语言生成紧密结合,实现了从原始三维数据到结构化场景描述的高效转换。 点云编码器是SpatialLM的前端模块,负责从原始的三维点云数据中提取出有意义的特征表示。点云数据的不规则性使得这一任务变得尤为复杂。为了应对这一挑战,研究团队尝试了多种不同的编码器设计方法。 首先,考虑了基于映射的方法,这种方法通过将二维图像特征映射到三维点上,从而为每个点赋予丰富的语义信息。但这种方法在实验中表现不佳,主要是因为在下采样过程中丢失了太多的空间信息,这对于依赖几何坐标的三维重建任务来说是致命的。 随后,研究团队转向基于体素的方法,这种方法通过将点云转换为规则的三维体素网格,从而利用稀疏卷积算法进行高效计算。尽管这种方法在处理规则化数据方面表现出色,但在处理复杂的三维结构时仍然存在局限性。最终,研究团队选择了基于点的方法,这种方法直接处理点云作为连续空间中的集合,能够更好地保留点云的几何信息。 研究人员采用了 Sonata 编码器,这是一种基于点的编码器,通过自监督学习获得强大的特征表示。Sonata编码器的设计灵感来源于 Point Transformer V3,去除了解码器,专注于编码器的自监督学习。这种设计不仅提高了特征提取的效率,还使得编码器能够更好地适应后续的语言模型模块。 在提取了点云特征之后,接下来的挑战是如何将这些特征与语言模型进行对齐。这一过程对于多模态特征的融合至关重要,因为它需要在保留几何信息的同时,将特征转换为语言模型能够理解和处理的形式。 研究团队采用了一个两层的 MLP 作为投影器,将点云特征映射到与语言模型兼容的特征空间中。MLP 的设计不仅能够有效地处理特征的非线性变换,还能够确保特征在维度和语义上的对齐。通过这种方式,点云特征被转换为语言模型可以接受的输入格式,从而实现了多模态特征的无缝融合。 大模型作为SpatialLM的核心,主要负责生成结构化的三维场景描述。模型的选择对于整个系统的性能有着决定性的影响。研究团队选择了阿里开源的Qwen2.5-0.5B 作为基础模型。通过在合成数据集上进行微调,该模型能够学习到如何从点云输入中生成准确的三维场景描述,包括墙壁、门窗、物体边界框及其语义类别。 数据集方面,研究团队从专业室内设计平台获取 12,328 个场景,通过规则过滤与专业渲染生成包含 403,291 面墙、123,301 扇门、48,887 扇窗户及 412,932 个物体实例的大规模合成数据集。该数据集覆盖 59 个常见物体类别,所有物体尺寸大于 15cm 以确保真实性,并采用工业级渲染引擎生成带相机轨迹的 RGBD 图像。 与现有数据集相比,其场景数量是 Structured3D 的 3.5 倍,且通过人类设计师的真实方案保证了空间布局的合理性,为 LLM 学习空间规律提供了高质量训练信号。 模型的训练过程采用了单阶段训练策略。这一策略的核心思想是将编码器、投影器和语言模型的所有参数同时进行训练,从而确保整个系统在训练过程中能够协同优化。实验结果表明,这种单阶段训练策略能够取得最佳的性能,尤其是在三维目标检测任务中,这种策略的重要性更为明显。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32275.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI转向谷歌TPU:宿敌也能变朋友? 上一篇 2025 年 8 月 13 日 上午11:30 腾讯开源新版混元模型:AI Agent强化,超30种智能体指令 下一篇 2025 年 8 月 13 日 上午11:30 相关推荐 行业动态 或许我对老牌厂商这款MMO端游的期待太高了 时代在进步,玩家需求也在不断变化。 siyushenqi.com 2025 年 8 月 18 日 401000 行业动态 剧点短剧&灵矩动漫 创始人兼CEO 王树波 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会演讲嘉宾! 剧点短剧&灵矩动漫 创始人兼CEO 王树波 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会演讲嘉宾! siyushenqi.com 2025 年 9 月 23 日 457000 3年前做到5000万月流水,他们决定再赌一把 大IP+成熟玩法 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 510000 行业动态 2024年7月中国手游发行商全球收入排行榜 2024年7月共35个中国厂商入围全球手游发行商收入榜TOP100,合计吸金20亿美元,占本期全球TOP100手游发行商收入37%。 siyushenqi.com 2025 年 8 月 17 日 528000 行业动态 2025年12月成功出海的中国手游-《Whiteout Survival》领跑收入榜,《使命召唤手游》空降增长榜首 2025年12月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2026 年 1 月 7 日 373000 行业动态 开服一周,白荆回廊成为了玩家们的大型真香现场 今年二次元战士来了 siyushenqi.com 2025 年 8 月 18 日 420000 1.10《出海UP说》圆满落幕:剖析游戏出海新生态,破获游戏出圈最in法则 2023年1月10日,《出海UP说》线上沙龙活动圆满落幕! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 501000 暴雪前创始人再创业,重新汇聚了一小批“暴雪原班人马” 已经退休的前暴雪娱乐总裁、联合创始人麦克·莫汉有点闲不住,2018年宣布退休之后,他并没有彻底地闲下来享受线下生活。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 454000 行业动态 一周要闻NO.140丨DeepSeek登顶全球AI应用第2名;腾讯游戏变阵海外版图;中国跨境电商转战越南,亚马逊是否成最大受益者 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 388000 行业动态 躲不过!亚马逊又要在“黑五网一”提升FBA费用 亚马逊将在年终购物季期间提高使用其亚马逊物流配送服务的卖家的费用。 siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 “走路就能赚钱”的脚下生意火到海外 风险与收益并存,免费的也可能是最贵的。 siyushenqi.com 2025 年 8 月 17 日 463000 获腾讯入股,他们用一支18人初创团队,做了款“中式”赛博朋克新游 时间回到今年4月底,由eBrain Studio工作室操刀的国产3D横版动作游戏《生死轮回(Loopmancer)》宣布在Steam平台开启试玩并放出了新的宣传视频。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 451000 行业动态 印度成为2021年1月谷歌支付平台Google Pay的最大贡献市场 数据分析公司Sensor Tower提供的数据显示,谷歌支付平台Google Pay再次成为全球下载量最大的金融科技类应用。 siyushenqi.com 2025 年 8 月 25 日 476000 行业动态 微软开源最强小参数大模型—Phi-3 Mini 4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。 siyushenqi.com 2025 年 8 月 13 日 532000 行业动态 为什么AI浏览器可以聚集一切 在AI时代,浏览器依旧是组成AI体验的核心部件之一,AI浏览器从搜索的容器变成了AI能力的躯体,从信息获取的窗口变成了代理执行的伙伴,成为AI应用中竞争激烈的节点之一,众多企业和开发者投身其中。 siyushenqi.com 2025 年 8 月 13 日 407000 行业动态 王小川评OpenAI o1: 找到一条从快思考走向慢思考的路 王小川预言,代码将成为大模型的核心能力,AI将通过编写代码来解决更多问题,甚至优化自身的思考过程。 siyushenqi.com 2025 年 8 月 13 日 439000 行业动态 WhatsApp营销获客:我是怎么靠它从0到有用户甚至创收的 作为一名海外APP开发者,我真实分享了如何利用WhatsApp营销获客,从建立联系人池、设计消息模板、分层发送到持续跟进的实操经验,包含具体数据、真实案例和踩坑教训,帮你少走弯路。 siyushenqi.com 2026 年 3 月 6 日 355000 解决谷歌账户注册难题,从0到1学习谷歌广告 解决谷歌账户注册难题,从0到1学习谷歌广告 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 424000 超过TikTok夺得全美下载榜冠军,带有中国基因的Shein成了又一个现象级应用 用势如破竹来形容Shein的发展现状,可以说再适合不过了。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 494000 行业动态 直接抬杠亚马逊Prime Day!?Noon将在同日期举行超级大卖活动 直接抬杠亚马逊Prime Day!?Noon将在同日期举行超级大卖活动 siyushenqi.com 2025 年 8 月 13 日 392000 行业动态 WhatsApp绿标号常见问题解答 What is WhatsApp green checkmark? How to get the green checkmark? Benefits of having a green checkmark Comparison: Green checkmark vs. regular business account FAQ What is WhatsApp… siyushenqi.com 2025 年 8 月 13 日 上午11:30 446000 行业动态 在互动游戏里玩短剧看网文 这场赛博恋爱让男性向市场崛起了 短剧+游戏模式或将成为下一个爆款路径? siyushenqi.com 2025 年 8 月 18 日 452000 行业动态 4-40万 人形机器人赶集“上线” 今年618期间,多家知名人形机器人公司如卓益得、灵宝CASBOT、松延动力、众擎机器人、星海图以及宇树科技等纷纷选择在京东线上售卖产品,售价区间从4万到40万不等,涵盖了从入门级到高端旗舰的多款型号。 siyushenqi.com 2025 年 8 月 13 日 399000 行业动态 月销万单,3D打印笔海外爆火,出海厂商单品月入40万美元 3D打印笔爆火离不开社交媒体传播 siyushenqi.com 2025 年 8 月 12 日 482000 行业动态 2023年6月全球热门移动游戏下载量TOP10 Garena《Free Fire》以将近1900万次下载 siyushenqi.com 2025 年 8 月 19 日 469000 910万用户!这个二手旧衣平台吸金1亿,抢跑拉美 二手经济正成为市场新趋势 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 483000 行业动态 电报Telegram创始人杜罗夫四月专访1.5万字全文 电报Telegram创始人,帕维尔·杜罗夫24日晚在法国被捕,原因是涉嫌未能采取措施遏制这一社交平台上的不法行为。 siyushenqi.com 2025 年 8 月 14 日 360000 8月版号解读丨蚂蚁领衔动物向题材崛起 超休闲仍是中小研发续命良药 8月的第1天,随着热气袭来,新一轮版号也猝不及防地到来了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 414000 行业动态 日均收入破20万美金,这款监狱题材的模拟经营+SLG有点意思 上线 50 天,全球累计下载 520 万+,日均 10 万;内购收入已破 700 万美元,日流水稳定在 20 万美元以上。 siyushenqi.com 2025 年 8 月 28 日 501000 行业动态 成为超1300家人工智能企业的选择,伦敦凭什么? 随着现阶段人工智能领域的不断火热,作为欧洲人工智能之都的伦敦显然也正在展示出其无与伦比的优势。 siyushenqi.com 2025 年 8 月 14 日 449000 发表回复 请登录后评论...登录后才能评论 提交