如今的智能体,已经像人一样「浏览」视频了,国内就有 siyushenqi.com • 2025 年 8 月 13 日 下午9:27 • 行业动态 • 阅读 433 AI 技术能够提高视频搜索效率,扩展人与数字世界的互动方式,使得机器能够理解视频内容和剧情。 摘要 英伟达发布的预训练、可自定义 AI 工作流,为开发者提供构建和部署生成式 AI 应用程序的解决方案,用于视频问答等典型用例。 一个开源的多模态智能体框架,旨在简化面向设备智能体系统的开发,支持视频问答功能,并能够将智能体直接应用在硬件设备上。 遵循基于图的工作流编排、原生多模态和设备中心化的三个基本原则,支持多种设备连接和交互,提供示例项目展示智能体的构建过程。 在视频问答和硬件设备应用方面的测试表明,OmAgent 能够有效处理复杂视频内容,提供准确的问答结果,并在实际硬件设备上运行智能体应用,如穿衣搭配推荐。 当你正在观看一部紧张刺激的动作电影,忽然好奇: “那个角色到底是在哪一集说的那句话?” “这里的背景音乐是什么?” 又或者在一场足球比赛中,你错过了那个决定性的进球,却又想再次回放。诸如此类的需求,如果仅凭人力寻找,无疑存在极大的工作量。 但是 AI 能够为机器配置双眼与大脑,让它们能够看懂视频、理解剧情,对于普通人来说,这不仅是提高了搜索效率,更是扩展我们与数字世界的互动方式。 英伟达最新发布的 NVIDIA AI Blueprint 希望帮助人们解决这一问题。这是一种预训练的、可自定义 AI 工作流,他为开发者构建和部署用于典型用例的生成式 AI 应用程序提供了一套完整的解决方案。 比如在英伟达提供的试用界面中,你可以选择三个视频片段中的一个进行内容问答。 在几轮测试过后,我们发现 Blueprint 对视频问答还是有不错的效果的。你可以提问某个事件发生的时间,也可以提问某个对象的状态。 例如当我们提问 “工人在什么时候掉落了箱子”,Blueprint 可以正确的回答出时间区间。二类似于 “叉车往哪个方向开” 这种基于连续过程的问题,Blueprint 也可以轻松应答。 不过对于某些细节,例如 “谁捡起了掉在地上的箱子”,Blueprint 则给出了错误的答案。 尤其令人遗憾的是,在试用过程中我们不断遇到流量限制,无限验证等问题,试用体验可以说一言难尽。并且目前 Blueprint 仍然处于早期申请使用制阶段,没有办法快速进行使用。 Blueprint 之外,我们还有什么选择? 经过一番搜索和调研,我们在 Github 上发现了 OmAgent 这个项目,这是一个多模态智能体框架,提供了同样强大的视频问答功能。 项目地址:https://github.com/om-ai-lab/OmAgent OmAgent 是什么 OmAgent 是一个开源的智能体框架,支持简单快速地面向设备进行智能体系统的开发,为智能手机、智能可穿戴设备、智能摄像头乃至机器人等各类硬件设备赋能。OmAgent 为各种类型的设备创建了一个抽象概念,并大大简化了将这些设备与最先进的多模态基础模型和智能体算法相结合的过程,使每个人都能基于设备建立最有趣的 AI 应用。 OmAgent 的设计架构遵循三个基本原则: 1. 基于图的工作流编排,支持分支、循环、并行等复杂逻辑操作; 2. 原生多模态,提供对音视图文等多种模态数据的支持; 3. 设备中心化,提供便捷的设备连接和交互方法。 简单来说,开发者可以基于 OmAgent 设计开发基于图工作流编排的面向设备的原生多模态智能体。这里的设备不光包含智能手机,智能可穿戴设备(智能眼镜等),智能家居,还包括命令行以及 web 端,开发者只需要专注于智能体本身,而不用分神处理设备。 OmAgent 项目里提供了 6 个示例项目,由浅入深展示了如何搭建一个智能体的完整过程,其中视频理解智能体工作流被 EMNLP 2024 主会收录,实现了和 Blueprint Demo 相似的功能。 OmAgent 表现如何? 根据项目文档只需要进行简单的配置就可以将 OmAgent 部署运行在本地环境。我们首先对 Blueprint 提供的测试视频进行预处理,在这个阶段视频会被分解为若干个片段,每个片段会被大模型进行总结,并向量化存储在数据库中。接下来使用之前的问题对 OmAgent 进行测试,可以看到智能体可以正确定位事件以及发生的时间。 Q: When did the worker drop the box? A: Q: Which direction did the forklift go? A: Q: Who picked up the box that fell on the ground? A: 接下来我们进行更复杂的测试,OmAgent 可以支持音频信息以及超长视频索引。我们选取了最近大火的剧集《双城之战》第二季第一集作为素材,基于其中的画面和剧情进行提问。 Q: 凯特琳收到的钥匙代表了什么? A: Q: 凯特琳和蔚在争执些什么? A: Q: 视频最后几个议员在讨论什么? A: Q: 议员开会的时候谁闯入了进来? A: 可以看到,即使面对如此复杂的视频素材,OmAgent 依然可以游刃有余。 除了视频问答之外,OmAgent 的最大特点是可以将智能体直接应用在硬件设备上,我们也对此进行了测试。使用项目提供的 app,我们可以运行示例项目中的穿衣搭配推荐智能体。智能体会根据你的需求,以及你已有的衣橱信息,为你推荐合适的穿衣建议。在这个过程中智能体会和用户进行多轮沟通以确定用户需求,并最终返回最合适的搭配。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32702.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI 与全世界最新锐的团队,想要用 AI 完成对浏览器的「复兴」 上一篇 2025 年 8 月 13 日 下午9:27 官方出品,OpenAI手把手教你写,ChatGPT提示词 下一篇 2025 年 8 月 13 日 下午9:27 相关推荐 29款海外游戏,3.7万条素材外卷,马化腾说不做买量可能错了 兼听则明 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 515000 行业动态 WhatsApp协议号的合规运营实践 合规框架与法律遵循 用户同意管理与透明机制 定期审计与监控实践 用户隐私保护策略 合规性挑战与对策 合规框架与法律遵循 WhatsApp协议号的合规运营首先依赖于完整的合规框架,其核心是严格遵守各项数据保护法规。这不仅包括本地法律,例如中国《个人信息保护法》,也涵盖国际规则如GDPR。通过制度化流程和法律培训,企业能够确保在信息收集、存储与传输环节中符合法律… siyushenqi.com 2025 年 8 月 13 日 下午9:27 433000 行业动态 抱歉,今天米哈游就是来炸场的! 完蛋!我在《绝区零》里面出不来了… siyushenqi.com 2025 年 8 月 18 日 462000 行业动态 硅谷Beta University 联合创始人 David Chi 确认担任 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾! 硅谷Beta University 联合创始人 David Chi 确认担任 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾! siyushenqi.com 2025 年 10 月 21 日 419000 行业动态 MiniMax获得3亿美元投资,“大模型六小虎”的出海之路走到哪里了? 估值40亿美元,MiniMax与智谱“肩并肩”。 siyushenqi.com 2025 年 8 月 13 日 714000 “绑架”欧莱雅!全球消费品恐惧直播电商 经济低迷,价格屠夫磨刀霍霍。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 432000 行业动态 2025年12月中国手游发行商全球收入排行榜 2025年12月共33个中国厂商入围全球手游发行商收入榜TOP100,合计吸金19.5亿美元,占本期全球TOP100手游发行商收入34.6%。 siyushenqi.com 2026 年 1 月 7 日 449000 行业动态 逛遍 ChinaJoy,发现 AI 对游戏产业的四个改变 一切看起来似乎与原来相同,但实际早已不同。 siyushenqi.com 2025 年 8 月 18 日 437000 行业动态 登上APP Store健康榜第一,这款“不外放”的闹钟应用为何在韩国走红? 戴耳机的韩国上班族,选择了一款“耳机闹钟”应用。 siyushenqi.com 2026 年 2 月 26 日 420000 沙特、阿联酋和埃及引领阿拉伯世界网购热潮 2021年中东电商市场总价值将达到300亿美元,预计将增长三分之一以上。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 458000 行业动态 Shopify版“企业购”上线,瞄准工厂型中国卖家,对标Amazon Business? 近日,Shopify在其中文官网发文表示,推出免费的在线批发业务Handshake siyushenqi.com 2025 年 8 月 13 日 332000 Steam发售获好评,全手绘国产独游《斩妖行》有多惊艳? 国产东方水墨风格作为中国传统绘画艺术特有的一种古老形式,千百年来一直深受国人喜爱。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 537000 蜜芽APP关停,洋码头人去楼空:进口电商"寒冬"悄然来临? 跨境进口电商平台,究竟该如何自救? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 368000 行业动态 高增长时代结束?全球手游市场或将经历十年来首次下滑 高速增长的时代可能要结束了。 siyushenqi.com 2025 年 8 月 19 日 454000 全球娱乐应用市场收入70.2%来自iOS,哪些App贡献最大? 2021年1月至11月期间,全球娱乐应用收入再创新高,达到91.8亿美元。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 415000 行业动态 巨头倒下!扫地机器人行业彻底变天 扫地机巨头破产,下半场谁是主角? siyushenqi.com 2025 年 12 月 22 日 409000 行业动态 《出发吧麦芬》已霸榜两日,叠纸新乙游强势入榜 | 大陆出海秀 放置RPG迎来春天。 siyushenqi.com 2025 年 8 月 18 日 475000 行业动态 AI编程大战一触即发 Anthropic以违反服务条款为由,切断OpenAI对Claude的API访问,因后者用Claude数据训练/对标GPT-5,直接引爆双方冲突。 siyushenqi.com 2025 年 8 月 13 日 451000 行业动态 刷新拍卖纪录,售价万元的桌面机器人,可以定制“人的身体”了? 扫地机器人正在向具备初步自主决策能力的家庭服务机器人演进。 siyushenqi.com 2025 年 12 月 25 日 361000 行业动态 单日出货4.4万件,一周小赚180万!TikTok Shop美国小店(1.8-1.14)新榜 本期(2024年1月8日—1月14日)TikTok Shop 美国站“品类周榜”及“店铺周榜"销量数据分析,帮助卖家及时了解 TikTok Shop 美国小店最新市场现状,掌握选品趋势。 siyushenqi.com 2025 年 8 月 12 日 536000 叠纸这款新作很大胆,但也让人很担心 今天叠纸旗下空塔工作室研发的《逆光潜入》,开启了第二次对外测试。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 436000 零食出海将成大趋势,中国品牌征服国际胃 国民零食冲出国门 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 460000 行业动态 AIGC加码泛娱乐出海赛道再造“增长神话”?听听行业大咖们怎么说 近两年,随着AIGC的迅猛发展,行业激情再度被点燃。同时伴随着智能硬件和互联网技术的升级,催生了更多新的需求和机会。 siyushenqi.com 2025 年 8 月 13 日 442000 罕见!三年暴增1800亿!风投大举买进!这个地区电商数钱数到手麻! 2022-2023年,可能是东南亚电商格局的重塑期。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 403000 面对强劲对手,亚马逊在中东如何立足? 亚马逊正在积极扩展其在中东的电子商务业务,通过在2020年7月在阿联酋(UAE)引入家庭服务 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 488000 行业动态 脱欧后,跨境电商卖家如何保障英国物流体验? 全球跨境电商市场中,英国电商市场的潜力不容忽视。据亚马逊调查数据:虽然英国人口只有6600多万,但有着世界数一数二的髙互联网渗透率(95%)和电商渗透率(87%)。 siyushenqi.com 2025 年 8 月 13 日 405000 行业动态 Telegram群发渠道选择:群组、频道与私信的异同 Telegram作为一款广受欢迎的通讯工具,提供了多种群发信息的方式,包括群组、频道和私信。每种方式有其独特的功能和适用场景,选择合适的群发渠道可以帮助提高信息传播效果。在选择时需要考虑受众、信息类型和互动需求等因素,以确保最大化的信... siyushenqi.com 2026 年 1 月 25 日 384000 行业动态 一文解析SHEIN品牌矩阵现状,旗下品牌全曝光(上) 作为跨境电商的代表性企业,SHEIN冲刺上市的消息一直备受关注。 siyushenqi.com 2025 年 8 月 6 日 604000 PAGC 2025丨展会推荐官 酷麦科技 副总裁 何壬秀、LuckyShort CEO 邓先耀、成都方阅文化 CEO 闵旭阳 邀您参与万人出海展会 PAGC 2025丨展会推荐官 酷麦科技 副总裁 何壬秀、LuckyShort CEO 邓先耀、成都方阅文化 CEO 闵旭阳 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 469000 行业动态 大模型平台Cohere获得4.5亿美元融资,估值50亿美元 大模型平台Cohere从英伟达、Salesforce、思科等知名企业中获得4.5亿美元融资。 siyushenqi.com 2025 年 8 月 13 日 492000 发表回复 请登录后评论...登录后才能评论 提交