长了眼睛和嘴,ChatGPT 开始入侵物理世界 siyushenqi.com • 2025 年 8 月 13 日 下午10:45 • 行业动态 • 阅读 425 向着「贾维斯」坚定前行。 作者 | 连冉编辑 | 靖宇 OpenAI,又悄咪咪地放大招了。 当地时间 9 月 25 日,OpenAI 在官网更新博客,宣布 ChatGPT 已经具备看、听、说的能力。这是 GPT-4 大型语言模型推出以来最大的一次功能更新。 从官方放出的应用案例来看,通过手机摄像头和麦克风,ChatGPT 现在已经能帮助人们解决实际问题。例如用手机拍一下共享单车的照片,并且询问人工智能助手如何调节座椅,ChatGPT 就可以看懂图片,并且给出相应步骤。 随着技术的快速迭代,生成式 AI 竞赛正在进入了一个全新的阶段——多模态之争。在这个阶段,各大科技公司纷纷推出了一系列新产品和功能,通过人工智能技术打破传统搜索引擎和聊天机器人的局限性的同时,也为用户带来更加丰富和精准的交互体验。 那么,「升级」了的 ChatGPT,是否能成为「贾维斯」一样的 AI 助理,帮助人们打点生活了?而 OpenAI 又是怎么做到的? 01 ChatGPT 长了眼睛和嘴巴 生成式 AI 竞赛的下一个阶段正在来临——多模态之争。 最近,Meta 推出了 AudioCraft,用于通过 AI 生成音乐;谷歌 Bard 和微软 Bing 的聊天体验也已部署了多模态功能;亚马逊也在借助 LLM 的力量来增强其 Alexa 数字助理(为 Echo 系列智能设备提供支持)的功能,9 月 25 日刚刚宣布斥资 40 亿美元投资 OpenAI 的竞争对手 Anthropic,后者是 Claude 2 聊天机器人的制造商;苹果也在试验通过 AI 生成语音,即 Personal Voice。 而在上周发布支持文本和排版生成的最新图像生成模型 DALL-E 3 之后,当地时间周一晚,OpenAI 发布了《ChatGPT 现在能看、能听、能说了》的公告,宣布对 ChatGPT 进行重大更新,使其 GPT-3.5 和 GPT-4 人工智能模型能够分析图像,并作为文本对话的一部分对图像做出反应。 此外,ChatGPT 移动应用程序还将增加语音合成选项,与现有的语音识别功能搭配使用时,将实现与人工智能助手的完全语言对话。 根据官网,ChatGPT 现在已经具备了如下功能: 语音功能 OpenAI 在公告中称语音功能由一个新的文本转语音模型(text to speech)驱动,只需要文本和几秒的语音样本就可以生成类似人声的音频。一方面,OpenAI 与专业配音演员合作创建了语音条,另一方面,OpenAI 还使用了自己开源的语音识别系统 Whisper,可以将用户的语音转录为文字。 ChatGPT 已经有了语音交互能力|OpenAI 该功能推出后,用户可以在应用的设置中选择语音对话,然后从「Juniper」、「Sky」、「Cove」、「Ember」和「Breeze」等五种不同的合成声音中选择一个,说出他们想要的内容,机器人就会使用所选的语音提供答案。例如,人们可以询问睡前故事,或者就餐桌上正在进行的谈话提出问题。 不过,语音对话功能的使用可能面临有一些限制。OpenAI 表示,该模型在转录英文文本方面表现出色,但在一些其他语言,特别是使用非罗马字母的语言中表现不佳。因此,建议非英语用户使用 ChatGPT 来进行此类用途时要慎重。 图像理解 OpenAI 表示,ChatGPT 中的新图像识别功能允许用户上传一张或多张图像,使用 GPT-3.5 或 GPT-4 模型进行对话。 这些模型将其语言推理技能应用于各种图像,如照片、截图和同时包含文本和图像的文档,人们只需点击一张图片,将其添加到聊天中,并提出潜在的问题,ChatGPT 就会根据所附文本分析图片,并给出答案。 它甚至可以围绕该主题进行前后对话。按照 OpenAI 的说法,用户可以上传某物的图片并询问 ChatGPT 相关问题——比如在旅行时拍一张地标的照片,让 ChatGPT 来讲述景点的有趣之处;拍下冰箱和食品储藏室的照片,找出晚餐要吃什么 (还可以问一些后续问题,以获得进一步的食谱)。 极客公园 ,赞21 在官方提供的示例中,一张自行车的照片上传到 ChatGPT 界面,之后询问后者如何将座位调低。ChatGPT 首先询问了自行车的型号,因为座位的调整方式因车型而异。它详细解释了不同车型可能采用的快拆杆或螺栓的区别,并提供了相应的步骤。 然后,官方制造了一点混淆,拍摄了一张螺栓的照片,并在图中用官方的画图工具突出显示,试图让 ChatGPT 分辨是螺栓还是快拆杆。ChatGPT 很快指出图中所示的是螺栓,并建议用户寻找内六角扳手来解决问题。 接着,官方拍摄了一张工具箱的照片,向 ChatGPT 询问到底是哪一个扳手。ChatGPT 再次表现准确识别出所需的扳手,并清晰地指导用户选择正确的尺寸。这个示例清楚地展示了 ChatGPT 在解决实际问题时的实用性和智能响应。 在去年 3 月 GPT-4 发布时,OpenAI 就已展示了该模型解析文本和图像的初步能力,很快,这些能力将成为 ChatGPT 使用中更常见的存在。 OpenAI 将在未来两周时间里向为 Plus 和企业用户推出上述功能。用户可以在 iOS 和 Android 使用 ChatGPT 的语音合成功能,图像识别功能则在网页和 App 端均可用。 02 能力越大,责任越大 在 ChatGPT 发布近一年来,OpenAI 对其底层模型和界面进行了多次更新。而任何生成式 AI 的进步都需要考虑严肃的伦理和隐私问题。 OpenAI 在公告中声称其目标是开发安全且有益的通用人工智能,「我们相信,逐步提供我们的工具,可以让我们随着时间的推移不断改进和完善风险缓解措施,同时也让大家为未来更强大的系统做好准备。对于涉及语音和视觉的高级模型来说,这一策略越来越更加重要。」 毕竟,新语音技术能够仅从几秒的真实语音中创造逼真的合成语音,这为创造性应用打开大门的同时,也带来了新的风险,比如恶意冒充公众人物或进行诈骗等。 为降低音频深度伪造的风险,OpenAI 表示它已将语音合成功能的使用范围限制在语音聊天,和某些已获批准的合作伙伴关系中。其中包括与流媒体公司 Spotify 的合作——Spotify 正在使用其背后的技术为平台上的播客翻译不同语言的内容。Spotify 个性化副总裁齐亚德-苏丹(Ziad Sultan)在一份新闻稿中说:「通过与创作者本人的声音相匹配,语音翻译让世界各地的听众能够以前所未有的真实方式发现新的播客,并从中获得灵感。」 同样,为了避免图像识别带来的隐私和准确性问题,OpenAI 还限制了机器人对输入图像中出现的人进行分析和直接陈述的能力,其表示已经「采取了技术措施,以限制 ChatGPT 分析和直接陈述个人信息的能力,系统还是应当尊重个人隐私」,但是真正的恶意利用情况还是要在它面向公众推出后才能知道。 这次 ChatGPT 推出的语音交互和图像识别功能,为聊天机器人带来了更强的实用性,让它们从简单的文本处理工具更贴近真实生活。 同时,这似乎也预示着未来 AI 系统的发展方向——不仅要理解抽象的文字世界,还要能感知复杂的语音和图像信息,甚至是物理世界,从而真正进阶达到人机交互的境界。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33231.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 小扎发布虚拟聊天AI,竟「1:1复刻」Character.AI?用户吐槽:设定太老土了 上一篇 2025 年 8 月 13 日 下午10:45 被StabilityAI滥用1200万张图后,全球最大图片商也训练了一个生成AI,效果逼真 下一篇 2025 年 8 月 13 日 下午10:45 相关推荐 成为Temu卖家的122天:从进场到退场 劝退的,不止是一单一块的利润。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 525000 行业动态 快速拿下第一单!解析TikTok小店漏斗打法 TikTok电商业务正在加速拓展,目前TikTok Shop已拥有7个国家站点。但不论是平台本身还是卖家都还处在一个教育以及学习的阶段。如果你正处于从0-1的跨越阶段,可以看下疯人院李社长分享的TikTok小店漏斗打法。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 迪士尼将向OpenAI投资10亿美元 迪士尼向OpenAI注资10亿美元,并授权后者在Sora和ChatGPT Images中使用迪士尼、漫威、皮克斯、《星球大战》等200+角色。 siyushenqi.com 2025 年 12 月 12 日 434000 行业动态 偷偷开测,在腾讯网易拼命抢的赛道,它也要分一杯羹? 又一款。 siyushenqi.com 2025 年 8 月 19 日 442000 沙特电商数据分享(statista) 作为世界上最成功的统计数据库之一的Statista是在线统计数据门户。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 433000 行业动态 3C新手卖家,短短数月日出万单,他出海东南亚究竟有什么砝码? 炒过股,入过金融行业、涉猎风投、券商投行,深圳市大助科技有限公司CEO张正豪曾经的履历让人眼前一亮 siyushenqi.com 2025 年 8 月 13 日 392000 行业动态 AI革命下一站:Anthropic与OpenAI斥巨资打造“虚拟员工” Anthropic与OpenAI正用大模型+模拟企业软件,训练AI像白领一样操作Salesforce、Zendesk、Cerner等系统,完成复杂工作流。 siyushenqi.com 2025 年 9 月 22 日 421000 《胜利女神:妮姬》《Marvel Snap》海外大火,腾讯字节开启出海新阶段 爆款新游征战市场,中国大厂剑指海外。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 484000 行业动态 精准客户分析:外贸企业如何利用数据实现高效获客 数据驱动的客户识别体系 CRM 与数据基础设施建设 社交媒体与行为数据洞察 市场细分与个性化获客策略 落地实施与数据治理要点 常见问题 在全球贸易环境竞争日益激烈的背景下,外贸企业面临的核心挑战已从“如何获得更多线索”转向“如何以更低成本、更高确定性获取高价值客户”。精准客户分析正是在这一背景下成为外贸企业数字化升级的关键能力。通过系统化的数据采集、分析与应… siyushenqi.com 2025 年 8 月 13 日 下午10:45 425000 行业动态 当“砸钱买量”失灵,中国App出海靠什么破局? 当同行还在用“美金换流量”时,阿里系产品已经找到了更聪明的增长路径。 siyushenqi.com 2025 年 11 月 19 日 403000 Fotor联合创始人张家俊:回归产品本质 “Photoshop后继者”用0营销费创造5亿增长奇迹 Fotor 联合创始人兼海外业务负责人 张家俊受邀参会并进行了主题分享,基于Fotor出海经验,分享了技术升级如何驱动用户增长,领先海外布局。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 505000 B端市场出海热:中东B2B电商情况如何? 中东 B2C 电商竞争极其激烈,亚马逊和 Noon 两大电商巨头瓜分市场。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 436000 行业动态 2024年WhatsApp广告政策变化对外贸企业影响 WhatsApp广告政策变化概述 对外贸企业的影响 外贸企业应对策略 数据隐私影响 对比分析 WhatsApp广告政策变化概述 2024年,WhatsApp将实施全新的广告政策,为广告主提供更多广告投放的机会和选项。这一变动对全球各行各业的营销策略都将带来显著影响,尤其是在外贸领域,企业需要根据新的广告规则进行相应调整。 对外贸企业的影响 WhatsApp广… siyushenqi.com 2025 年 8 月 13 日 下午10:45 425000 行业动态 昔日“全球霸主”,一代人的青春回忆,如今永久关闭 它曾是一代人通过互联网看世界的第一扇“大门”。 siyushenqi.com 2025 年 8 月 24 日 452000 知乎版GPT正式发布 知乎所处的环境和阶段,丝毫不容许任何懈怠。快则生,慢则死。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 429000 行业动态 劲敌还是copy?Shopify越来越像亚马逊 亚马逊无疑是很多跨境电商企业都想对标的大公司,Shopify作为其中一员,从近几年独立站的爆火中崭露头角并迅速发展。至今,它的野心并不止步于打造一个成功的独立站建站系统,而是越来越平台化…… siyushenqi.com 2025 年 8 月 13 日 496000 私域神器周报 No.56丨Twitter竞品Threads上线;GPT-4 API全面开放;科技品牌Nothing再融资9600万 私域神器为大家整理了一周内出海行业中值得关注的新闻:Twitter竞品Threads上线;;GPT-4 API全面开放;科技品牌Nothing再融资9600万。除此之外私域神器还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 15 日 • 行业动态 516000 伽马数据:中国手游市场1月收入222.4亿元,同比增长17.76% 2022年游戏行业的第一份成绩单出炉。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 473000 行业动态 明挖主播,暗自崛起,游戏直播Twitch的顶流地位要不保了 金钱“诱惑”,谁能拒绝。 siyushenqi.com 2025 年 8 月 18 日 447000 行业动态 AI画中国退休老太太微博大火!「傻鹅之王」和快乐小狗挑战GPT-4想象力极限 最近,来自NUS、斯坦福、谷歌DeepMind等机构的研究人员,尝试开发了一个评估人类和AI的创造力的框架。而当人类用尽所有手段来逼迫AI把创造力发挥到极限,发现GPT-4几乎对于所有事物认知的极限都是无尽的宇宙空间。 siyushenqi.com 2025 年 8 月 13 日 469000 行业动态 Kimi罗生门:创始人、投资人,谁的错? 月之暗面科技有限公司,一家成立不到2年、估值超过30亿美元的公司,因创始人杨植麟和联合创始人兼CTO张宇韬被指控在未获得循环智能投资方同意豁免书的情况下创立新公司并启动融资,而陷入争议。 siyushenqi.com 2025 年 8 月 13 日 438000 行业动态 《生化危机4:VR》成Quest平台卖得最快的游戏,销量口碑双丰收 据国外媒体Upload VR报道,Meta近日在一篇官方博客文章中表示,从发布后首周销售额来看,《生化危机4:VR》已经成为Quest平台历史上卖得最快的一款游戏。 siyushenqi.com 2025 年 8 月 25 日 524000 行业动态 WhatsApp协议号的风险防控与合规运营 加强数据隐私保护 提升用户安全措施 确保合规性与法规遵循 监控协议号使用情况 定期进行风险评估 加强数据隐私保护 随着WhatsApp协议号在企业中的广泛应用,数据隐私的保护成为了核心关注点。企业在使用WhatsApp协议号时,必须严格遵循数据隐私相关的法律法规,确保用户的个人信息不会遭到泄露或滥用。企业需通过加密技术来保障信息在传输过程中的安全,同时,确保… siyushenqi.com 2025 年 8 月 13 日 下午10:45 425000 行业动态 巴西电商销售额持续上涨,巨头扎堆涌入 巴西蓝海市场值得一众电商玩家全力奔赴。 siyushenqi.com 2025 年 8 月 12 日 508000 新兴厂商三杰:吉比特、心动和莉莉丝投了哪些游戏公司? 独立游戏CP、动漫公司全都要。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 499000 行业动态 亚马逊前往埃及,北非电商市场将进入下一程? 未来,埃及市场或将看到更多中国跨境电商身影。 siyushenqi.com 2025 年 8 月 13 日 451000 行业动态 TikTok与三星达成合作:在三星电视上推出应用,抢占用户电视时间 由于疫情的原因,短视频在今年来成为了用户最受欢迎的内容领域 siyushenqi.com 2025 年 8 月 25 日 457000 行业动态 收购潮持续?SHEIN或将收购英国时尚平台Missguided 毕竟,还没上市的SHEIN需要更大的故事。 siyushenqi.com 2025 年 8 月 12 日 522000 网易第十事业部再发力,时隔6年又出一款SLG力作! 《无尽的拉格朗日》的实际体验则远超我的预期。严格来讲,它依旧是一款成熟框架的SLG产品,但做了许多针对题材的适配性微调,整体包装也更加用心,而非进行简单的美术换皮。所以更进一步来说,吸引我的也不是这个题材,而是其背后的破圈思路。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 493000 行业动态 4月手游榜单:广东蟑螂成就HOMA爆款,Supercell重回世界巅峰 Supercell重回世界巅峰,Brawl Stars老游翻红,Squad Busters新游未上线即爆火。 siyushenqi.com 2025 年 8 月 18 日 452000 发表回复 请登录后评论...登录后才能评论 提交