除了深度换脸、模拟配音,还能口型匹配的AI软件出现了 siyushenqi.com • 2025 年 8 月 13 日 下午10:47 • 行业动态 • 阅读 462 据海外媒体报道,上周一款名为LipDub 的翻译软件正式发布,这款AI程序可以让视频创作者在几分钟内使用不同 据海外媒体报道,上周一款名为LipDub 的翻译软件正式发布,这款AI程序可以让视频创作者在几分钟内使用不同语言进行交流。 LipDub由初创公司Captions开发,这家公司成立于2021年,由Gaurav Misra和 Dwight Churchill联合成立。Captions目前已经获得了红杉资本、安德森-霍洛维茨、Instagram联合创始人Kevin Systrom和Mike Krieger以及Facebook前产品设计副总裁Julie Zhuo的投资支持。 创始人Gaurav Misra来自印度新德里,曾是Snap的设计工程主管。Misra表示,他的成长环境中充满了印地语、英语、旁遮普语和乌尔都语等各种不同的语言。而Gaurav Misra还花了数年时间学习法语,这帮助他在欧洲、非洲和中东建立了专业的关系网。 Misra相信,AI驱动的翻译和口型匹配技术可以帮助人们更轻松地联系和理解他人。 Captions:利用 AI 轻松实现视频翻译本地化 Captions以制作AI生成的字幕、语音纠正以及在后期制作中纠正视频创作者眼球位置的技术而闻名。Misra 和 Churchill 曾在高盛集团担任产品开发人员,他们早就想在配音翻译中加入口型匹配功能,但没想到会这么快实现。Misra说:“我们最初认为这项技术需要10年时间才能够实现,但现在的技术发展实在太快了,几乎每月甚至每周都有新东西出现。” LipDub正在进入一个很有前景的AI翻译市场。它的竞争对手包括语音克隆翻译应用 HeyGen 和Verbalate,以及Spotify和视觉特效工作室Monsters Aliens Robots Zombies等公司推出的新工具。 过去,许多企业需要聘请多个视频主持人用不同的语言表达同一个故事,而现在,他们可以通过生成式AI来实现同样的功能。这些应用程序允许用户上传视频,然后在几分钟内将其转换成流利的土耳其语、法语、阿拉伯语或意大利语。 DeepMedia公司的创始人Rijul Gupta表示:“我们基本上已经完美地实现了这项新技术,任何人都可以克隆任何人的声音,并通过5秒钟的音频参考,让它用不同的语言说话。” 在 X 和Reddit等网站上,一些知名人士的配音视频已经出现了数千次。Spotify 上个月也加入了这一行列,他们宣布将提供人工智能翻译的播客,让这些播客保持原本音色和语调的同时转换为不同的语言。 目前,演员Dax Shepard和Kristen Bell、麻省理工学院研究员Lex Fridman和Steven Bartlett等人都有了西班牙语播客,法语和德语翻译也将很快推出。新的 Spotify 工具利用了OpenAI最新发布的语音生成技术,可提供更真实的听觉体验。 去年年初,Misra和 Captions 的团队开始尝试口型匹配技术,并与合作伙伴测试该技术在Captions应用程序中的效果。 Misra坦言,口型匹配技术发展速度比他预期的要快。“这看起来就像是自然地进入下一阶段,创造出一种不像是配音或者人工调整的视频。新的技术让视频看起来非常自然且易于理解。”从测试开始,一种新的可能性便已展示在他们面前。Misra表示:“就像我们以前在《星际迷航》中看到的那些科技一样,这简直就是科幻!” Captions今年6月获得了来自Kleiner Perkins 领投的 2500 万美元的B轮融资。目前Captions 的日活跃用户已达10万,Misra认为LipDub推出后该公司将会拥有更多的活跃用户。 目前LipDub 支持28种语言,包括韩语、西班牙语、捷克语、泰米尔语和乌克兰语,它采用零镜头模式,可以在Captions的视频生成模型在没见过主题的情况下推出流畅的视频。 LipDubs的内部机器学习算法经过训练,可以识别讲话人的唇部动作,公司还使用 OpenAI 的GPT-4模型,在应用中将视频翻译成不同的语言和方言。这种 AI 配音技术已在Captions应用程序中使用,并于今年3月发布,吸引了来自世界各地的用户。 Misra说:“原本无法接触到特定受众的人现在可以做到了。这项技术是乌托邦式未来的完美范例,所以我对此感到非常兴奋。” Misra认为,新技术的可能性是无穷无尽的。“我认为直播是一个非常可靠的案例。”Misra表示:“无论是 Twitch 上的游戏直播,还是不知名的演讲,这些类型的内容都可以通过 AI 轻易地本地化。” HeyGen:想让不同语言的视频传播像打字一样简单 除了Captions,还有很多同类型AI翻译的公司,比如HeyGen。HeyGen 是一家拥有数百万用户的AI公司,是短视频内容AI口型匹配成和翻译领域最大的参与者之一。该公司在 9 月7日上线视频翻译功能后,在X上迅速走红。自此以后,数十个逼真的视频在网上疯传,用户分享了埃隆-马斯克、梅西和马克·扎克伯格用多种外语讲话的片段。 Mark Burginger是玩具公司Qubits的负责人,他曾在一个名为 "鲨鱼坦克"节目中推销他以STEM为中心的公司。出于好奇,他于 9 月13日试用了HeyGen的人工智能翻译功能。他在X上发布了一段自己用西班牙语说话的视频,尽管他并不懂西班牙语。 "你能想象一家一年收入不到一百万美元的小型玩具公司能够使用这些价格相当低廉的工具吗?"Burginger说,他是一名艺术家和发明家,工作地点在北卡罗来纳州亨德森维尔,Burginger表示,“这有助于与大公司公平竞争。” HeyGen 的目标是"消除语言障碍",公司联合创始人兼首席执行官Joshua Xu说:"我们设想在未来,用不同语言制作视频内容和传播信息,就像打字一样简单"。 在 X 上发布的一段人工智能生成的视频中,Xu补充说,Coursera、Khan Academy、和MasterClass等教育平台可以通过"多语言化"来扩大影响力。HeyGen 目前支持10种输入语言和8种输出语言,包括英语、西班牙语、中文、意大利语、印地语和日语等。 HeyGen首席执行官Joshua Xu 在创办原名为 Movio的 HeyGen之前,来自 Snap 的XU 和前字节跳动工程师Wayne Liang于2020年创办了Surreal。 当时,Surreal提供逼真的“深度伪造”产品,“深度伪造”是一种视频合成技术,可以创作出以假乱真的合成视频。这种技术吸引了希望以更有效方式宣传产品的电子商务公司。Surreal在中国深圳启动运营四个月后,在一轮天使投资中获得了100万美元的投资。时至今日,Surreal仍活跃在中国,在中国的就业和大学网站上发布招聘和实习信息,但Surreal的HeyGen平台主要在洛杉矶运营,XU和Liang在洛杉矶工作。 Movio 是一个基于Surreal引擎的AI视频平台,于2022年7月推出。据该公司称,其产品仅在7个月内就获得了100万美元的收入,之后 XU 和 Liang 将 Movio 更名为HeyGen,自2020年以来,HeyGen和Surreal已从红杉资本、IDG资本、真格基金和百度的风险投资部门百度风投(Baidu Ventures)获得了至少900万美元的融资。 被播客启发诞生的Verbalate 除了 LipDub和HeyGen之外,还有一个平台也在涉足该领域,Verbalate也能将用户的视频同步配音成目标语言。不同的是,Verbalate可以为长达30分钟的视频配音。 据该平台创始人Grant Davies表示,Verbalate纯粹是因为疫情流行期间的无聊而诞生的。在2022年的一天,Davies在骑车时听到Joe Rogan和MrBeast的播客访谈。当时这位YouTuber提到,他的频道正在使用配音演员将视频配音成西班牙语、俄语、印地语、葡萄牙语等语言,因为全世界只有不到10%的人说英语。Davies当时正在研究AI技术,他们没撒航就觉得他们的团队肯定能够实现这个功能。 Davies利用自己的营销网络向希望与海外员工沟通的企业客户介绍并销售Verbalate的服务。据悉尼一家外包公司OutSourced Staff的创始人Dom Procter表示:“对我这个销售和营销人员来说,它让我的生活变得更轻松。” 他曾使用 Verbalate视频向亚洲或东欧的远程员工发送信息,Dom Procter指出:“用他们的母语制作内容,这改变了游戏规则。”Verbalate最基本的订阅计划每月9美元,允许用户创建一个10分钟长的视频,每分钟的额外费用为1美元。而HeyGen的创作者包月套餐每月29美元,可以制作多个视频,每个视频5分钟。 其他平台则着眼于更大的市场和更长的视频播放时间。总部位于多伦多的 MARZ 公司主要通过其LipDub AI平台(并非 Captions 的LipDub)吸引对逼真配音感兴趣的电影和电视制作公司。 LipDub AI 目前处理一分钟包含多个镜头的视频片段的运行时间不到20分钟。虽然该公司目前使用训练片段来制作这些配音,但它希望在年内通过放弃训练片段而只依靠音频和原始片段来加快处理速度。与其他配音平台不同,LipDub AI不使用大型语言模型,而是使用自己的生成模型,该模型在录音基础上进行训练。 MARZ 市场总监Tim Reyes认为,口型合成技术将帮助制片人扩大电影或电视节目的影响力,同时又不会危及演员的工作保障。Reyes认为:“LipDub AI 实际上为新市场开辟了一大堆机会,这不像其他一些人工智能技术,他们破坏了电影业目前的工作流程。” 除了开拓新市场,这些应用程序的创造者们还有更崇高的理想。Davies希望,像 Verbalate 这样的翻译程序能够打破人们对自己语言的隐性偏见,甚至培养一种更加全球化的思维方式。Davies说,在他的团队在 X 上分享的一个视频中,可以看到来自不同地区的人们用不同语言发表自己的观点,这帮助他思考人们是如何能够跨越国界进行沟通。Davies认为这有可能让人们变得更人性化一些,因为不同文化背景的人们可以更好地理解彼此"。 Davies表示,即使是政治信息,用你自己的语言也会产生不同的效果,如果我们能够相互倾听,就有可能帮助人类。(译/吕可) 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33253.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 从2800万到13亿,OpenAI的年收入就像火箭一样 上一篇 2025 年 8 月 13 日 下午10:47 ChatGPT重压下,Stack Overflow裁员28%,为自家生成式AI工具开源节流 下一篇 2025 年 8 月 13 日 下午10:47 相关推荐 行业动态 玩了一天Opus 4.5:我看Claude是真“成精”了 Claude Opus 4.5 在航空客服基准测试中,面对“基本经济舱不可改签”的死板政策,主动提出“先升舱再改签”的合规变通方案,展现出在规则框架内寻找可行路径的“人类专家级”策略思维。 siyushenqi.com 2025 年 11 月 26 日 380000 PAGC 2025丨展会推荐官 酷麦科技 副总裁 何壬秀、LuckyShort CEO 邓先耀、成都方阅文化 CEO 闵旭阳 邀您参与万人出海展会 PAGC 2025丨展会推荐官 酷麦科技 副总裁 何壬秀、LuckyShort CEO 邓先耀、成都方阅文化 CEO 闵旭阳 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 464000 行业动态 如何做一个让买家青睐的销售 以下是资深外贸人分享的销售经验,供外贸人参考: 我做采购有一段时间了,也为不同的客户做过国际采购。这些丰富的出口销售经验,让我确切地知道了采购者的心理,以及采购习惯。以下是我的销售经验,总结了7个销售员必须谨记的原则。 一、回复要及时 这个估计大家都知道,要想做到回复及时,最好是第一时间看到询盘,如何能第一时间看到询盘呢?首先电脑上尽量用桌面邮件,然后设置来… siyushenqi.com 2025 年 8 月 13 日 下午10:47 462000 StarMaker:重估昆仑万维的出海神器 昆仑万维所控股的Starmaker,海外K歌社交领域的王牌。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 787000 行业动态 为什么苹果要死磕这颗芯片? 苹果放弃使用高通调制解调器芯片的举动一开始不会带来任何回报,但它可能为以后的更大成就奠定基础。 siyushenqi.com 2025 年 8 月 14 日 392000 行业动态 Q4冲刺!游戏买量发行实战运用 节⽇季获取⽤户的10个技巧 随着万圣节的到来,互联网马上就要到了获取⽤户的⾼峰时间,各种节⽇接踵⽽来 siyushenqi.com 2025 年 8 月 26 日 421000 行业动态 2025年8月伊朗市场中国出海应用畅销榜 Top45 2025年8月伊朗市场中国出海应用畅销榜 Top45。 siyushenqi.com 2025 年 9 月 17 日 360000 行业动态 晨辉翻译确认入驻PAGC 2024 | 第四届全球产品与增长展会! 晨辉翻译确认入驻PAGC 2024 | 第四届全球产品与增长展会! siyushenqi.com 2025 年 8 月 18 日 509000 Manus 首次披露营收!来 Stripe 中国路演 · 深圳站获取增长“密钥” 8月20 日,在Stripe Tour新加坡站,Manus 的联合创始人兼首席科学家季逸超(Peak)在和Stripe 亚太区首席营收官Paul Harapin的谈话中分享了一则振奋人心的消息。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 452000 行业动态 干了10年外贸,我聊聊那些让你流量和询盘翻倍的矩阵营销实战 干了10年外贸,我深知单打独斗的渠道已经失效。本文将深度拆解如何将独立站、Facebook、Instagram、TikTok、YouTube、LinkedIn、WhatsApp等渠道组合成一套高效的营销矩阵,分享实战闭环打法,让流量循环起来,实现询盘持续增长。 siyushenqi.com 2026 年 3 月 6 日 335000 行业动态 电商安全愈发重要,自建站卖家如何提高网站安全性? 随着关于网络安全威胁(如DDoS攻击、网络钓鱼、网站攻击等)的新闻报道层出不穷,电商安全对在线企业来说越来越重要。 siyushenqi.com 2025 年 8 月 13 日 438000 行业动态 阿里通义千问技术骨干周畅确将离职,尚未last day 有市场消息称,阿里通义千问技术骨干周畅(花名:钟煌)已离职创业。但还未到最终离职日期。 siyushenqi.com 2025 年 8 月 13 日 515000 SHEIN平台化加速,谁能接任“服饰出海第一品牌”? 据路透社消息,SHEIN于近日表示,计划未来几年在巴西投资约1.5亿美元,并与当地2000家服装制造商建立连接、形成供应网络。与去年率先在巴西进行平台化招商的动作结合来看,SHEIN的平台化进程有望加速。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 496000 净利断崖式下滑?从IGG 2021财报看出海厂商面临的挑战与机遇 2022年的港股市场可谓坏消息不断,接踵而至的黑天鹅事件给股市造成持续冲击,自然也包括在港上市的游戏企业。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 456000 行业动态 一周要闻 NO.92丨伊克罗德信息与墨奇科技战略合作;莉莉丝最叛逆的新品来了;短剧营销进入2.0时代;阿里1号AI员工上岗 伊克罗德信息与墨奇科技战略合作;挺进生成式AI时代,亚马逊云科技出海全球化论坛开放大招;莉莉丝最叛逆的新品来了;短剧营销进入2.0时代;阿里1号AI员工上岗,007写代码助攻大厂程序员。 siyushenqi.com 2025 年 8 月 14 日 436000 首曝一年半,网易用一款没人做过的“群像剧”手游,再次挑战二次元市场 FAMI通满分脚本家北岛行德主笔的群像剧情、手绘制作的吉卜力画风场景等等一系列亮眼标签的加持之下,让《伊格效应》自曝光以来便备受玩家们的关注与期待。今年九月,游戏先是在港服开启了小范围的测试,随后上线了东亚地区的Google Play。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 443000 行业动态 思科成立10亿美元投资基金,主投生成式AI 全球网络通讯设备巨头思科(Cisco)在官网宣布,成立10亿美元AI投资基金。 siyushenqi.com 2025 年 8 月 13 日 434000 爆红TikTok !由一款抱枕掀起的玩具收藏潮 随着生活成本危机逐渐加剧,在英国,一些低价玩具正愈发受消费者欢迎。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 413000 行业动态 首发即售罄,京东这批百元级AI玩具,竟然连老年人都想买? 京东下场,其他AI玩具厂商怎么办? siyushenqi.com 2026 年 3 月 5 日 387000 行业动态 搞国际婚恋,这款社交APP要做非洲版Soul? 去非洲拉美做社交,市场如何? siyushenqi.com 2025 年 8 月 17 日 412000 网易投资,朝夕光年发行,这款卡牌冲上了69个国家免费Top 10 Ben Brode作为最早构建《炉石传说》原型的核心成员,其新作不仅在IP价值的发挥运用、对局的娱乐性上完成了自我超越,还颠覆了《炉石传说》当年所确立的CCG养成与付费模式。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 435000 行业动态 美国“网络星期一”在线销售额有望达到创纪录的127亿美元 据最新行业预估,美国“网络星期一”的在线销售额有望达到创纪录的127亿美元,将超过“黑色星期五”的销售数据。 siyushenqi.com 2025 年 8 月 13 日 438000 行业动态 祖龙重磅新品曝光:阅文顶流IP,被人低估的品类 阅文集团与祖龙娱乐合作开发《诡秘之主》IP改编游戏《代号:愚者》,类型为卡牌RPG。祖龙凭借IP改编经验与技术积累,有望在卡牌赛道实现新突破。 转自扬帆出海 2026 年 3 月 31 日 362000 行业动态 Savvy Group斥资60+亿美元正式收购沐瞳,字节40亿买来的游戏梦醒 这波交易,沙特土豪、字节和沐瞳都很满意。 转自扬帆出海 2026 年 3 月 23 日 238000 一款TPS+MOBA在海外悄悄测试,但这竟然是华南“仙侠大厂”做的? 提起君海,很多人会想起他们在“仙侠”领域做出的成绩。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 471000 行业动态 刚上完春晚,这家机器人企业融了10个亿 松延动力完成近10亿元B轮融资,宁德时代领投。公司多款人形机器人亮相马年春晚,推动消费级机器人商业化进程加速 siyushenqi.com 2026 年 3 月 2 日 294000 行业动态 史无前例:SHEIN接受媒体独家专访,透露了哪些信息? 作为一家全球电子零售商,我们不断扩大我们的足迹,这与业务的增长息息相关。换句话说,我们去客户想去的地方。 siyushenqi.com 2025 年 8 月 13 日 453000 行业动态 国产3C品牌出海东南亚,他们掀起逐鹿之战 近日,雨果跨境联合魔镜洞察,根据Shopee的2024年1月3C产品销售数据,整理出东南亚六个站点3C热销品牌和子类目榜单,或许可以为3C类目卖家出海东南亚提供思路。 siyushenqi.com 2025 年 8 月 12 日 588000 行业动态 WhatsApp不死号技术创新与应用前景 WhatsApp不死号技术创新 隐私保护增强 提升用户体验 社交与商业应用前景 未来发展潜力 WhatsApp不死号技术创新 WhatsApp作为全球领先的即时通讯应用,近年来持续推出技术创新,以保持其在竞争激烈的市场中的优势地位。其不死号技术正是其中之一,旨在通过增加信息传递的安全性和隐私保护来提升用户体验。这项技术不仅加强了用户数据的保护,也为未来社交和… siyushenqi.com 2025 年 8 月 13 日 下午10:47 462000 奈飞又行了?营收利润超预期,用户增长创纪录 仔细来看这份财报,各项核心数据的增长几乎都超出了分析师预期. siyushenqi.com 2025 年 8 月 18 日 • 行业动态 477000 发表回复 请登录后评论...登录后才能评论 提交