阿里开源新语音模型，比OpenAI的Whisper更好！ siyushenqi.com • 2025 年 8 月 13 日 下午11:44 • 行业动态 • 阅读 469 阿里巴巴在Qwen-Audio基础之上，开源了最新语音模型Qwen2-Audio。 阿里巴巴在Qwen-Audio基础之上，开源了最新语音模型Qwen2-Audio。 Qwen2-Audio一共有基础和指令微调两个版本，支持使用语音向音频模型进行提问并识别内容以及语音分析。 例如，让一位女生说一段话，然后识别她的年纪或解读她的心情；发布一段吵闹的声音，分析有哪些声音组成等。 目前，Qwen2-Audio支持中文、粤语、法语、英语、日语等主流语言和方言，这对于开发翻译、情感分析等应用非常方便。 开源地址：https://github.com/QwenLM/Qwen2-Audio Qwen2-Audio能力大幅度提升 与第一代Qwen-Audio相比，Qwen2-Audio在架构、性能等方面进行了大幅度优化和改进。在预训练阶段Qwen2-Audio采用了自然语言提示，替代了Qwen-Audio使用的复杂分层标签系统。 这一改变简化了模型的训练过程，使得模型能够更自然地理解和响应各种数据和任务，提高了模型的泛化能力能更好地理解和执行各种指令。 Qwen2 - Audio在指令跟随能力方面有了显著提升，通过增加指令调优和直接偏好优化等方法，可更准确地理解用户的指令，并根据指令提供更恰当的响应。 例如，当用户发出语音指令，“分析这段音频中的情感倾向时”，Qwen2 - Audio能够更精准地判断出音频中的情感。 在功能方面Qwen2 – Audio也进行了扩展，支持语音聊天和音频分析两种模式：在语音聊天模式中，用户可以更加自由地与Qwen2 - Audio进行语音交互，就像与朋友聊天一样自然。 在音频分析模式中，Qwen2 - Audio能够对各种类型的音频进行深入分析，提供更详细和准确的分析结果。 此外，Qwen2-Audio还引入了监督式微调（SFT）和直接偏好优化（DPO）两种优化方法。在SFT阶段，模型通过高质量的微调数据进一步与人类意图对齐，这使得Qwen2-Audio在与人类交互时更加自然和准确； DPO则通过人类标注的好响应和坏响应数据来优化模型，使其输出更符合人类的期望和偏好。 Qwen2-Audio架构简单介绍 Qwen2-Audio使用了OpenAI开源的语音模型Whisper-large-v3作为音频编码器。为了更好地处理音频数据，Qwen2-Audio采用了16kHz的采样频率，并将原始波形转化为128通道的mel谱图，通过25ms窗口大小和10ms跳帧，确保了音频特征的时间分辨率与频谱信息的完整性。 为了减少音频表示的长度，Qwen2-Audio引入一个池化层其步幅为2，编码器输出的每帧大约对应于原始音频信号中40ms的片段。这种处理方式使得模型能够有效地捕捉音频信号的特征，为后续的分析和理解提供了有力的支。 Qwen2-Audio准确输出分析结果 Qwen2-Audio使用了阿里自研的大模型Qwen-7B作为语言模型，能根据输入的音频和文本数据生成相应的文本输出。主要与音频模块协同工作，实现对音频信息的理解和处理。 当音频编码器对输入的音频信号进行特征提取后，这些特征会与之前的文本序列一起输入到大语言模型中，会对这些信息进行综合分析，理解音频中所包含的语言内容和语义信息。 例如，如果输入的音频是一段对话，大语言模型会尝试理解对话的主题、参与者的意图以及情感倾向等。 在生成文本输出时，大语言模型会根据对输入信息的理解，通过其所学到的语言知识和模式，生成准确的文本回复。 为了测试Qwen2-Audio性能，阿里在AIR – Bench、S2TT、ASR、Fleurs zh等主流基准上进行了综合评测。 结果显示，Qwen2-Audio的整体性能非常强劲，在librispeech的test-clean和test-other数据集上分别达到了1.6%和3.6%的WER。 在Fleurs的中文子集上，Qwen2-Audio的成绩优于OpenAI的Whisper-large-v3。 在CoVoST2数据集上的语音翻译测试中，Qwen2-Audio在所有七个翻译方向上均大幅度领先于基线模型。在SER和VSC测试中，Qwen2-Audio同样以显著成绩胜出。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/34030.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 阿里开源新模型：超GPT-4o，数学能力全球第一！ 上一篇 2025 年 8 月 13 日 下午11:44 AI老兵，半年亏了4个亿 下一篇 2025 年 8 月 13 日 下午11:44 相关推荐 从卖货到品牌，全球化2.0时代的增长密码 从过去的“货通天下到如今的“心智在场” 品牌出海的核心理念与关键要素已然发生了翻天覆地的变革。 siyushenqi.com 2025 年 10 月 15 日 • 行业动态 381000 年销15亿、多次霸榜美妆排名，它在日本掀起一股新风潮！ 近年来国货美妆出海已经成为一种新风尚，迎来“扎堆出海”热，例如完美日记、花西子、花知晓、菲鹿儿、卡婷等国货美妆品牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 472000 国际短剧协会、DomiReel、StoReel 确认加入 PAGC 2025丨第五届全球产品与增长展会 短剧对接会 国际短剧协会、DomiReel、StoReel 确认加入 PAGC 2025丨第五届全球产品与增长展会 短剧对接会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 471000 行业动态 LinkedIn的profile headline（职业档案标题）该怎么写？ 经常有一些外贸伙伴来跟我说，他了解各国的市场，知道如何指导客户做市场营销，同时还是物流方面的专家，知道如何节省空间装更多的货物，甚至都知道如何帮客户省钱。 但是你这么厉害，你的客户知道吗？你的LinkedIn上的潜在客户知道吗？ 在你和你潜在客户成交之前，他们未必了解你的情况。所以一个专业的、有吸引力的headline就非常重要。Headline可以是你的头… siyushenqi.com 2025 年 8 月 13 日 下午11:44 469000 “眼光毒辣”的Lilysilk：一年毛利上涨131%的神秘绝技 一个从中国本土走出去的南京品牌，要在红海中杀出自己的一片天地。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 447000 行业动态 5轮融资，估值近300亿美元，4位“00后”创业，3年造出“AI界奇迹” “AI程序员”已上岗。 siyushenqi.com 2025 年 11 月 17 日 399000 在国风领域坚持了20年之后，这款游戏想要玩点不一样的 对于一款长线运营的产品来说，20年可能是一个可望而不可即的数字，而对于《大话西游》这个IP来说，20年已然成为一段辉煌的历史。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 461000 行业动态 刷屏TikTok的AI神器？两个月收入120万美金，让AI工具变身内容工厂 这款赚钱的AI工具有何魔力？ siyushenqi.com 2025 年 8 月 13 日 398000 SKINTIFIC——更适合印尼宝宝体质的“完美日记”|品牌消费者洞察 最近几年，跨境电商在欧美市场稍稍冷静下来了，更多中国卖家开始考虑把商品卖给我们的亚非拉兄弟们，其中“近水楼台先得月”的东南亚国家们就成了首要目标。而东南亚这片已经不算蓝海的电商市场中，最大的风口就是TikTok，国内更是涌现出一大批想要学习经验的小白卖家，开场白也总是惊人的相似：“你好，我也想在TikTok卖货……”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 633000 行业动态 Gojek与Tokopedia终合并，东南亚“新话事人”诞生 5月17日下午消息，据外媒报道，印尼两大互联网巨头 Gojek 与 Tokopedia 终于合并。 siyushenqi.com 2025 年 8 月 15 日 487000 行业动态 京东直播战略升级：刘强东宣布追加10亿投资 刘强东认准的事，不会轻易放弃。 siyushenqi.com 2025 年 8 月 5 日 456000 行业动态 君正ISP，正在抢滩AI眼镜 2025年第一季度，全球AI智能眼镜市场总销量达60万台，同比增长216%，但Ray-Ban Meta以52.8万台的销量占据主导地位。中国AI拍照眼镜市场虽有雷鸟V3和小米AI眼镜等产品，但整体仍面临“发布会火热、市场端冷清”的困境。 siyushenqi.com 2025 年 8 月 13 日 410000 行业动态 心动，重新成为一家赚钱的游戏公司 2024年心动公司营业总收入达50.12亿元，同比增长47.9%；毛利为34.79亿元，同比增长68.2%。年内溢利达到8.9亿元，经调整溢利为9.57亿元，而上年同期均为亏损。 siyushenqi.com 2025 年 8 月 17 日 456000 在二次元手游市场剧烈变动的当下，小规模二游如何生存 就在近期，今年上半年的国产二次元手游流水成绩公开。《原神》以占比高达63.74%的市场份额雄踞二游之最。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 450000 90后创办的国潮品牌做独立站，曾获得千万融资 是市场选择了他们，而不是他们选择了市场 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 549000 行业动态 探探6周年数据报告：全球用户数超3.6亿 90后用户占比近80% 近日，探探发布 6 周年数据报告。 siyushenqi.com 2025 年 8 月 26 日 661000 行业动态 长剧低迷拖累毛利下滑，阅文尝试押注AI漫剧 阅文2025年营收73.66亿降9.3%，净利降24.8%；在线业务微增，IP衍生品GMV破11亿，AI漫剧半年收超1亿成新增长点。 转自扬帆出海 2026 年 3 月 23 日 196000 行业动态 出海东南亚，如何在热土里刨金？ 坐拥4亿互联网用户，其中超过90%为移动互联网用户，东南亚的人口红利为该地区的移动联网发展提供源源不断的增长动力。 siyushenqi.com 2025 年 8 月 3 日 518000 谷歌在iOS和Android版应用中加入Stories功能 谷歌周二宣布，将在其iOS和Android版谷歌应用中引入Stories功能，目前该应用每月覆盖超过8亿人。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 431000 最新中东消费者调查：电商进入了高增长阶段 全球知名支付服务商Checkout出具了最新版报告《2022 年中东和北非地区的数字化转型》，其中佐证了因为疫情而加速发展的电子商务趋势将持续存在，中东和北非地区的电子商务已进入稳定、高增长的时代，为电子商务参与者提供了更多机会。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 420000 行业动态 2024年4月Gmail注册最新方法 使用Google，是做外贸（跨境电商）必不可少的一项技能。 siyushenqi.com 2025 年 8 月 3 日 445000 “跨境蹦床第一股”诞生！全民健身潮，藏着什么淘金秘笈？ “健身器材”出海，如何与全球巨头掰手腕。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 436000 行业动态 生成式AI下个趋势？从信息生成到信息合成 AI如何改善人类的决策？ siyushenqi.com 2025 年 8 月 14 日 406000 行业动态 累计收入超100亿美元，公司CEO谈如何成为“全球第一手游发行商” Scopely旗下产品的全球累计下载量已超过10亿次，营收突破100亿美元，且在2024年内达成了这一里程碑。 siyushenqi.com 2025 年 8 月 17 日 402000 行业动态 DUNS邓氏编码-APP上架Google和Apple商店 DUNS邓氏编码-APP上架Google和Apple商店。 siyushenqi.com 2025 年 8 月 3 日 453000 行业动态 To C大模型，亏钱也得干丨祛魅AI 刚刚彻底开放的大模型赛道迎来了智能助手这一赛点，其成熟与爆发很可能是新一轮的行业洗牌潮。 siyushenqi.com 2025 年 8 月 13 日 415000 行业动态 【年度报告】data.ai《2023 年移动市场报告》重磅发布：移动服务需求激增，用户支出下降的同时，短视频应用获得两位数增长 data.ai发布的《2023 年移动市场报告》显示，用户使用时长达到了 4.1 万亿小时的新高 siyushenqi.com 2025 年 8 月 24 日 473000 行业动态 腾讯Q1游戏总流水实现增长 海外市场重点发力 5月14日，腾讯公布2024年第一季度业绩。腾讯董事会主席兼首席执行官马化腾在财报中表示，今年一季度游戏总流水实现增长，为未来几个季度游戏收入恢复增长打下基础。 siyushenqi.com 2025 年 8 月 18 日 532000 行业动态 网易发布2022年财报：游戏业务增长稳定，《蛋仔派对》已成日活最高游戏 2023年2月23日，网易公司发布了2022年第四季度及全年财务报告。 siyushenqi.com 2025 年 8 月 24 日 510000 行业动态 学会这几招，Telegram单向私信群发效率翻倍 本文分享了Telegram单向私信群发的技巧与经历，避免封号、撰写高回复率消息、分析数据等实战经验，助你提升外贸业务。 siyushenqi.com 2026 年 3 月 6 日 251000 发表回复 请登录后评论...登录后才能评论 提交
