DeepL发布语音翻译模型Aure:翻译出来的声音会跟着你的语气、情绪和语速实时变化

DeepL于11月11日推出语音AI模型Aure。和以往只在对话开头采样一次声音不同,Aure会持续分析原声,让译文语音随说话人的语气、情绪、重音和语速变化而变化,首批支持英、德、日、韩等8种语言。

发生了什么

当地时间11月11日,总部位于德国科隆的语言AI公司DeepL发布了新一代语音AI模型Aure。它是DeepL实时语音翻译产品DeepL Voice的新引擎,官方称其为公司迄今“最动态、最逼真”的语音模型。

Aure要解决的问题很具体:机器同传能把话翻对,却常常把人“翻没了”。一个人讲到兴奋处会加快语速,强调重点时会放慢、加重,可传统语音翻译输出的往往是一条平稳、没有起伏的合成音。Aure的目标,是把“怎么说”也一并翻译过去。

关键细节

DeepL此前已经推出过“声音保留”技术,让用户在另一种语言里也能用自己可辨认的声音说话。但那套方案通常只在对话开头用一小段静态样本确定音色,之后就不再变化。

Aure的做法是持续分析:它同时参考译文和原始音频,实时调整每句话的说法,让语气、情绪、重音和语速的变化都体现在译文语音里。按DeepL的说明,这件事有几个难点:

  • 必须在说话人一句话还没说完时就开始适配;
  • 同一个人今天疲惫、明天兴奋,声音状态本身就在变;
  • 真实会话里有噪音、回声和失真,需要识别并过滤;
  • 很多语言的真实数据有限,容易把口音“带过去”。

为此,DeepL把说话人的音色身份、韵律和说话内容拆开训练,让三者可以分别迁移到新语言中,再用强化学习进一步打磨,在保证翻译准确度和语音质量的同时让输出自然、不带口音。DeepL创始人兼CEO Jarek Kutylowski表示,长期以来跨语言沟通意味着要在表达上做出妥协,Aure让细微的表达变化也能用自己的声音实时传达。

用在哪里

Aure无需额外配置,会自动用于DeepL Voice的在线会议版本、面对面对话版本以及语音API。首批支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语8种语言,中文暂不在列;其他语言会继续使用DeepL现有的语音模型。

DeepL的产品页称,DeepL Voice可在Microsoft Teams、Zoom和Google Meet中实时翻译会议,严重翻译错误比平台自带的翻译工具少76%(厂商自测口径)。隐私方面,DeepL表示Aure在会话中动态匹配声音,不会创建或保存永久的声纹档案,语音数据只在内存中临时处理,会话结束即删除。

为什么重要

实时语音翻译正在从“能听懂”走向“像本人”。视频会议平台、手机厂商和大模型公司都在做同传功能,单纯比翻译准确率已经很难拉开差距,情绪和语气的保真度就成了新的竞争点。对商务谈判、客服、现场协作这类场景来说,语气本身就是信息的一部分。

影响和展望

声音越像本人,围绕声音的安全和授权问题也会越受关注。DeepL强调不存储声纹,算是先回应了这一顾虑。接下来值得观察的是两点:Aure能否尽快覆盖中文等更多语言,以及在嘈杂的真实会议环境里,它的情绪跟随是否像演示中那样稳定。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4579.html

赞 (0)
Databricks把Genie变成“常驻同事”:第二代Genie能在后台长期干活、自派子智能体,需要拍板时再发邮件找你
上一篇 2026年11月12日 下午3:08
Runway开源世界动作模型Praxis-1:270亿参数从日常视频里学会操控机器人,RoboLab-120成功率46.2%居同类首位
下一篇 2026年11月12日 下午3:08

相关推荐

发表回复

登录后才能评论