发生了什么
当地时间11月11日,总部位于德国科隆的语言AI公司DeepL发布了新一代语音AI模型Aure。它是DeepL实时语音翻译产品DeepL Voice的新引擎,官方称其为公司迄今“最动态、最逼真”的语音模型。
Aure要解决的问题很具体:机器同传能把话翻对,却常常把人“翻没了”。一个人讲到兴奋处会加快语速,强调重点时会放慢、加重,可传统语音翻译输出的往往是一条平稳、没有起伏的合成音。Aure的目标,是把“怎么说”也一并翻译过去。
关键细节
DeepL此前已经推出过“声音保留”技术,让用户在另一种语言里也能用自己可辨认的声音说话。但那套方案通常只在对话开头用一小段静态样本确定音色,之后就不再变化。
Aure的做法是持续分析:它同时参考译文和原始音频,实时调整每句话的说法,让语气、情绪、重音和语速的变化都体现在译文语音里。按DeepL的说明,这件事有几个难点:
- 必须在说话人一句话还没说完时就开始适配;
- 同一个人今天疲惫、明天兴奋,声音状态本身就在变;
- 真实会话里有噪音、回声和失真,需要识别并过滤;
- 很多语言的真实数据有限,容易把口音“带过去”。
为此,DeepL把说话人的音色身份、韵律和说话内容拆开训练,让三者可以分别迁移到新语言中,再用强化学习进一步打磨,在保证翻译准确度和语音质量的同时让输出自然、不带口音。DeepL创始人兼CEO Jarek Kutylowski表示,长期以来跨语言沟通意味着要在表达上做出妥协,Aure让细微的表达变化也能用自己的声音实时传达。
用在哪里
Aure无需额外配置,会自动用于DeepL Voice的在线会议版本、面对面对话版本以及语音API。首批支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语8种语言,中文暂不在列;其他语言会继续使用DeepL现有的语音模型。
DeepL的产品页称,DeepL Voice可在Microsoft Teams、Zoom和Google Meet中实时翻译会议,严重翻译错误比平台自带的翻译工具少76%(厂商自测口径)。隐私方面,DeepL表示Aure在会话中动态匹配声音,不会创建或保存永久的声纹档案,语音数据只在内存中临时处理,会话结束即删除。
为什么重要
实时语音翻译正在从“能听懂”走向“像本人”。视频会议平台、手机厂商和大模型公司都在做同传功能,单纯比翻译准确率已经很难拉开差距,情绪和语气的保真度就成了新的竞争点。对商务谈判、客服、现场协作这类场景来说,语气本身就是信息的一部分。
影响和展望
声音越像本人,围绕声音的安全和授权问题也会越受关注。DeepL强调不存储声纹,算是先回应了这一顾虑。接下来值得观察的是两点:Aure能否尽快覆盖中文等更多语言,以及在嘈杂的真实会议环境里,它的情绪跟随是否像演示中那样稳定。
参考来源
- DeepL:DeepL unveils Aure, its most lifelike Voice AI translation model yet
- DeepL:Aure product page
- heise online:KI-Stimmen mit Emotionen: DeepL stellt neues Modell Aure vor
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4579.html