谷歌的新工具Translatotron舍弃了将语音翻译为文本再返回语音的步骤，而是采用端到端的技术，直接将说话者的声音翻译成另一种语言。
此外，Translatotron还使用了另外两个单独训练的组件：一个神经声音编码器(neural
vocoder)，可以将输出声谱图转换为时域波形;另外，还可以选择使用一个speaker
encoder，用于在合成翻译语音时保持源speaker的语音特征。
最近有许多工作进一步改进了端到端语音到文本翻译模型的方法，包括同样来自谷歌的利用弱监督数据的工作(https://arxiv.org/abs/1811.02050)。
Translatotron更进一步，证明了单个序列到序列模型可以直接将一种语言的语音翻译成另一种语言的语音，而不需要像级联系统那样依赖于任何一种语言的中间文本表示。该分数是通过语音识别系统转录的文本计算的。但是，这类系统依赖于中间文本，准确率不高，而且效率较低。它还能够在翻译的语音中保留源说话者的声音。这使它能够快速地翻译牛360配资网www.filmtt.cn，但更重要的是牛360配资网www.filmtt.cn，能够更容易反映说话人的语调和节奏。2017年牛360配资网www.filmtt.cn，我们证明了这种端到端模型可以超越级联模型(cascade
models)。
在训练过程中，序列到序列模型使用一个多任务目标预测源和目标转录文本，同时生成目标声谱图。扬声器编码器在演讲者验证任务上进行预训练，学习从简短的示例话语对扬声器特性进行编码。然而，推理过程中不需要使用转录文本或其他中间文本表示。在该编码上调节频谱图解码器，即使内容是在不同的语言中，也可以合成具有类似扬声器特性的语音。
今天，谷歌发布Translatotron语音翻译系统，这是第一个可以直接将一个人的声音从一种语言转换成另一种语言，同时保持说话人的声音和节奏的翻译模型。
Translatotron基于一个sequence-to-sequence网络，它将源声谱图(spectrograms)作为输入，生成目标语言翻译内容的声谱图。虽然结果落后于传统的级联系统，但已经证明了端到端直接语音到语音转换的可行性。
这个系统被称为Translatotron，避免了将任务划分为独立的阶段，比级联系统更有优势，包括推理速度快、自然地避免了识别和翻译之间的复合错误，能够在翻译后保留原说话者的声音，以及能够更好地处理不需要翻译的单词(如名称和专有名词)。谷歌希望这项工作可以作为未来端到端语音转语音翻译系统研究的起点。
传统上，语音翻译系统通常有3个独立的部分：自动语音识别将源语音转录为文本，机器翻译将转录的文本翻译成目标语言，最后，文本到语音合成(TTS)系统将翻译文本转换成目标语言的语音。
该信息由智通财经网提供
。
性能
谷歌通过测量BLEU分数来验证Translatotron的翻译质量。
保持声音特征
通过结合扬声器编码器网络，Translatotron还能够在翻译的语音中，保留原始说话者的声音特征，这使得翻译的语音听起来更自然，不那么刺耳。
让说不同语言的人更容易地、直接地相互交流，这是语音到语音的翻译系统(Speech-to-speech
translation)的目的，这样的系统在过去几十年里取得了不错的进展。
sequence-to-sequence
model)中，谷歌的研究人员提出一种基于单个注意力序列到序列模型的直接语音到语音翻译的新实验系统，该系统不依赖于中间文本表示。
此功能利用了之前针对TTS的演讲者验证和演讲者调整的Google研究。
Translatotron：不依赖中间文本，直接翻译语音
语音翻译端到端模型的出现始于2016年，当时研究人员证明了使用单个序列到序列模型进行语音到文本翻译的可行性。
许多商业语音到语音翻译的产品都采用这样的系统，包括Google Translate。
谷歌提供了诸多使用示例，如下面的例子，Translatotron将西班牙语对话转换为英语，下面的音频分别是西班牙语输入、真人参考翻译，以及Translatotron的翻译。
谷歌声称，Translatotron是第一个可以直接将一种语言的语音，翻译成另一种语言的语音的端到端模型
6月30日，新创造车品牌拜腾官方表示，经过股东和管理层慎重考虑和共同商议，决定自7月1日起启动全员降本以全力推进公司战略重组的方案，这一举措已获核心股东全力支持。在未来六个月推动项目重组期间，拜腾将安排部分核心骨干继续维护公司基本运营，其余员工暂实行留职待岗方式。（腾讯科技）
财联社（北京，记者 李愿）讯，江苏省中小银行改革步伐加快，继常熟银行（601128.SH）拟入股镇江农商行之后，无锡银行（600908.SH）也拟出资7.82亿元发起设立徐州农商行，持股10.95%。