Google запускает новый проект под названием Translatotron, который будет предлагать прямые переводы речи в речь – голосом говорящего и даже без использования какого-либо текста.
Translatotron использует сетевую модель, которая обрабатывает голос пользователя как спектрограмму (визуальное представление частот) и генерирует новую спектрограмму на целевом языке. В результате такой операции скорость и точность перевода значительно увеличиваются. И хотя озвученный перевод звучит немного роботизированно, но в целом похож на голос говорящего.
Translatotron также может сохранять интонацию голоса говорящего при переводе с одного языка на другой, что может быть полезно для звуковых редакторов, которые дублируют фильмы и телешоу. Новый метод перевода пока не так точен, как традиционный метод, но производитель обещает, что точность Translatotron скоро улучшится.
