Теперь и Google подоспел с сеткой, способной переводить речь без конвертации в текст. Сейчас все переводы делаются именно так: сначала в текст, потом идет перевод. Примеры переводов можно посмотреть в репозитории.