Градиент обреченный

🔺 Is ChatGPT A Good Translator?



В Tencent провели исследование ChatGPT в области машинного перевода. Проверяли три аспекта:



1️⃣ Влияние промпта



Посчитали метрики (BLEU и ChrF++) на подсказках, предложенных самой же сетью. Проверяли на паре китайский-английский. Выбрали лучший (BLEU 24.73):

Please provide the [TGT] translation for these sentences:

2️⃣ Мультиязычность



Взяли 4 языка из FLORES 101 — немецкий, английский, румынский, китайский, как-будто бы покрывая несколько языковых семей и две письменности. На каждой паре из 12-ти посчитали BLEU и показали разницу +/- с Google Translate в процентах, а также результат DeepL 🚀(см. картинку).



В итоге на популярных языках разница небольшая (-2.9% и -5.5% для de-en и en-de). И может быть очень большой в случае малоресурсного языка (тут это румынский) -21% для ro-zh. Интересно, что есть и выигрыш — +0.2% для de-ro.



3️⃣ Надежность перевода



Так как перевод может сильно отличаться для разных доменов, важно понимать насколько универсальной может быть система.



Взяли три сета — WMT19 Bio (много специфической медицинской терминологии), WMT20 Rob2 (комменты с Reddit с грамматическими ошибками)

и Rob3 (ASR транскрипции).



Опять-таки, на специализированном корпусе результат оказался значительно хуже чем у коммерческих решений. Но на расшифровках аудио (что-то похожее на диалоги), ChatGPT оказалась значительно лучше (см. картинку). Исследователи связывают это с первичной задачей сети вести себя как вопросно-ответный агент.



👉 Статья