По итогам международного независимого бенчмарка DiBiMT «Яндекс Переводчик» был признан сервисом, который лучше остальных справляется с переводом с английского языка на русский. Об этом «Газете.Ru» сообщили в пресс-службе компании «Яндекс». Рейтинг переводчиков опубликовали итальянские институты Sapienza и SSML Carlo Bo, которые являются одними из ведущих центров изучения языка в машинном обучении.
Российский сервис также занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки. Оказалось, «Яндекс Переводчик» лучше других программ определяет значение конкретных английских слов и делает меньше семантических ошибок.
Для теста ученые выбрали несколько тысяч предложений на английском языке с одинаковыми по написанию словами, но разными по значению, то есть омонимами. Сервисы перевели эти предложения, а алгоритмы DiBiMT определили процент корректно переведенных слов. Также правильные варианты выборочно проверяли переводчики-люди, что обеспечило высокое качество замеров. На основе полученные показателей и был сформирован опубликованный рейтинг.
Кроме «Яндекс Переводчика», тест прошли сервисы Google Translate и DeepL, а также большие языковые модели mBART-50, M2M100 и OPUS.
