Новая версия "Яндекс Переводчика" обеспечивает более качественный перевод изображений

playground.ru:

Компания «Яндекс» выкатила обновление своего переводчика, который теперь не просто переводит текст на картинках, а делает это с пониманием контекста и стиля. Как оказалось, «Яндекс» стал одним из первопроходцев в использовании крупной языковой модели для такой задачи.

Обновлённая система демонстрирует неплохие способности. Она не только схватывает суть текста, но и сохраняет его стилистические особенности. Теперь перевод рекламных слоганов или газетных заголовков сохраняет оригинальную игру слов. Более того, алгоритм научился выбирать точные формулировки для многозначных фраз, избегая неуклюжих дословных переводов. Благодаря этому качество перевода заметно подскочило — будь то состав косметики или сложная техническая документация.

Впрочем, «Яндекс» не ограничился лишь улучшением качества перевода. Команда разработчиков потрудилась и над визуальной составляющей, поэтому сейчас алгоритм не просто накладывает перевод поверх оригинала, а полностью стирает исходный текст и подбирает подходящий шрифт, размер и цвет букв для перевода. А ещё система научилась понимать значение слов, даже если в кадр попала только их часть.

Новая версия переводчика уже доступна в «Яндекс Переводчике» и «Яндекс Браузере», а совсем скоро появится и в «Умной камере».