Как на самом деле работает перевод текста на картинке

Четыре задачи, а не одна

Перевод изображения — это не «OCR плюс переводчик». Нужно решить четыре разные задачи, и каждая может испортить результат.

1. Распознавание

Движок возвращает строки, а не абзацы. Строки собираются обратно в блоки по вертикальным промежуткам относительно высоты строки и по горизонтальному перекрытию.

2. Разбор вёрстки

Заголовок — это не просто крупный текст, а текст крупнее основного и короткий. Базовый размер считается как медиана, взвешенная по длине, чтобы заголовок из двух слов не поднял среднее и не спрятал сам себя.

3. Удаление исходного текста

Ровный фон заливается цветом бумаги — это идеально. Текстурный проходит через inpainting. На фотографическом фоне рисуется полупрозрачная подложка: честный компромисс лучше размазанного пятна.

4. Нанесение перевода

Немецкий обычно на 35% длиннее английского, китайский — примерно вдвое уже. Размер шрифта подбирается бинарным поиском по реальным метрикам глифов, а если текст всё равно не помещается, мы об этом предупреждаем.