В сеть выложили ИИ, который копирует русский голос по 5 секундам записи

vgtimes.ru:

На Huggingface появилась новая сборка системы синтеза речи GPT-SoVITS, заточенная под русскоязычное клонирование голоса. Проект позволяет скопировать манеру речи любого человека, имея на руках аудиофрагмент длительностью всего 5–10 секунд.

В основе лежит открытая архитектура, объединяющая генеративный предобученный трансформер (GPT) и вокодер SoVITS. Русскоязычная адаптация, которую энтузиасты выпустили в открытый доступ, дообучалась на датасетах с русской речью и потому заметно лучше стандартных мультиязычных моделей передаёт особенности произношения, интонационные рисунки и естественные паузы. Фактически нейросеть не просто озвучивает текст заданным тембром, она воспроизводит характерные междометия, темп речи и даже этнические акценты, если они присутствовали в образце. Для минимально приемлемого результата достаточно короткого референса в 5–10 секунд. Качество прямо зависит от исходника: разработчики советуют использовать чистую запись без фоновой музыки, эха и посторонних шумов. Если нужна максимальная детализация, модель можно дообучить на минутном фрагменте — тогда голосовой слепок становится практически неотличимым от оригинала.

По сравнению с классическими TTS-движками, где интонация часто остаётся монотонной, а паузы расставляются формально, GPT-SoVITS Russian имитирует живую речевую динамику, что открывает прикладные сценарии, которые раньше требовали ручной обработки или записи живого диктора: быстрая озвучка роликов для YouTube и TikTok, дубляж коротких видео, создание голосовых ассистентов с заданной личностью, создание голоса персонажей для игр или чат-ботов.

Установка сводится к клонированию репозитория, загрузке предобученного пакета и запуску веб-интерфейса через Gradio. Требования к железу умеренные: для