Появилось приложение, которое переводит речь в реальном времени и сохраняет голос собеседника
Появился инструмент, который обещает убрать языковой барьер из видеозвонков без танцев с бубном. Команда Kizuna AI Lab выпустила Sokuji — кроссплатформенное приложение и браузерное расширение для живого перевода речи с сохранением голоса. Если коротко: вы говорите на одном языке, а собеседник слышит уже осмысленную речь на своём, причём в реальном времени. Проект выложили в открытый доступ на GitHub, плюс сделали расширение для Chrome и Edge — ссылки уже доступны.
Sokuji умеет два главных трюка. Первый — перевод вашего собственного голоса. Вы запускаете приложение или расширение, выбираете языковую пару и просто говорите в микрофон. На выходе собеседники получают аудиопоток на нужном языке. Второй — перевод чужой речи в прямом эфире. Если на созвоне кто-то говорит, скажем, на французском, программа перехватывает аудио и выдаёт вам субтитры или синтезированную речь на вашем родном языке. Всё это работает с основными платформами для конференций: Zoom, Google Meet, Microsoft Teams, Discord, Slack, а также с российскими сервисами вроде Яндекс.Телемост. Для десктопной версии список ещё шире — можно использовать с любым приложением, которое принимает сигнал с микрофона, включая игры и OBS.
Приложение имеет двойной режим работы и можно подключить облачные нейросети через API: поддерживаются OpenAI, Google Gemini, Palabra.ai, собственный сервис Kizuna AI, китайский Doubao AST 2.0 и любые эндпоинты, совместимые с OpenAI Realtime API. При таком раскладе доступно более 99 языков для распознавания и 53 для синтеза речи. Однако куда интереснее второй вариант — полностью локальный режим. Он работает вообще без интернета и API-ключей. В основе лежат WASM и WebGPU, так что не требуется дискретная видеокарта: обсчёт идёт силами
