Хотите поговорить с ИИ? Сначала покрутите ручку минуту
Инженеры из Squeez Labs собрали полностью автономного ИИ-ассистента. Устройство под названием CrankGPT работает без розетки, аккумулятора и интернета — достаточно минуты покрутить ручку.
В основе лежит Raspberry Pi 5 с 8 ГБ оперативной памяти и аудиомодуль ReSpeaker с двумя микрофонами. Вычислительной платой служит штатный процессор, никаких нейроускорителей не добавлено. Чтобы сгладить провалы напряжения от ручного генератора, разработчики изготовили собственную плату конденсаторов, которая запасает энергию примерно на 20 секунд работы. Практически всё время запуска уходит не на саму операционную систему, а на подготовку. В качестве ОС выбрана урезанная сборка DietPi, которая поднимается до рабочего стола примерно за три секунды. Основную задержку создаёт холодный старт Pi 5 — от 10 до 15 секунд занимает полная инициализация прошивки, контроллеров питания и PCIe. Ещё столько же уходит на запуск голосового агента: импорты Python и загрузка весов моделей из файлов. Итого с момента начала вращения до готовности отвечать проходит около 30 секунд. Разработчики сознательно отказались от NVMe-накопителя, хотя он ускоряет загрузку моделей. На Pi 5 инициализация PCIe и прошивки контроллера добавляет к старту лишние 10 секунд и в сценарии, где каждый запуск начинается с нуля, классическая SD-карта оказалась быстрее.
Внутри работают сразу три локальные модели. Речь распознаёт Moonshine ASR, активность диктора отслеживает детектор Silero VAD, а дальше в дело вступает языковая модель через llama.cpp. Предпочтение отдано компактным Liquid AI LFM2 объёмом 350 млн и 1,2 млрд параметров, а также Gemma 3 на миллиард параметров. Синтез ответа поручен Piper: именно он сумел уложиться в реальное время, озвучивая 20 слов примерно за
