NVIDIA анонсировала нейросеть NVLM 1.0, которая способна анализировать и интерпретировать изображения
vgtimes.ruNVIDIA представила свою новейшую мультимодальную языковую модель NVLM 1.0, которая не только отлично справляется с визуальными задачами, но и может интерпретировать картинки и рукописный текст. В тестах NVLM 1.0 превзошла GPT-4o по распознаванию текста на изображениях, продемонстрировав выдающиеся результаты в математике, лишь немного уступив Claude 3.5. Модель также пояснять смысл мемов и прочих комичных ситуаций изображенных на картинках или описанных текстом.
Компания выпустила три версии модели: NVLM-D, NVLM-X и NVLM-H. NVLM-D использует предобученный энкодер для изображений и потребления меньшего количества ресурсов графического адаптера, NVLM-X оптимизирована для работы с изображениями в высоком разрешении, а NVLM-H сочетает черты обеих предыдущих моделей.
Для более подробной информации и доступа к коду модели можно перейти на сайт NVIDIA и GitHub.
