NVIDIA представила "чат с RTX": чат-бот с ИИ, работающий локально на GeForce RTX 30 и 40

playground.ru:

"Чат с RTX" - это простая в использовании утилита, которая работает как локализованная система, обеспечивая постоянный доступ к персонализированному чат-боту GPT на компьютере без необходимости подключения к Интернету. Пользователи могут полностью персонализировать чат с RTX, используя локально доступный набор данных, и он совместим с большинством графических процессоров RTX 40 и RTX 30.

"Чат с RTX" использует программное обеспечение NVIDIA TensorRT-LLM (RAG), которое было анонсировано для ПК с Windows в прошлом году. Оно использует преимущества ускорения RTX, доступного на оборудовании RTX, для обеспечения наилучшего взаимодействия с пользователями. Приложение поддерживается на всех графических процессорах GeForce RTX 30 и 40 с объемом видеопамяти не менее 8 ГБ.

После бесплатной загрузки "Чат с RTX" пользователи могут подключить его к локальному набору данных, доступному на ПК (.txt, .pdf, .doc, .docx, .xml), а также к большой языковой модели, такой как Mistral и Llama 2. Пользователи могут также добавлять определенные URL-адреса, например, для видеороликов YouTube или целых списков воспроизведения, чтобы еще больше улучшить результаты поиска по набору данных.

Наличие графического процессора NVIDIA RTX, поддерживающего TensorRT-LLM, означает, что все данные и проекты будут доступны локально, а не храниться в облаке. Это сэкономит время и обеспечит более точные результаты. Расширенная генерация RAG или Retrieval - это один из методов, используемых для ускорения результатов искусственного интеллекта за счет использования локализованной библиотеки, которую можно заполнить набором данных, который вы хотите использовать для проверки LLM, а затем использовать возможности этого LLM по пониманию языка для предоставления вам точных