NVIDIA представила новое приложение под названием Chat with RTX, которое позволяет запускать локально на ПК чат-бота с генеративным искусственным интеллектом на основе большой языковой модели (LLM). Это приложение предоставляет возможность создавать сводки и получать релевантные ответы на основе видеороликов и документов пользователя. Chat with RTX работает на ПК с операционной системой Windows и требует видеокарты NVIDIA GeForce RTX 30-й или 40-й серии с 8 Гбайт видеопамяти.
Одной из интересных функций Chat with RTX является возможность обработки видео с YouTube. Достаточно просто ввести URL-адрес видео, чтобы получить от чат-бота краткое содержание в текстовом формате. Приложение также позволяет выполнять поиск по расшифровке видео. По отзывам экспертов, поиск в видеороликах занимает всего несколько секунд. Однако были отмечены случаи, когда чат-бот по непонятной причине использовал содержание другого ролика вместо запрошенного. Это указывает на ошибки, связанные с ранней версией приложения.
Исследователи отмечают, что Chat with RTX показывает хорошие результаты при обработке PDF-файлов. Он превосходит Microsoft Copilot в этой задаче, успешно извлекая ключевую информацию. Эксперты также отмечают, что Chat with RTX отвечает практически мгновенно, без задержек, которые обычно возникают при использовании облачных чат-ботов, таких как ChatGPT или Copilot. С помощью этого чат-бота тестировщики смогли создать релевантный набор данных по судебному делу “FTC против Microsoft” и обобщить стратегию Microsoft в отношении Xbox Game Pass.
Установка Chat with RTX на ПК пользователя включает установку веб-сервера и экземпляра Python, который использует LLM Mistral или Llama 2. Тензорные ядра на графическом процессоре NVIDIA RTX используются для ускорения обработки запросов. Установка приложения на ПК с процессором Intel Core i9-14900K и видеокартой NVIDIA GeForce RTX 4090 занимает около 30 минут. Приложение занимает примерно 40 Гбайт на диске, а интерпретатор Python потребляет около 3 Гбайт оперативной памяти при работе. После запуска пользователь получает доступ к чат-боту через веб-интерфейс, а в командной строке отображается ход выполнения и коды ошибок.
Несмотря на то, что Chat with RTX все еще находится в ранней стадии разработки, эксперты отмечают, что это хорошая техническая демонстрация возможностей и перспектив локально установленного чат-бота с искусственным интеллектом на компьютере пользователя. Многие люди предпочитают использовать такие локальные решения, чтобы анализировать свои данные, вместо подписных облачных сервисов, таких как Copilot Pro или ChatGPT Plus.