Синергия VR и AI: Использование нейросети в VR-разработке на примере ChatGPT

Невозможно представить развитие современных технологий без использования искусственного интеллекта (ИИ). Сегодня ИИ находит применение во многих областях, от автоматизации производства до управления городской инфраструктурой. Сочетание VR-технологий и нейросетей создает синергию новых возможностей, позволяющих улучшать процессы обработки информации и создавать более реалистичные виртуальные миры. В статье рассказываем, как мы использовали ChatGPT в качестве виртуального бота в VR-приложении.

Нейросети сегодня

Искусственный интеллект и нейросети стали неотъемлемой частью современной технологической индустрии, проникая во все сферы жизни и бизнеса. Новые разработки и достижения в области искусственного интеллекта позволяют автоматизировать процессы, повышать эффективность работы и улучшать качество услуг. Один из наиболее перспективных подходов в области искусственного интеллекта – это использование нейронных сетей, которые способны обрабатывать большие объемы данных и находить скрытые зависимости между ними. Нейросети имеют широкое применение в различных сферах жизни и бизнеса:
 

1. Медицина: диагностика заболеваний и прогнозирования рисков развития заболеваний.
2. Финансы: помощь в анализе больших объемов данных и определении трендов на рынке акций.
3. Транспорт: управление транспортной инфраструктурой, например, для оптимизации работы светофоров или прогнозирования аварий на дорогах.
4. Коммуникации: подбор контента и персонализации рекламы в соцсетях.
5. Реклама, маркетинг, PR: оптимизация рекламных кампаний, создание уникальных креативов, дизайна, презентаций, статей.
6. Образование: индивидуальные программ обучения и адаптивное обучение, учитывая особенности каждого ученика.
7. Искусство: некоторые художники используют нейросети для создания изображений с помощью генеративных алгоритмов (промтов).
8. Геймдев: нейросети помогают автоматизировать создание объектов, генерировать локации и улучшать качество контента.

С каждым днем видов нейросетей становится больше. Самые популярные на данный момент:

ChatGPT, Notion AI, Балабоба – для генерации текстов, DALL-E, Midjourney, Kandinsky – для генерации изображений; Tome, Beautiful ai, Slider ai – для создания презентаций. Список можно продолжать бесконечно, ведь ИИ существуют практически под любую задачу.

 

Нейросети и VR-разработка: для чего использовать

Нейросети могут быть использованы в VR для улучшения опыта пользователей и создания более реалистичных симуляций. Некоторые примеры использования нейросетей в разработке 3D/VR-контента:

• Улучшение графики

Можно использовать нейросети для улучшения графики, что позволит создавать более реалистичные симуляции. Например, нейросети могут использоваться для улучшения текстур и освещения в VR-играх.

• Управление камерой

В VR-приложениях можно использовать ИИ для автоматического управления камерой. Например, нейросеть может учитывать движения пользователя и автоматически настраивать камеру для создания наилучшего визуального впечатления.

• Автоматическое создание контента

Нейросети могут быть использованы для автоматического создания контента в VR-среде. Например, нейросеть может использоваться для создания 3D-моделей объектов, которые затем могут быть использованы в готовых VR-симуляциях.

• Анализ поведения пользователей

Нейросеть может анализировать, как пользователи взаимодействуют с различными объектами в VR-среде, чтобы определить, как улучшить опыт пользователя.

Примеры использования генеративных нейросетей в игровой индустрии

1. Microsoft Flight Simulator



В Microsoft Flight Simulator воссоздан весь земной шар, но вручную разработчики создавали модели только наиболее известных объектов. Весь остальной мир был заполнен домами и деревьями при помощи алгоритмов автоматической генерации. На выходе нейронные сети генерируют порядка 1.5 миллиарда цифровых отпечатков, использующихся для генерации виртуального мира.

2. No Man's Sky


Еще одним примером использования нейросетей для генерации контента служит игра No Man's Sky от студии Hello Games. В игре игрок может исследовать бесконечную вселенную с квинтиллионами планет, которые создаются процедурно с помощью нейросетей. Каждая планета имеет свою атмосферу, климат, рельеф, флору и фауну.

3. Alien: Isolation



Нейросети могут делать неигровых персонажей более умными и хитрыми, которые могут реагировать на действия игрока, сотрудничать или соперничать с ним. Например, они могут помогать персонажам принимать решения, строить стратегии, адаптироваться к ситуации и предвидеть действия игрока. Пример использования нейросетей для поведения NPC – игра Alien: Isolation от студии Creative Assembly. Для контроля над его поведением в игре используются два алгоритма. Первый следит за игроком и направляет Чужого в его локацию, а второй запрещает монстру двигаться в «безопасные зоны».

4. High on Life



Разработчики шутера High on Life использовали ИИ для создания прототипа озвучки своих персонажей. Позже героев доработали, их озвучили профессиональные актеры. Но  один второстепенный герой говорит синтезированными словами даже после релиза.

5. MarioGPT



Генеративные ИИ можно использовать для создания уровней, как это сделали создатели MarioGPT. Их система обучена взаимодействовать с классическим платформером Super Mario Bros. — достаточно ввести текстовое описание, и нейросеть создаст уровень, который можно пройти.

 

ChatGPT в VR-разработке на Varwin: виртуальный голосовой помощник

В рамках образовательных лекций для участников и гостей XIV Международной олимпиады в сфере ИКТ «IT-Планета 2023», IT-специалисты рассказали об использовании современных технологий для решения различных задач.

Александр Пикулев, руководитель образовательного направления Varwin, рассказал гостям и участникам финала про использование искусственного интеллекта при разработке VR-проектов на платформе Varwin XRMS. Участники узнали, как можно интегрировать нейросети при работе с 3D и VR. А именно, как использовать возможности нейросети ChatGPT как виртуального помощника (бота), который может отвечать на любые вопросы и сделать проект более интерактивным. 

Мы заранее настроили интеграцию ИИ ChatGPT-3.5 через API для того, чтобы бот мог прослушать вопрос и дать ответ, а логику и сцену сделали во время выступления Александра. Для генерации и распознавания речи в VR-приложениях мы обычно используем сервисы Яндекса и решение ЦРТ. Дополнительно боту можно выбрать голос озвучки и эмоции.

«Чтобы пользователь Varwin смог повторить аналогичный кейс, ему достаточно уметь создавать объекты для Varwin в Unity и иметь базовые знания web-запросов. Также нужны аккаунты в нужных генеративных нейросетях и API-интеграция. С помощью Varwin SDK можно перенести нужные запрограммированные объекты в платформу Varwin и создать аналогичный проект», – рассказал Иван Добряков, Unity/3D/VR-разработчик









Как это работает:

1. Пользователь нажимает на кнопку, произносит фразу или задает вопрос;
2. Фраза обрабатывается сервисом SpeechToText от Яндекса;
3. Обработанный запрос отправляется в ChatGPT по настроенному API;
4. ChatGPT обрабатывает запрос и выдает ответ, который передается в TextToSpeech от Яндекса;
5. Файл с ответом в потоковом режиме воспроизводится ботом.

Во время демонстрации проекта, участники могли задавать боту вопросы и получать ответы от нейросети в режиме реального времени. Среди вопросов были: что такое олимпиада IT-Планета, почему Алиса лучше Siri и в чем смысл жизни. Задержка ответа бота с ИИ была совсем небольшой, около 1 минуты.

Кстати, презентацию для выступления мы подготовили с помощью нейросети tome. Некоторые изображения для этой статьи мы также сгенерировали с помощью нейросети Kandinsky 2.1.



Главной идеей проекта было использование ИИ для повышения интерактивности VR-приложения. Также нам удалось сильно сократить время разработки VR-приложения. В данном случае мы обошлись без записи заранее подготовленных фраз и настройки дополнительных частей логики.

«Нейросети уже сейчас присутствуют и помогают в нашей жизни. Искусственный интеллект применяется в виртуальной реальности, и нет ничего удивительного, что ИИ и VR помогают друг другу. Это сквозные технологии: они похожи и синергируют. Я уверен, что со временем VR-приложений с ИИ будет больше», – рассказал Александр Пикулев, руководитель образовательного направления Varwin Education.

Полное выступление Александра Пикулева и демо проекта можно посмотреть по ссылке или ниже (с 4:05:35).




«В будущем можно реализовать еще более нейро-ориентированный VR-проект, используя несколько нейросетей. Например, добавить боту анимацию рисования, поставить мольберт. Попросить его вести себя как художник и написать картину. Одна нейросеть обработает запрос, а вторая запустит процесс рисования. Кроме того, можно реализовать полностью голосовое управление проектом. Вариантов много, а нейросетей с каждым днем все больше», – добавил Иван Добряков, Unity/3D/VR-разработчик.

 

Подводя итог

Использование нейросетей в VR-разработке помогает значительно ускорить процесс создания и оптимизации приложений, уменьшить число ошибок и повысить качество готовых цифровых продуктов. Также ИИ позволяет автоматизировать многие задачи, которые раньше выполнялись вручную. Кроме того, использование нейросетей в VR-разработке открывает новые возможности для создания более сложных и уникальных проектов.

В целом, использование нейросетей в VR-разработке является важным фактором в развитии индустрии виртуальной реальности и способствует ее более эффективному и быстрому развитию.

 

Подпишитесь на наши соцсети и узнайте новости Varwin первыми:

→ Вступить в Varwin Education Community в Telegram — группа, в которой вы можете задавать нам любые вопросы и общаться с коллегами, а также новости, лайфхаки по Varwin Education и интересные кейсы.

→ Подписаться на Varwin Education VK — наше сообщество ВКонтакте.

→ Подписаться на YouTube-канал Varwin — канал, где мы выкладываем записи интересных мероприятий и кейсы пользователей платформы Varwin Education.