Директор по инновациям компании Обзор игры Андрей Ивашенцев подготовил для раздела «Игровой рынок» описание функций шлема Microsoft HoloLens, рассказал о своем опыте его использования и о разнице между виртуальной и смешанной реальностью.
Microsoft HoloLens — это первая гарнитура смешанной реальности и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic. Устройство теперь доступно по цене $3000 за версию Development Edition исключительно для разработчиков в США и Канаде в рамках программы предварительного заказа, поставки которого начались только в апреле и уже распроданы на полгода-год вперед. Нам в Game Insight удалось получить устройство и даже одними из первых привезти его в Россию.
Что ж, поскольку HoloLens — самый инновационный продукт, разобраться с ним выпало именно мне.
Разработка HoloLens предположительно началась в Microsoft Research, а затем была продолжена в ANALOG, команде, изначально сформированной в группе Xbox и состоящей в основном из инженеров, работавших над Kinect. Разработка шла более семи лет и держалась в секрете до релиза, что в современном мире большая редкость.
В отличие от большинства устройств на рынке, это автономное устройство Windows, время автономной работы которого составляет около пяти часов (в зависимости от нагрузки).
HoloLens не требует подключения к компьютеру через кабель, а все расчеты выполняются на самом устройстве с помощью CPU и GPU. Все датчики обрабатываются с помощью встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и используется для обработки информации на аппаратном уровне.
Это уникальный чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.
Например, Kinect 2.0 с помощью своих двух камер и сенсора создает столько RAW-данных, что шина USB 3.0 с трудом может передать их на ПК в реальном времени, и тогда их еще нужно обрабатывать.
А теперь представьте, что HoloLens содержит в три раза больше датчиков, часть из которых отвечает за позиционирование в пространстве, часть — за контроль положения головы, а часть — за позиционирование голограмм.
Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «висеть в воздухе», как в привычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать.
с этим.
HoloLens имеет очень высокую точность позиционирования и учитывает особенности восприятия человеком сочетания реальных объектов и изображений на дисплеях.
Именно поэтому голограммы выглядят такими стабильными.
Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а прикреплена к какой-то поверхности, и вы можете спокойно ходить вокруг нее, рассматривать ее со всех сторон, а также вращать.
оно в разных плоскостях — на то и голограмма.
Две ключевые технологии, обеспечивающие максимальный реализм при взаимодействии с голограммами, — это пространственное аудио и пространственное картографирование.
Spatial Audio — интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия.
Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет исходить из этого угла, а не просто звучать вокруг пользователя.
Открытый формат колонок позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно услышите человека, говорящего вам что-то из другого угла той же комнаты.
Пространственное картографирование — это технология пространственного сканирования, аналогичная реконструкции поверхности.
HoloLens сканирует окружающую среду и преобразует реальные поверхности вокруг нее в набор треугольников (сетку), позволяя виртуальным объектам взаимодействовать с ними.
Происходит своеобразное 3D-сканирование пространства, виртуальная модель помещения сохраняется в памяти устройства и в дальнейшем используется в логике приложения.
Распаковка
Комплект поставляется в большой коробке, содержащей две коробки поменьше: в одной находится HoloLens в футляре, а в другой — кликер.Портативный защитный чехол, повторяющий форму устройства, содержит зарядное устройство, салфетку для протирки стекол и несколько сменных элементов.
Само устройство состоит из двух основных частей – каркаса и козырька.
Рама имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колеса.
Козырек имеет запас хода относительно рамы; настраивается на уровне глаз человека.
По бокам визора расположены стереодинамики, передающие звук в режиме 3D, обеспечивая надежную передачу звуков от голограмм, расположенных в пространстве вокруг пользователя.
Это называется «Пространственный звук», и я говорил об этом раньше.
Перед визором расположены оптическая и инфракрасная камеры, различные оптические датчики и датчики освещенности.
Сзади расположены кнопка включения и индикатор заряда аккумулятора, порт для подключения зарядного устройства (microUSB), разъем для наушников.
Проекционные экраны визора выполнены на основе технологии волноводной оптики – она считается одним из самых современных методов визуализации изображения при сохранении прозрачности поверхности.
Применение
Чтобы начать работу с устройством, необходимо правильно прикрепить его к голове, а затем включить кнопкой на торце козырька.При первом включении необходимо войти под своей учетной записью Microsoft и откалибровать визор в соответствии со своими личными особенностями.
Виртуальный помощник Cortana проведет вас через процесс настройки, научит использовать жесты и объяснит возможности вашего устройства.
Есть два стандартных жеста: Air Tap — виртуальное прикосновение пальца, имитирующее щелчок, и Bloom — раскрытие ладони для вызова меню «Пуск».
После инициализации перед нами появляется стандартное меню «Пуск» с плитками, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.
Приложения для устройства загружаются и устанавливаются из Microsoft Store, специально адаптированного для HoloLens. Хотя приложений для Holo не так уж и много, большая часть из них была разработана в Microsoft Studios для демонстрации возможностей устройства.
Несмотря на ограниченный набор собственных приложений, большинство универсальных (UWP) приложений и игр из Windows 10 также работают без сбоев и запускаются в оконном режиме.
Для удобной работы, конечно, понадобятся мышка и клавиатура (или геймпад), но на пользовательский опыт это совершенно не влияет. 
Сегодня HoloLens позиционируется прежде всего как устройство для корпоративных разработок при участии таких глобальных партнеров, как NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты — первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.
Одно из заметных ограничений — довольно скромный угол обзора: около 30-37 градусов.
Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых улучшений HoloLens. Но если провести некоторое время в шлеме, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к лыжной маске или очкам для плавания.
Это во многом зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферического зрения и того, как наш мозг воспринимает визуальную информацию.
К счастью, прогресс не стоит на месте, поэтому хочется верить, что в будущих версиях устройства угол обзора станет больше.
Влияние на игровую и смежные отрасли
Многие в игровой индустрии задаются вопросом, что произойдет с рынком, когда появится HoloLens. Вывод устройства в массовый сегмент рынка планируется всего через несколько лет, поэтому делать прогнозы с учетом текущей динамики – дело неблагодарное.Если мы посмотрим на рынок сегодня, то увидим, как VR шагает по планете и как тратятся многомиллионные бюджеты на битву за умы игроков (как на ПК, так и на мобильных платформах).
Мы в Game Insight постоянно изучаем новые технологии, пробуем разные устройства и пытаемся оценить перспективность тех или иных подходов.
Мобильный VR пытается приблизиться по возможностям и производительности к стационарному VR, что видно, например, из анонса платформы Google DayDream. Стационарный VR, наоборот, пытается добавить мобильности и уместить в форм-фактор рюкзака полноценный мощный игровой ПК.
При работе с голограммами, в отличие от работы с VR, нужно учитывать тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под окружающую среду.
Немного проще будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев.
Все это гораздо сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.
Несмотря на эти трудности, платформа предоставляет безграничные возможности для полета фантазии.
Вы можете строить огромные миры прямо на своем журнальном столике, открывать окна в новые неизведанные миры прямо в собственной гостиной, подключать несколько устройств по сети и играть в голографические игры в многопользовательском режиме, да мало ли что еще.
VR или голограммы
В поисках ответа на этот вопрос стоит определить разницу между VR (виртуальной реальностью), AR (дополненной реальностью) и MX\Holograms (смешанной реальностью).Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезируется и полностью заменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения.
Надеваем шлем и отключаемся от реальности.
Дополненная реальность (AR) — это проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к внешнему миру или с привязкой посредством специальных маркеров.
Простейшие версии дополненной реальности мы можем увидеть даже при съемке на смартфон, когда программа умной камеры автоматически распознает и обводит лица людей.
Самый понятный пример очков в данном случае — Google Glass, которые особо не прижились на рынке.
Смешанная реальность, или голограммы (MR), объединяет эти два подхода и связывает виртуальные объекты с реальным пространством.
Некоторые называют это дополненной виртуальностью, другие — смешанной реальностью, а Microsoft использует термин «голограммы».
Google идет по аналогичному пути с проектом Google Tango, но с немного другим списком целевых сценариев и форм-фактором устройства.
Билл Гейтс в рамках своей специальный проект на Reddit писал на эту тему: VR - это крайний случай AR, когда ничего из реального мира не примешивается.
Это вполне логично, если представить, что мы заменяем вашу гостиную любой другой виртуальной комнатой, оставив все виртуальные объекты (голограммы) в тех же местах, но запуская его на шлеме типа Oculus Rift или Vive. Следуя этому принципу, всего неделю-две назад Microsoft объявила о доступности платформы Microsoft Holographic для всех типов устройств VR, AR и MR, предоставляющей пользователям самых разных гарнитур возможность взаимодействовать друг с другом в виртуальной среде.
Невозможно сделать однозначный выбор: истина всегда будет где-то посередине.
Через 7-10 лет нас всех ждет невероятно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах.
Забавно, насколько клише эта фраза и насколько по-другому я стал ее воспринимать, когда впервые попробовал HoloLens.
-
Обзор
19 Oct, 24 -
Система Оценок Плохая?
19 Oct, 24
