Компания Google представлен SDK Resonance Audio — это набор инструментов для звукового дизайна для игр, 360-градусного видео, приложений VR и AR. Это не первая разработка компании в этой области.
В январе 2016 года вышел Google Cardboard SDK с объемным звуком.
Его модифицированная версия заходи в платформу VR Daydream 2.0, которая в настоящее время открыть для сторонних разработчиков.
Новый продукт под названием «Resonance Audio» объединяет разработки Google в этой области и позволяет реализовать их на нескольких платформах, в том числе мобильных.
Ниже мы поговорим об особенностях Resonance Audio. 
Фото Дженнифер Бойер CC BY
Что это дает
- Ээффект полного присутствия .
Угол обзора человеческого зрения составляет в среднем 160-200 градусов, но с помощью слуха человек может сформировать для себя целостное изображение пространства.
Синхронизировав виртуальное зрение и виртуальный звук, можно будет добиться большего эффекта присутствия в виртуальной реальности.
- Эпоследовательное использование процессора .
Вот здесь и работает технология.
Амбисоника — 3D-версия Средняя сторона записи.
Говоря простым языком, он позволяет экономить вычислительные ресурсы в процессе «микширования» сотен виртуальных источников звука.
Кроме того, Unity предоставляет возможность предварительного расчета эффекта реверберации в зависимости от акустических свойств виртуальной среды.
- Кросс-платформенный .
Resonance Audio работает в операционных системах Android, iOS, Windows, MacOS, Linux; на движках Unity и Unreal Engine; с аудиотекой ФМОД ; пакет программного обеспечения Мудрый ; работники цифрового аудио станции .
Google также предоставляет API для C/C++, Java и Objective-C.
- Создание сложной звуковой среды .
С помощью SDK можно работать с рядом параметров, влияющих на пространственное восприятие звуков.
Например, укажите направление распространения звуковой волны.
Разработчики вести ситуация с источником звука в виде виртуальной гитары: она будет звучать громче, если ваш игровой персонаж будет стоять перед ней, и тише, если за ней.
Используя эти функции, разработчики смогут создавать более реалистичные сцены.
Как работает Resonance Audio
Технология позволяет задавать положение источника звука вместе с характером его распространения и имитирует взаимодействие звуковых волн с виртуальными объектами.Для этого Resonance Audio вводит три типа составляющих общего восприятия того или иного звукового эффекта.
- Прямой звук — идет от источника к слушателю напрямую, не взаимодействуя с препятствиями.
Он имеет наибольшую интенсивность по сравнению с другими компонентами и затухает по мере удаления от источника.
- Первичные отражения от поверхностей - имеют меньшую интенсивность, что также зависит от свойств поверхности.
Они позволяют оценить размеры и форму виртуального пространства.
- С последующим вторичные и последующие размышления , которые поступают с увеличением плотности и перекрывать для направления звука.
На их основе строится более полная картина окружающего пространства.
Инстинкт самосохранения научил человека определять расстояние до источника звука, и на этом принципе строится процесс формирования эффекта присутствия, за который во многом отвечает аудиокомпонент:
«Присутствие» — это разница между «Ух ты, в этой игре действительно классная анимация гигантских жуков» и «Черт возьми, надо мной пролетел гигантский жучок!»Благодаря возможностям Resonance Audio ( видео ) человек, погруженный в виртуальный мир, формирует своеобразную «карту» пространства, в котором он находится.
А примерное расположение предметов, которые он не может видеть, человек определяет с помощью слуха.
Что еще нужно знать
Значимость работ по технологиям объемного звука подтверждается экспериментами, один из которых потраченный Компания G'Audio Lab. Людям были розданы две демо-версии игры — одна с объемным звуком, другая с обычным звуком.После завершения игрового процесса респонденты открыто говорили, что даже не думали, что звук может так сильно изменить игровой процесс.
Джоэл Сьюсал, глава подразделения виртуальной и дополненной реальности Dolby: напоминает , что именно реалистичные звуковые эффекты вроде резкого скрипа двери или звука приближающихся шагов заставляют нас инстинктивно поворачивать голову, чтобы увидеть источник звука и понять, что происходит на самом деле.
Технология объемного звука обогатит игровой процесс VR-игр и расширит сферу взаимодействия с игровой средой.
Объемный звук можно использовать не только в играх и фильмах, но и в видеоклипы , во время прямых VR-трансляций концертов и спортивных матчей, чтобы человек, находясь дома, чувствовал себя частью события.
Объемный звук поможет вам почувствовать то, что не так-то просто почувствовать даже в реальном мире – например, не просто пойти на концерт, а оказаться прямо на сцене, рядом с любимым исполнителем.
Другие материалы из нашего «Мира Hi-Fi»:
- «Дождь, лязг брони и жидкий металл»: как создается звук для кино
- «Следуй за звуком» — об играх, в которые хочется играть только ради звука
- Аудиотриггеры: как психика человека реагирует на разные звуки
-
Радио-Т №94
19 Oct, 24 -
Сортировка Комментариев
19 Oct, 24 -
Здесь Будет Город-Сад
19 Oct, 24 -
Кредит Как Метод Финансового Самоубийства...
19 Oct, 24 -
Хабрапринт - Печатная Версия Хабра
19 Oct, 24
