В эти выходные мы решили рассказать о разработках двух американских университетов, которые помогают создавать достаточно правдоподобный саундтрек для немого видео.
Фото Бесплатное использование звуков /Unsplash
Непростая задача шумельщика
Звуки для фильмов и сериалов — например, шелест дождя — очень сложно записать по мере необходимости прямо на съемочной площадке в момент съемок того или иного фрагмента.Будет много посторонних шумов, возможны конфликты с голосами актеров и другой аппаратурой.
По этой причине почти все звуки записываются отдельно и микшируются при монтаже.
Делаете это создатели шума .
Если в фильме необходимо воспроизвести звук разбитого окна, звукорежиссеры приходят в студию и начинают разбивать стекло в контролируемых акустических условиях.
Запись ведется до тех пор, пока звук не будет соответствовать происходящему на экране.
В особо сложных случаях для этого могут потребоваться десятки итераций, что усложняет и удорожает кинопроизводство.
Инженеры из Техасского университета предложенный Альтернативный вариант. Они разработали систему искусственного интеллекта, которая определяет, что происходит в кадре, и автоматически предлагает звуковое сопровождение.
Как это работает
Инженеры описали принцип работы системы в своей работе для IEEE ( PDF ).Они разработали две модели машинного обучения.
Первый извлекает из видеопоследовательности характеристики изображения, например цвет. Вторая модель анализирует движение объекта в разных кадрах и определяет его характер, чтобы подобрать подходящий звук.
Для формирования акустического диапазона инженеры развитый Программа АвтоФоли.
Он генерирует новый звук на основе тысяч коротких аудиосэмплов — шума дождя, тиканья часов, скачущей лошади.
Результат работы вполне убедителен: К сожалению, система все еще имеет ряд серьезных ограничений.
Он подходит для обработки записей, в которых звук не обязательно должен идеально соответствовать видео.
В противном случае становится заметна десинхронизация - как в это видео .
Также объект должен постоянно присутствовать в кадре, чтобы модель ML могла его распознать.
Сейчас разработчики оформляют патент, но потом планируют исправить недостатки.
Кто еще участвует в подобных проектах?
В 2016 году эксперты из Массачусетского технологического института и Стэнфорда представлен модель машинного обучения, способная озвучивать «тихое» видео.Он прогнозирует звук на основе свойств объекта в кадре, например его материала.
В качестве эксперимента инженеры загрузили в систему видео, на котором человек ударяет голенью по различным поверхностям: металлу, земле, траве и другим.
Разработчики оценили эффективность алгоритма с помощью онлайн-опроса.
Наиболее реалистичными оказались звуки листьев и грязи (62% респондентов назвали их реальными), а наименее реалистичными — звуки дерева и металла.
Металл звучал естественно только в 18% случаев.
Эта система также требует совершенствования.
Он генерирует звуки, возникающие при столкновении объектов, но не может воссоздать акустический диапазон шума ветра.
Кроме того, алгоритм допускает ошибки, если объекты движутся слишком быстро.
Несмотря на это, у таких решений есть потенциал — они способны упростить работу шумопроизводителей и трансформировать киноиндустрию.
Дальнейшее чтение в Hi-Fi World:
Кинематографические ужасы: ремастеринг и дублирование
Кто выбирает музыку для фильмов и сериалов? Музыкальный руководитель
«Ой, нет, опять»: музыка в фильмах и сериалах, которую мы слышим слишком часто
Дождь, лязг брони и жидкий металл: как создается звук для кино
«Sound Shop»: Как создать звуковой дизайн для кино
Теги: #аудиомания #Звук #Работа с видео #Развлекательные задачи #кино #сериал #работа со звуком #звукорежиссура #звуковой дизайн #работа шумомакера
-
Останавливаться! Резать!
19 Oct, 24 -
История Linux Live Cd
19 Oct, 24 -
Полугодовой Солнечный Цикл Завершился.
19 Oct, 24 -
Мини-Роботы
19 Oct, 24
