Как Считать Звук С Пакета Чипсов, Или Что Такое «Визуальный Микрофон»

«Визуальный микрофон» — методика, позволяющая восстанавливать звук из немых видеозаписей.

Сегодня мы поговорим не только об этом, но и о других методах и технологиях, позволяющих удаленно читать и восстанавливать музыку или речь.

Фото m01229 СС 


Предшественники технологии

Так называемые лазерные микрофоны используется для считывания вибраций, вызванных звуковыми волнами.

Например, таким образом можно «уловить» звук с поверхности оконного стекла, если в комнате разговаривают люди или играет музыка.

Интерферометр обнаруживает «движение» поверхности, изменяя длину оптического пути отраженного луча.

После этого эти отклонения преобразуются в звуковой сигнал с помощью специальных алгоритмов.

В Интернете есть аудиозаписи, которые показывают, что «лазерные микрофоны» способны восстанавливать звук достаточно качественно.

Однако у этого подхода есть недостаток, связанный со сложностью установки устройства.

Вы также можете «записывать звук на расстоянии», используя микроволновое излучение низкой интенсивности, которая используется в средствах связи.

Похожие технологии использовал в НАСА для захвата и распознавания слабых радиосигналов в космосе.

Рупорная антенна Через стену здания он направляет в помещение микроволны частотой 30–100 ГГц.

Если в комнате разговаривают люди или играет музыка, звуковые волны можно считывать по микровибрациям легких предметов и материалов – в «захваченном» виде они приобретать амплитудная модуляция.

Эта информация затем используется для восстановления звука, воздействующего на объект. Причем этим объектом может быть любая одежда, поэтому данный метод позволяет «перехватить» даже звук сердцебиения.

Визуальный микрофон — решение учёных из Массачусетского технологического института

Они доказали, что по видеозаписям можно восстановить звук.

Для этого нужно записать видео объекта с помощью высокоскоростной камеры и проанализировать микроскопические вибрации, вызванные распространением звуковых волн.

Создано на основе видео управляемая пирамида изображений , который является представляет собой набор фильтров, «разбивающих» каждый видеокадр на сложные поддиапазоны, соответствующие различным точкам исследуемого объекта.

Ученые разработали специальный алгоритм (и опубликовано он есть в открытом доступе), который рассчитывает интенсивность звуковых колебаний в каждой из выбранных точек.

Локальные сигналы усредняются, и на их основе формируется один общий сигнал, определяющий влияние звуковых волн на объект. Этот сигнал пропускается через фильтр верхних частот Баттерворта с порогом среза 20–100 Гц.

После чего становится возможным восстановить аудиозапись.

По словам руководителя исследования Эйба Дэвиса, визуальный микрофон воспроизводит звук менее хорошего качества, чем активные методы (например, использование лазеров), но у него есть свои преимущества.

Их система не требует дополнительного оборудования или каких-либо детекторов – необходима только высокоскоростная видеокамера.

При этом поверхность, с которой будет «читаться» звук, не обязательно должна быть зеркальной или гладкой, как это часто требуется.

лазерные микрофоны .

Команда попыталась прочитать звук по бумажному пакету, пакету чипсов и алюминиевой фольге.

Они легкие, поэтому звуковые колебания на них были наиболее заметны, а результирующий сигнал был менее шумным.

В число тестовых объектов также входили комнатное растение и кирпич, которые, по словам ученых, показали себя лучше, чем они ожидали.

Развитие технологий

Различные области объекта по-разному воздействуют на звук.

Интенсивность вибрации зависит от материала, из которого изготовлен предмет, его формы, частоты ударного звука и расстояния до источника.

Например, при съемке видео с частотой 20 кГц звуковые волны перемещаются между двумя кадрами примерно на 17 мм.

Поэтому объекты, расположенные дальше от источника звука, реагируют с задержкой.

Все эти факторы заставляют разные области объекта вибрировать с разной скоростью.

Поэтому при анализе изображения с камеры ученые учитывают только те зоны, которые вносят наибольший вклад в формирование результирующего сигнала — наименее «шумящие» блоки.

Причём частоты, их образующие, имеют разные фазовые сдвиги, чтобы исключить ослабляющие помехи.

Иранские исследователи отмечают, что благодаря этому им удалось улучшить качество воспроизводимого звука, а также ускорить обработку изображений по сравнению с оригинальным алгоритмом MIT. Они говорят, что их система способна обрабатывать изображения и восстанавливать звук в реальном времени.

Потенциал визуальных микрофонов

Есть и другие варианты: такие системы позволят анализировать поведение звука в студиях звукозаписи и концертных залах, чтобы определить их акустические свойства.

Другое применение — использование системы в космической отрасли для изучения звуков в космосе.

Кстати, резиденты Hacker News уже предполагалось что в будущем «визуальные микрофоны» позволят раз и навсегда разгадать тайну высадки на Луну.

• Формат пятницы: как «звучат» цифровые деньги
• Ученые разработали резонатор, усиливающий мощность небольших динамиков
• Бит против килогерца: что важнее?

• «Чтение выходного дня»: 5 книг о музыке и музыкантах
• «Непотопляемый SoundCloud»: самая полная история аудио-стартапа
• «Звук в музее» – промышленный дизайн и творческие эксперименты
• «Восемь битов»: о звуках в старых играх
• «Звук в музее» – промышленный дизайн и творческие эксперименты

• Персональный Блог, Документальные Фильмы И История

  19 Oct, 24

• Советы По Резервному Копированию Сервера Для Начинающих

  19 Oct, 24

• Максимальная Продажа Компьютеров Онлайн

  19 Oct, 24

• Использование Механизмов Сравнения Цен

  19 Oct, 24

• «Компаниям Нужно Больше Менеджеров»

  19 Oct, 24

• Gearbest Теперь Говорит По-Русски

  19 Oct, 24

• Графический Пароль Не Позволяет Зрителю Украсть Себя

  19 Oct, 24

• Курс Пиксель-Арта

  19 Oct, 24

• Python В Visual Studio Code — Выпуск От Февраля 2021 Г.

  19 Oct, 24

• Vr Вчера, Сегодня И Завтра: Мнение Одного Из Первых

  19 Oct, 24