Восприятие. Почему Для Постоянного Восприятия Видео Может Иметь Более Низкую Частоту Кадров, Чем Аудио?

В кино изображения обычно показываются нам со скоростью около 24 кадров в секунду, но современные звуковые файлы часто содержат 44 100 или 48 000 сэмплов в секунду.

Существует порог выше ~12 кадров в секунду, при котором мы будем воспринимать последовательные кадры как единое движение, а не как отдельные изображения (ср. Фи-феномен, постоянство зрения, бета-движение). Но чтобы получить такое единое восприятие в слуховой сфере, нам нужна гораздо более высокая «частота кадров». Почему это?

Звук — это волны давления; молодые люди могут слышать (то есть обнаруживать волны давления) примерно до 20 кГц. Чтобы создать эти высокочастотные волны с помощью динамика с сигналом во временной области, необходимо иметь частоту дискретизации, как минимум в 2 раза превышающую самую высокую частоту, которая будет представлена. На практике эти очень высокие частоты не включаются в музыку и определенно не включаются в речь, поэтому ~44 кГц вполне достаточно. Внутри улитки имеется мембрана, структура которой позволяет вибрировать на разных частотах по всей длине. На более высоких частотах нейроны на самом деле реагируют не на каждую звуковую волну, а на конверт, поэтому можно реагировать на частоты, намного более высокие, чем те частоты, на которых могут работать нейроны.

Зрение зависит от обнаружения фотонов. Фотон попадает на светочувствительную молекулу в фоторецепторе сетчатки, что вызывает химические изменения. Это измененное химическое вещество связывается с белком, что вызывает каскад событий, которые в конечном итоге вызывают изменение высвобождения нейромедиатора. Зрение медленное: каскад реакции на одиночный фотон занимает порядка сотен миллисекунд. Мы можем обнаружить вещи немного быстрее, потому что зрительная система реагирует на изменения поэтому наклон этого отклика является важной характеристикой, но в целом этот медленный процесс означает, что световая информация подвергается низкочастотной фильтрации. Пока сигнал достаточно быстрее, чем этот фильтр нижних частот, различия между покадровым и плавным сигналом в большинстве случаев не заметны. Однако неверно, что 24 кадра в секунду — это предел. Современные мониторы часто работают намного быстрее, например, с частотой 60–144 Гц, поскольку более высокая частота кадров важна для восприятия плавного движения на высоких скоростях. Однако более медленная частота кадров достаточна, когда изменения невелики.

В природе многие вещи вибрируют на высоких частотах до 1000 Гц, поэтому существуют веские эволюционные причины для обнаружения высокочастотных звуков. Однако очень немногие объекты движутся с такой скоростью, а те, которые движутся, обычно не имеют поведенческого значения (например, вам не нужно видеть каждый взмах крыльев насекомого, чтобы обнаружить в нем насекомое).

У меня нет полного ответа, но это может помочь начать дело...

Вы путаете два понятия: частота кадров и частота дискретизации. В видео, представленном со скоростью 24 кадра в секунду, каждый кадр потенциально имеет широкий диапазон пространственных частот. Обычно пространственные частоты ограничены количеством пикселей, но вы можете использовать фильтр нижних частот для каждого кадра, чтобы уменьшить пространственные частоты (в итоге вы получите размытое изображение). Эта пространственная фильтрация не имеет ничего общего с частотой кадров.

Частота дискретизации 44,1 кГц в аудиосигналах больше похожа на пространственные частоты изображения/кадра, чем на частоту кадров видео. Примером аудиокадров может быть что-то вроде разложения аудиосигнала на несколько фрагментов с помощью кратковременного преобразования Фурье (STFT), установки для каждого фрагмента постоянного спектра (и фазы???) и восстановления. Реконструкция сигнала из модифицированного STFT нетривиальна (см. Гриффин и Лим, 1984 год.). Учитывая сложности процесса и отсутствие приложения, я не уверен, что кто-то действительно исследовал, как длительность срезов влияет на ситуацию.