Одно из самых забавных применений алгоритмов компьютерного зрения — возможность определять скорость реакции нервной системы человека по реакции зрачка на свет. Это можно использовать для оценки адекватности человека, его готовности к сложной, опасной и ответственной работе (пилот самолета, оператор ВС, диспетчер метрополитена и т.п.
).
Раньше «пинг» был простой реакцией зрачка на свет фонарика.
Например, так делает фельдшер скорой помощи.
Но вы также можете оценить скорость реакции, что дает гораздо больше информации.
Мы нашли способ автоматизировать это, обнаруживая зрачки на камере с частотой 40 кадров в секунду.
Вычислительная сложность невысокая, 3-5 тысяч сравнений на кадр — полный реальный срок: 
Данные пупиллометрии здорового человека
По скорости реакции зрачка на свет (сужение и восстановление диаметра зрачка после вспышки) можно оценить скорость прохождения нервного импульса, а также скорость его последующей обработки в нервной системе.
То есть да, это своего рода пинг вашей центральной нервной системы.
Эта штука похожа на 3D-очки.
Вот наш прототип.
Обычно мы встраиваем его в диагностические терминалы (то есть эти очки торчат из аппарата), но бывает - пользуемся им отдельно.
Можно сделать покрасивее, но особого смысла нет, это предсерийный образец: 
Что это дает?
В конце 17 века врачи стали замечать, что больные в разных условиях по-разному реагировали на свет. Почти 300 лет спустя исследования взял на себя магистр Хард Хесс, который также пришел к выводу, что на скорость реакции учеников влияют усталость и виды умственного напряжения перед оценкой.Вообще скорость расширения зрачков после вспышки света (адаптация к темноте) может служить мерой степени возбуждения нервной системы.
В 1982 году Хесс доказал, что зрачки расширяются сильнее, когда вы смотрите на интересующий вас объект. Мужчинам он показывал, конечно же, фотографии девушек.
Потом постепенно переходили к более тонким вещам – любимая еда, кандидат от своей партии и так далее.
Затем мы перешли к измерению умственной нагрузки.
Чем интенсивнее человек думает, тем медленнее расширяются зрачки.
Затем мозг «загрузили» арифметикой.
Сегодня мы бы сказали, что процессы параллельны, и когда вычислительные мощности мозга чем-то заняты, оценка окружающего состояния по освещению происходит медленнее.
Предположение о том, что расширенные зрачки служат одним из аттракторов в невербальном общении, остается недоказанным.
Еще позднее стали появляться численные исследования, связанные с влиянием на зрачковый рефлекс различных видов психического напряжения (внимательное рассмотрение предметов, выполнение мысленных вычислений) и нервных расстройств (депрессия, повышенная возбудимость и т. д.).
Как работает устройство
Это большие очки или бинокль.Нужно на несколько секунд заглянуть внутрь, там есть инфракрасные светодиоды и видеокамеры.
Если быть точнее, в них используются: инфракрасные светодиоды – для освещения глаз они невидимы для человеческого зрения; светодиоды видимого спектра – белого света, для вспышки; цифровой фотоаппарат ИК-диапазона с линзой и небольшой диодной меткой для фокусировки взгляда во время исследования.
В состав «бинокля» также входят плата управления, разъемы и другие аксессуары.
Сначала он узнает вас по радужке, чтобы вы не сводили с себя чужие глаза.
Сам осмотр после аутентификации длится от 6 до 8 секунд; испытуемый плотно прилегает маску устройства к глазам, чтобы исключить посторонний свет. В первые 1-2 секунды происходит адаптация к темноте.
В это время зрачки расширяются примерно до 5-6-7 миллиметров, стремясь дать сетчатке максимум света, чтобы хоть что-то можно было распознать.
Подсвечиваем глаза инфракрасным светодиодом; этот диапазон не виден человеку, и зрачок на него не реагирует. Посмотрите, зрачки большие и красивые: 
После достижения максимального диаметра зрачка в течение 200 мс загораются белые светодиоды (световой стимул).
Начало светового раздражителя принимается за ноль на шкале времени при построении пупиллограммы - графика изменения диаметра зрачка в зависимости от времени.
Нас интересуют следующие 5 секунд после вспышки.
Точка Dmin (максимальное сжатие сфинктеров зрачков) выглядит так: 
Цифровая камера записывает изображения обоих глаз с частотой не менее 40 кадров в секунду.
Управляющее программное обеспечение (ПО) находит зрачок в каждом кадре и определяет его диаметр.
Затем зрачок постепенно расширяется.
Основная задача: нам необходимо получить пупиллограмму, то есть график реакции зрачка на свет. Распознаем видео, убираем шум в данных (у нас много опорных кадров) и в итоге получаем график (это пример моего коллеги, относительно здорового человека): 
Пупилограмма содержит три важные области: латентную область, область сужения зрачка и область восстановления.
Ключевыми параметрами латентной области являются начальный диаметр зрачка (DN) и время задержки реакции зрачка от начала светового воздействия (TL).
Вторая область графика характеризуется минимальным диаметром (Dmin) и временем сужения (TC), третья область характеризуется точками восстановления диаметра зрачка на 50, 66 и 75 процентах амплитуды сужения.
Пупиллограмму можно считать непригодной для оценки, если человек закрывал глаза во время воздействия света, чрезмерно моргал или особенно сильно двигал глазами из стороны в сторону.
Неправильные результаты также могут быть получены для субъектов, носящих цветные линзы.
Затем программное обеспечение анализирует эти параметры, наиболее важными из которых являются скорость сужения и скорость расширения зрачка.
После этого делается заключение об адекватности человека и его готовности к сложной и опасной работе.
Распорядок дня людей, сильно уставших, после сильного недосыпания или находящихся в состоянии опьянения, алкогольного или наркотического опьянения, будет отличаться от расписания людей в адекватном состоянии.
Разница будет особенно заметна, если сначала мы получим эталон — обследуем человека, когда он находится в нормальном состоянии, а позже — в ненормальном.
Тесты
Мы протестировали устройство примерно на 760 сотрудниках компании в разных условиях (включая корпоративные мероприятия и дни после них).Всего на момент публикации 3496 измерений (новые добавляются каждый день).
Самое сложное — не столько распознавание, сколько оценка полученного графа.
В рамках теста мы также ездили по различным интересным клиникам, где пациентам с известным диагнозом (например, хронический алкоголизм) предлагалось добровольно принять участие в исследовании.
Сложнее найти лиц, находящихся под воздействием наркотиков, для репрезентативной выборки.
В рамках исследования мы сотрудничали с несколькими наркологическими клиниками, где проходят лечение пациенты с наркозависимостью и психическими расстройствами.
В медицинских целях принимают такие классы препаратов, как транквилизаторы, антидепрессанты, нейролептики, противосудорожные и седативные средства, поэтому база данных накопилась достаточно большая.
Нужно было отладить алгоритм, собрать больше данных о пациенте и так далее.
У каждого человека могут быть индивидуальные особенности реакции зрачка на свет. Самые первые версии алгоритма иногда выдавали вообще забавные вещи из-за трудностей распознавания.
Так однажды мы чуть не госпитализировали самого врача.
По мере развития проекта и подключения наших бета-тестеров мы построили систему, в которой пациент не может сознательно обмануть аппарат в «лучшее».
В худшую сторону - может быть, с помощью ряда мер, но приложение должно именно отсеивать негодных (например, водителей автобусов перед рейсом) из вполне боеспособных специалистов.
Мы можем сделать оценку, сравнив с эталоном после медицинского осмотра или с универсальным эталоном для данного типа человека.
Поэтому прямо сейчас берем необходимые данные из личного дела пациента, либо собираем анамнез вот так на полевом приборе (это интерфейс врача): 
Если прибор встроен в диагностический терминал, карты пациента и текущих данных измерений достаточно для построения очень точной гипотезы.
Предполагается, что диагностический терминал не исключает личный медицинский осмотр специалистом, но существенно ускоряет его.
А при условии, что на приборе будут измерены все ключевые показатели (пупилометр, алкотестер, манометр), направить на личный медицинский осмотр можно только тех, в отношении кого диагностический терминал имеет хотя бы минимальные сомнения, а это уже может быть 20 человек.
из 100. Откуда карта? Напомним, что поскольку мы встроили камеры в «бинокли», и поскольку мы всё равно что-то по ним распознаём, то было бы глупо не использовать общие библиотеки для распознавания человека по радужке, к счастью это решаемая проблема в течение очень долгого времени.
Таким образом, мы получаем идентификатор пациента и можем получить его предыдущие данные.
Вот бета-тестеры, которые самоотверженно пожертвовали собой: 
Проблемы с линзами: 
Даже прозрачные ежедневные линзы приводят к снижению выраженности зрачкового рефлекса, что очень похоже на усталость и алкогольное опьянение.
Мы предполагаем, что это связано с уменьшением общего количества света, попадающего в глаза при использовании линз.
Этот эффект необходимо учитывать при анализе таких графиков, поэтому в нашем интерфейсе перед началом обследования присутствует обязательный вопрос о линзах.
Сейчас мы продолжаем дорабатывать алгоритмы и методологию.
Вам необходимо собрать больше статистики, чтобы повысить точность.
Устройство уже работает как хороший тестер на наркотики, но мы хотим большего.
Сейчас статистика не позволяет сделать каких-либо достоверных диагностических выводов.
Кроме того, для хорошей диагностики состояния конкретного человека необходимо сначала провести несколько нормальных измерений его зрачковой реакции, чтобы затем с большой вероятностью после любого воздействия уловить отклонения от нормы - это вопрос инструкций по эксплуатации для персонала AЭS. Мы стремимся улучшить алгоритм и уменьшить ошибки первого и второго типа.
Сотрудники службы безопасности и специалисты по обеспечению безопасности удовлетворенно кивают, глядя на эту работу.
Стрельба из глаз
Вот видео: Также нужно распознавать ошибки (когда человек намеренно моргает, пытается сознательно аккомодироваться и вообще мешает работе устройства) - пока такие случаи видны на графике и фиксируются от руки, позже будет отметка о недостоверность результата.
Ссылки
- Относительно современный исследование по пупиллометрии для спортсменов
- Парасимпатическая нервная система на Wiki
- Компьютерное зрение на практике: поймать кота-терминатора и узнать лица
- Еще видение: ловля тележек
- И место, где операторы дешевле роботов (и про токсикозависимых медведей)
- Исследования зрачковой реакции Эхарда Гесса.
- Моя электронная почта [email protected].
-
Обновление Фотосинта
19 Oct, 24
