Гарнитура Helios Использует Технологию Intel Realsense, Чтобы Помочь Людям С Нарушениями Зрения

Цель проекта HELIOS — расширить и дополнить возможности человеческого восприятия посредством современных технологий зрения.

По оценкам исследования, опубликованного Всемирной организацией здравоохранения, примерно 285 миллионов человек в мире имеют нарушения зрения: 39 миллионов слепых и 246 миллионов людей со слабым зрением.

Мы считаем важным улучшить мобильность, безопасность и доступ к знаниям для людей с нарушениями зрения.

Мы используем компьютерное зрение, искусственный интеллект и технологию Intel RealSense для создания передовых решений, которые могут помочь людям с нарушениями зрения решить целый ряд повседневных проблем.

Наш подход заключается в разработке умной гарнитуры, которая поможет людям с частичной или полной потерей зрения.

https://youtu.be/EgfWFgn4RM8

Модели и возможности гарнитур HELIOS

▍ГЕЛИОС Сенсорный

В этом решении используется интерфейс HTI для предоставления пользователю визуальных данных посредством тактильных сигналов.

За счет этого реализуются возможности ориентации в ближайшем пространстве и обхода препятствий.

3D модель HELIOS Touch

▍ГЕЛИОС Свет

Используя технологии дополненной и виртуальной реальности, гарнитура расширяет визуальное восприятие пользователей.

Потоки данных о цвете и глубине от Intel RealSense предоставляют настраиваемые визуальные подсказки, которые помогут вам выполнять различные повседневные задачи.

3D модель ГЕЛИОС Лайт Основная цель ГЕЛИОС – предоставить пользователю более полную информацию об окружающем пространстве, что существенно увеличивает свободу передвижения и безопасность пользователя.

Еще одна важная особенность — возможность читать текст без использования Брайля.

Гарнитура HELIOS может читать содержимое книг, журналов и других печатных материалов, например меню ресторана.

Кроме того, HELIOS обеспечивает новый уровень контекста для личного взаимодействия, распознавая лица друзей и социальные сигналы.

Описание оборудования

▍Технология Intel RealSense

Благодаря этому система HELIOS получает высококачественные данные о глубине и цветные изображения.

Благодаря своей функциональности, производительности и компактности эти компоненты идеально подходят для интеграции в систему HELIOS.



Камера Intel RealSense R200. Для получения дополнительной информации см.

Эта статья



Razer Звездочёт — сторонняя версия камеры Intel RealSense SR300

▍HTI* тактильный интерфейс

Он предназначен для преобразования визуальных данных в тактильные сигналы, обеспечивая дополнительный уровень информации, которая доставляется точно и ненавязчиво.

тестовая плата HTI

▍Виртуальная реальность и открытый исходный код

Это идеальный готовый компонент для HELIOS Light благодаря открытому исходному коду, расширяемости и продуманному аппаратному обеспечению.

Razer OSVR HDK

▍Интел НУК

Интел НУК

Программное обеспечение.

Intel RealSense SDK

В следующем примере кода показаны основные компоненты для разработки механизма преобразования текста в речь с использованием RealSense и UWP (универсальная платформа Windows): Пример кода

   

 public async void StartRealSenseStreaming()
 
 {
 
     Status streamingStatus;
 
 
 
     // Set RealSense sample reader and bind SetOcrFrame event
 
     SampleReader sampleReader = SampleReader.Activate(senseManager);
 
     sampleReader.SampleArrived += SetOcrFrame;
 
 
 
     // Set RGB stream profile and device info filter
 
     Dictionary<StreamType, PerceptionVideoProfile> profiles = new Dictionary<StreamType, PerceptionVideoProfile>();
 
     profiles[StreamType.STREAM_TYPE_COLOR] = ColorProfile;
 
     sampleReader.EnableStreams(profiles);
 
     readers.Add(sampleReader);
 
     if (currentRealSenseDevice != null)
 
         senseManager.CaptureManager.FilterByDeviceInfo(currentRealSenseDevice.DeviceInfo);
 
 
 
     // Set streaming status message
 
     if ((streamingStatus = await senseManager.InitAsync()) == Intel.RealSense.Status.STATUS_NO_ERROR)
 
     {
 
         if ((streamingStatus = senseManager.StreamFrames()) == Intel.RealSense.Status.STATUS_NO_ERROR)
 
         {
 
             StatusMessage = "Streaming started";
 
         }
 
         else
 
         {
 
             StatusMessage = "Failed to stream: " + streamingStatus.ToString();
 
         }
 
     }
 
     else
 
     {
 
         StatusMessage = "Initialization failed: " + streamingStatus.ToString();
 
     }
 
 
 
     IsStreaming = true;
 
 }
 
 
 
 private void SetOcrFrame(Object module, SampleArrivedEventArgs args)
 
 {
 
     // Setting current frame for OCR processing
 
     Sample sample = args.Sample;
 
     if (sample == null) return;
 
 
 
     var localOcrFrame = sample.Color;
 
     if (localOcrFrame == null) return;
 
 
 
     lock (sample)
 
     {
 
         ocrFrame = localOcrFrame.SoftwareBitmap;
 
     }
 
 }
 private async void TextToSpeech()
 
 {
 
     // setup OCR engine for English
 
     OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("en"));
 
 
 
     // recognize text from the RealSense OcrFrame
 
     var ocrResult = await ocrEngine.RecognizeAsync(RealSense.OcrFrame);
 
 
 
     if (!String.IsNullOrEmpty(ocrResult.Text))
 
     {
 
         // setup speech synthesizer
 
         var voice = SpeechSynthesizer.AllVoices;
 
         using (SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer())
 
         {
 
             speechSynthesizer.Voice = voice.First(v => v.Gender == 0);
 
             var voiceStream = await speechSynthesizer.SynthesizeTextToStreamAsync(ocrResult.Text);
 
 
 
             // setup playback of voice synthesis
 
             PlaybackVoice(voiceStream);
 
         }
 
     }
 
 }

   

Тестирование и проверка

Он убежденный оптимист и один из лучших студентов в своем выпускном классе.

В настоящее время он работает над своим дипломным проектом по оборудованию исторической достопримечательности – Королевского двора Тырговиште – для улучшения доступности по отношению к доступности.

Предлагаемые улучшения предоставят слабовидящим туристам лучшую информацию об этом историческом месте.

Михай стал первым тестером нашей гарнитуры.

Михай тестирует HELIOS в действии



Михай читает с HELIOS В ходе экспериментов Михай предоставил отзывы обо всех функциях системы HELIOS, которую он использовал.

Он естественным образом воспринял новые источники информации и уже через несколько минут смог успешно использовать гарнитуру для получения более точной информации об окружающей местности.

Заключение

При дальнейшем развитии система ГЕЛИОС станет незаменимым и очень полезным помощником для людей с нарушениями зрения.

Теги: #Гаджеты #Интернет вещей #AR и VR #Medgadgets #Intel RealSense #Intel RealSense #Intel RealSense #intel realsense #Intel RealSense #intel realsense #Helios

• Сколько На Самом Деле Стоит Ваша Репутация На Ebay?

  19 Oct, 24

• Тенденции Анализа Больших Данных, На Которые Следует Обратить Внимание В 2016 Году

  19 Oct, 24

• Работа На Дому – Возможность Работать На Дому

  19 Oct, 24

• «Не Называйте Швейцарию Силиконовыми Альпами» — Как Устроен Швейцарский Рынок Стартапов

  19 Oct, 24

• Оперативное Реагирование На Ddos-Атаки

  19 Oct, 24

• Наса Готовит Эксперимент По Проверке Концепции Варп-Двигателя

  19 Oct, 24

• Криминалистический Анализ Резервных Копий Hisuite

  19 Oct, 24

• Украшаем Компьютер К Новому Году: 4 Замечательные Идеи

  19 Oct, 24

• Comindwork – Командная Работа Онлайн

  19 Oct, 24

• Сервер В Экстравагантном Случае — Использование Server 2012 В Качестве Рабочей Станции

  19 Oct, 24