С 27 по 28 июня 2015 года состоялось хакатон , организованный Intel, где проект СенсеДрайв занял второе место.
В ходе презентации наша команда заглянула немного в будущее и продемонстрировала, как можно расширить возможности человека, погрузившись в виртуальное пространство, подключенное к Интернету вещей.
Немного предыстории
Все началось с ДевКон 2015 , где я впервые познакомился с возможностями Технологии RealSense , а на ночном хакатоне мне посчастливилось оценить возможности камеры и RealSense SDK. Первым моим желанием было подключить камеру к очкам виртуальной реальности, чтобы увидеть свои «виртуальные» руки.Однако на том хакатоне мне не удалось найти свободных Unity-программистов и 3D-дизайнеров.
Поэтому, объединившись с парнем из Вьетнама, нам удалось достаточно хорошо изучить SDK и особенности работы с камерой, чтобы продемонстрировать простую программу, которая помогает программистам делать упражнения для глаз и следит за тем, чтобы программист не «читерил».
Там я узнал, что через неделю будет еще один хакатон в Питере используя эту технологию.
Итак, теперь у меня уже была неделя на подготовку.
Заинтересовал своей идеей коллега Дмитрий Постилга, который нарисовал интерфейс 3D руками для Windows Phone в Unity. А я в это время разрабатывал возможность передавать данные о положении рук на смартфон.
Задача эта была нетривиальной, поскольку для подключения RealSense требуется очень мощный процессор и USB 3.0, которые по понятным причинам отсутствовали в нашем смартфоне.
Нам пришлось написать плагин для Unity, разворачивающий сервер на телефоне и клиентское приложение для ПК, передающее обработанные пакеты данных на телефон, что дало нам возможность «подключить» сразу несколько камер к будущим виртуальным очкам для более точной определить положение рук.
В результате получилась достаточно гибкая архитектура, в которой для Unity не было заметной разницы: передаются ли данные с камеры напрямую (для случая, когда приложение разворачивается на ПК), или через Wi-Fi (для случая, когда приложение разворачивается).
развернуто на смартфоне).
Забегая вперед, именно эта архитектура спасла нас во время презентации на прошлом хакатоне.
Неделя оказалась очень коротким сроком для создания прототипа виртуальных рук, так как над проектом мы работали в свободное от основной работы время.
Мы даже писали проект ночью, пока ехали в поезде Минск-Петербург.
В конце концов мы заняли первое место .
Также на втором хакатоне я узнал о предстоящем через месяц Intel IoT Roadshow и познакомился с Максимом Массальским из «Робот-кухни» - Минская лаборатория робототехники.
С ним мы решили наконец объединить виртуальный и реальный миры.
Чтобы продемонстрировать эти возможности, Максим собрал робота с движущейся камерой, которого мы на хакатоне подключили к плате Intel Edison. Максим запустил Wi-Fi и транслировал видеопоток с камеры робота в сеть.
Мы разработали систему команд управления и в результате получился робот, которого можно «обживать» из виртуальной реальности.
Робот транслирует то, что видит, через видеокамеру: поток с камеры, работающей на Intel Edison, прямо в виртуальные очки, а виртуальная реальность передает роботу положение головы и команды от виртуальных «рычагов управления».
Нам удалось создать «эффект присутствия» пользователя очков в кабине управления робота-аватара.
При этом пользователь мог не только руками (без мыши, клавиатуры и вообще каких-либо проводов) указывать, куда роботу следует идти, но и поворачивать голову в стороны, а робот послушно делал то же самое.
повернув камеру.
Робот-аватар – это, конечно, здорово, но не совсем понятно, какая от него польза.
Поэтому одного робота нам оказалось недостаточно.
Еще до хакатона мы провели небольшой мозговой штурм, чтобы понять, как лучше и понятнее донести до членов жюри полезность технологии.
Длинных примеров искать не пришлось, их было много (некоторые из них можно найти в описании проекта), но за 24 часа много не сделаешь, поэтому было решено выбрать два типа:
- Выключение какого-либо электроприбора (ведь никто не хочет, чтобы его дом сгорел из-за того, что в спешке оставили включенным утюг или плиту);
- Кормление питомца, оставленного дома.
Ведь у многих дома есть кот, собака, черепаха, крокодил :) А иногда приходится ехать на работу, в отпуск, в гости.
Домашнего питомца с собой не возьмешь, но можно надо как-то кормить.
Мы использовали электрический чайник как электроприбор, который мог сжечь квартиру.
Евгений Ткачевский, парень из Видео Крылья , который заинтересовался нашим проектом и утром второго дня принес из дома чайник.
Кормушка для кошек была спроектирована на бумаге еще в поезде по дороге в Питер, компьютерная модель была нарисована и распечатана на 3D-принтере, как только мы приехали.
А вот с поисками кота все было сложнее.
В окрестностях мероприятия кошек не было, поэтому мы одолжили плюшевого мишку у одного из экспертов Intel. 
Надо сказать, что проект вызвал живой интерес еще на стадии испытаний.
Конечно, не каждый день увидишь программиста с закрытыми глазами возле белой коробки, размахивающего руками перед ноутбуком, и робота, стоящего на подставке рядом с ним, крутящего колесики туда-сюда и машущего головой.
.
Некоторым зрителям даже посчастливилось попробовать себя в роли робота-водителя.
Презентация
К сожалению, на момент презентации интернет полностью отключился, и ни о какой передаче данных о положении рук, а тем более о трансляции потокового видео с камеры робота, говорить уже нельзя было.В последние секунды перед выходом было решено максимально разгрузить поток данных, оставив только команды по управлению роботом и полностью избавиться от виртуальных очков.
Нам предстояло продемонстрировать ПК-версию проекта, в которой невозможно было повернуть голову и посмотреть глазами робота.
Управлять роботом, чайником и кормушкой мы могли только с помощью виртуальных рук, наблюдая через плечо за движениями робота, выключая чайник и высыпая еду.
И, наконец, мы предложили желающим примерить очки и хотя бы на мгновение ощутить себя в виртуальном мире.
Почему виртуальная реальность?
К сожалению, из-за технических сложностей нам так и не удалось передать основную идею проекта – Чем управление из виртуального мира отличается от простого нажатия мышкой на кнопки на экране? .А ведь все на самом деле просто, кому-то удобнее кликать мышкой, кому-то тыкать пальцем в экран, кому-то писать в консоли, но виртуальная реальность дает возможность взаимодействовать с реальным миром с помощью действий и жесты, привычные для человеческого тела, что позволяет выполнять сразу несколько действий в привычной для человека манере.
Например, в текущей реализации вы можете одной рукой заставить робота идти прямо, а другой повернуть его немного вправо, при этом поворачивая голову и глядя на то, что происходит слева.
Наверняка, у многих автомобилистов была возможность одной рукой держать руль, другой разговаривать по телефону и при этом периодически поглядывать в сторону, чтобы увидеть, не идет ли за поворотом какой-нибудь неосторожный пешеход. Здесь то же самое.
Ну и в качестве бонуса в виртуальном мире у человека могут быть «суперспособности», как у супергероев.
Например, чтобы переключиться с робота на чайник или кормушку, я делал пасы руками, которые приводили к перемещению трехмерных объектов в этом мире, как у джедаев.
Была идея выпустить огненный шар из руки и тем самым отключить робота, но решили, что это перебор.
Разве это не свобода? Свобода передвижения, свобода мысли, свобода действий, свобода воображения.
Но это не все.
Не всегда человеку удобно управлять каким-то сложным объектом в одиночку.
Текущая реализация проекта позволяет нескольким людям одновременно управлять несколькими частями одного устройства.
За примерами не придется далеко ходить.
К роботу-танку могут подключиться два пользователя, один будет управлять движениями танка на поверхности, а второй будет вращать башню танка и иметь доступ к дульному управлению.
Только представьте, как будет выглядеть игра о танковых сражениях с такой реализацией?! С производственной точки зрения вам больше не нужно тратить много денег на изготовление подходящих клавиатур, мышей, джойстиков или любых других указывающих устройств.
Вам просто нужно нарисовать панель управления и загрузить ее в виртуальный мир.
А как это будет выглядеть, зависит только от фантазии и конкретных потребностей.
Что дальше?
На хакатоне нашей целью было продемонстрировать возможности, которые открывает симбиоз Интернета вещей, роботов и виртуальной реальности.Сейчас мы находимся на стадии ориентации проекта и появляются следующие направления:
- Разработка робота, управляемого одновременно несколькими людьми, прототипа робота-танка;
- Добавление в текущий проект поддержки платформ Android и IOS;
- Разработка полноценного робота-аватара, способного брать в руки предметы и транслировать стереоизображение обоими глазами;
- Разработка полноценного протокола и SDK для подключения к Интернету вещей и виртуальной реальности.
Это позволит любому человеку легко подключить свои электронные гаджеты к виртуальной реальности и, как следствие, расширить спектр применения очков;
- Разработка собственных виртуальных очков;
- Добавление нейроинтерфейса, который позволит людям управлять вещами не только с помощью движений тела, но и силой мысли.
На прошлом хакатоне было несколько проектов, использующих подобный интерфейс и возможно мы сможем объединить наши усилия на благо человечества.
-
Новые Города С Google Street View
19 Oct, 24 -
Восстановление Скайпа
19 Oct, 24 -
Движок Блога Nouz
19 Oct, 24 -
Php, Gdb И Массивы
19 Oct, 24 -
Del.icio.us Перехватил Спам С Тегами
19 Oct, 24
