Offroad Navigator - это как городской навигатор, только для бездорожья, для которого нет карт, а маршруты проложены не всегда по дорогам, а с учетом рельефа местности.
Расскажу о первом этапе работы над проектом: как мы создаем трехмерную карту местности с помощью дрона, анализируем его проходимость, планируем маршрут для бульдозера и как все это отлаживаем с помощью специального тренажера.
Такой планировщик является частью системы роботизированного строительства в будущем и визуальным интерфейсом для оператора на переходном этапе отладки и внедрения.
Проект В процессе в Университете Иннополис для ПАО «Газпром нефть».
Статья основана на открытых данных, одобренных к публикации (в частности, видео и новости по ссылке выше, а также статья ).
Роботизированное строительство
Роботизированные такси и вездеходы уже заполонили планету.Но это, конечно, не все сферы, где необходимы беспилотные автомобили.
Одной из наиболее интересных задач роботизации, сравнимой по масштабам с задачей создания беспилотных такси, является роботизация строительства.
Для строительной отрасли с оборотом в несколько триллионов долларов потенциальная выгода от робототехники заключается в ускорении строительства и повышении качества работ. Вот несколько проектов на эту тему в мире:
- Безопасный AI ;
- Построенная робототехника ;
- Автономные решения ;
- Робо Индастриз ;
- Автономная система транспортировки , Университет Карнеги Меллон;
- КУЧА ,ЭТЗ.
Некоторые проекты в области роботостроения в мире Сами производители спецтехники тоже занимаются робототехникой (но не так ярко): Комацу , КОТ , Дир.
Самые интересные видео, наверное, о встроенной робототехнике: В России, благодаря успехам в решении аналогичных задач для горнодобывающей отрасли, мы слышим о компании Число , включая интересные статьи здесь.
Проходимость
Заданий в роботостроении много, и некоторые из них аналогичны задачам для беспилотных такси и вездеходов — локализация, обнаружение препятствий, а некоторые совершенно новые, например, планирование движения ковша.Но первым шагом все же остается автономное передвижение.
И здесь тоже есть особенности, связанные с тем, что планирование движения должно осуществляться не в парадигме дорог и полос, а для всей рабочей зоны, во многом исходя из проходимости – где можно проехать, а где можно.
не могу.
В проекте для формализации проходимости мы использовали следующие характеристики:
- наклон поверхности, а точнее 2 угла наклона – крена и тангажа, которые будет иметь предмет специального оборудования, если его разместить на заданном участке местности;
- неровность – максимальное отклонение поверхности от плоскости на заданном участке.
Характеристики проходимости местности по местности Уклон связан с максимальными углами, при которых не будет опрокидывания спецтехники (бульдозера, экскаватора, самосвала и т.п.
), а неровности – с дорожным просветом и максимальной высотой препятствия.
Наклон измеряется в радианах (или градусах для удобства чтения человеком), а шероховатость измеряется в метрах.
Эти характеристики основаны на упрощении, когда площадь поверхности под предметом специального оборудования аппроксимируется плоскостью и вычисляются углы ее наклона и отклонения реальной поверхности от этой плоскости.
Более детальное моделирование возможно при учете расположения колес (или гусениц) спецтехники, но для больших площадей работ предложенная модель оптимальна с точки зрения вычислительной эффективности при планировании движения.
Цифровая модель местности
Цифровая модель местности (DSM, в данном случае мы имеем в виду скорее DSM, цифровую модель поверхности) — это представление местности в памяти компьютера.Мы работаем с двумя форматами: облаком точек и ортофотопланом.
Облако точек Для создания ЦМР мы используем дроны, фотограмметрию и воздушное лазерное сканирование.
Каждый из этих двух методов имеет свои преимущества и недостатки.
Таким образом, фотограмметрия требует хорошей освещенности и требует постобработки (иногда длительной), лазерное сканирование можно проводить даже ночью, оно позволяет сразу получить облако точек, но стоит дороже, требует точной локализации, не работает над водой , а также без дополнительной работы обычно не содержит данных о цвете.
Для работы системы желательно иметь облака точек с точностью не хуже 5–10 см и соответствующим разрешением (десятки точек облака точек или пикселей на 10х10 см).
Создание цифровой модели местности с дрона Для углубленного анализа проницаемости поверхности могут потребоваться дополнительные данные (например, данные георадара).
Понятно, что не всегда понятна вязкость почвы, что находится под травой и т.п.
, но для начала мы считаем, что геометрия поверхности и ее фотография (ортофотоплан) должны быть достаточными для анализа ее проходимости при этап планирования глобального пути.
Оценка местности
Для анализа проходимости участка местности (оценки местности) мы используем одновременно два метода: аналитический и нейросетевой.
Методы анализа проходимости участка местности (оценка местности) Первый работает с облаком точек и геометрически рассчитывает наклон и шероховатость поверхности.
Зная допустимые пределы (пороги) уклонов и высоты препятствий для данной спецтехники, можно отнести любую территорию к проходимой или нет. Искусственный интеллект используется для дополнения аналитического подхода данными о типе почвы.
Он работает с фотографиями.
Мы реализуем сегментацию на классы грунтовая дорога, трава, земля, вода и т.д. и используем эти классы при планировании, чтобы не уходить, например, в болото (хотя оно может быть геометрически гладким).
вверху — изображение с камеры БПЛА, слева внизу — эталонная сегментация, полученная с помощью симулятора, справа внизу — результат работы прототипа системы искусственного интеллекта
Планирование
Для планирования движения реализован алгоритм на основе быстрорастущих случайных деревьев поиска (RRT), учитывающий проходимость местности и характеристики кинематической модели спецтехники (радиус поворота, габариты).Алгоритм удобен тем, что позволяет учитывать модель движения спецтехники (в том числе интегрируя выражения кинематики и динамики), а также скорость работы.
Дерево растет там, где вы можете пойти
Интерфейс
Сделано в Unity3d и собрано для мобильных ОС (iOS и Android).От городского навигатора он отличается трехмерной картой, а также внешним источником навигационных данных.
Быстрый рендеринг 3D-карты с использованием вычислительного шейдера на основе буфера, карты высот и сетки на основе вокселей — это отдельная история и тема двух диссертаций.
Еще одно отличие в том, что оператору нужно чаще смотреть в навигатор, чтобы следить за траекторией, т.к.
не всегда понятно, где на самом деле находится дорога.
В остальном аналогично — показываем даже расстояние до ближайшего поворота.
Слева — стартовый интерфейс навигатора, справа — интерфейс следования по построенному маршруту.
Симулятор
Прежде чем отлаживать все это дело «железно» (что, судя по всему, приведет к нескольким эпическим историям), нужно проверить адекватность подходов и работоспособность разрабатываемого ПО.Для этого мы создали реалистичный роботизированный симулятор.
Это ключевой инструмент для разработки и отладки интеллектуальных систем управления и компьютерного зрения для робототехники.
Здесь у нас большая виртуальная стройка с карьером, грунтовыми дорогами, растительностью, деревьями и различными стационарными объектами.
Мы моделируем день/ночь и различные погодные условия, что важно для тестирования подходов машинного обучения в сложных средах.
Что касается движущихся объектов, у нас есть бульдозер и дрон.
Симулятор предоставляет тот же API, что и настоящий дрон и наземный робот. У нас есть все датчики: GPS, IMU, LIDAR, камеры, включая камеру эталонной сегментации.
Оптимизации
Чтобы алгоритм работал быстро (как обычный навигатор со временем построения маршрута не более нескольких секунд), потребовался ряд хитростей.Оценка местности занимает больше всего времени.
Поэтому было решено перенести этот процесс на этап развертывания системы.
После построения ЦММ производится ее предварительная обработка: с заданным шагом (соответствующим размеру единицы специальной техники) производится проход по всей ЦММ и создается навигационная карта в новом формате сетки, где каждая ячейка присваивается структура данных с характеристиками проходимости и классом грунта.
Для ускорения этого процесса матрица высот разбивается на «тайлы» и производится параллельная обработка этих тайлов.
Параллельная предварительная обработка ЦМР Другие оптимизации включают «контроль случайности» в алгоритме RRT. Например, когда приоритет роста деревьев принадлежит территориям определенных классов.
Тогда путь сначала строится по грунтовым дорогам, а если это невозможно (на дороге есть препятствие), то идет в обход. Либо приоритет отдается таким маршрутам движения спецтехники, которые имеют меньше различий в направленности.
Последнее реализуется путем добавления характеристики «стоимости» пути, аналогично тому, как это сделано в алгоритме A*.
Команда и спасибо
Разработчики проекта: Роман Федоренко, Сергей Копылов, Ринат Сабиров, Ильшат Фатхуллин, Ярослав Шумиченко и Руслан Шакиров.Нам удалось создать творческую атмосферу во время работы над проектом, и во многом он стал для нас экспериментальной площадкой для тестирования новых технологий и подходов.
Я хотел бы поблагодарить команду, которая со мной работала, прежде всего, за такой творческий, энтузиазмовый подход, а также «Газпромнефть» за интерес к столь «глубоким технологическим» разработкам.
Теги: #Транспорт #Разработка робототехники #Робототехника #Мультикоптеры #Промышленное программирование #навигатор #лидар #фотограмметрия #планирование дорожного движения #RRT #оценка местности #проходимость #бульдозер #роботостроение
-
Эволюция Технологий - История Компьютеров
19 Oct, 24 -
Hp Покупает Palm
19 Oct, 24 -
Космическая Отрасль – Альтернативный Взгляд
19 Oct, 24 -
Total Commander 7.5: Что Нового?
19 Oct, 24
