Google Earth Engine (Gee): Поиск Золота По Всему Миру С Помощью Больших Данных И Машинного Обучения

В предыдущих статьях Google Earth Engine (GEE) как общественный суперкомпьютер И Google Earth Engine (GEE) как общедоступный каталог больших геоданных Ознакомились со способами удобного и быстрого доступа к каталогу космических снимков и их обработки.

Теперь мы можем искать питьевую воду, различные минералы и вообще многое другое.

Мы также можем вооружиться методами машинного обучения (ML) и составить собственную карту сокровищ — прогноз поиска месторождений золота в любой точке мира.

Как всегда, посмотрите код и исходные данные (конечно, синтетические, потому что реальные данные буквально на вес золота!) на GitHub: Прогноз AU (ML)

Google Earth Engine (GEE): поиск золота по всему миру с помощью больших данных и машинного обучения

На острове Западная Сумбава С помощью построенного классификатора выявлены прогнозные золотоносные площади.



Введение

Задача поиска первичных (первичных) и сопутствующих россыпных (вторичных) месторождений с использованием ортофотопланов и космических снимков давно известна и хорошо изучена.

Порядок работы примерно такой: смотрим геологическое строение территории, выбираем те породы, которые содержат интересующие нас минералы, берем известные спектральные отклики для этих пород из соответствующих каталогов и анализируем мультиспектрально (или гиперспектрально, если таковые имеются).

) спутниковые снимки в поисках искомых пород и потенциальных месторождений.

Если нам нужно много минералов, которые мы ищем, то мы ищем непосредственно по их спектральным характеристикам.

Вы можете самостоятельно составить спектральные отклики разных минералов, если располагаете геохимическими данными.

Имеются исследования, что спектры отражения минералов вследствие их накопления растительностью в листве преобразуются в спектры поглощения и также могут быть обнаружены, а также повышенное содержание искомых минералов в воде, поэтому предварительная классификация территории с наличием земли, воды и растительности.

При этом нужно помнить, что размер пикселя существенно различается даже для разных каналов одного и того же изображения, не говоря уже о изображениях из разных миссий.

Также следует учитывать времена года, чтобы не удивляться, почему классификатор растительности для экватора так плохо работает зимой в заснеженной Сибири.

Кстати, в краях вечного лета хоть и нет снега, но вечная облачность, поэтому найти ни одного полностью безоблачного изображения не представляется возможным и нужно составлять составную мозаику, соединяя множество изображений и выбирая лучшее.

качество каждого пикселя (алгоритмов, конечно, много, но идеального нет).

Все это делается вручную (пусть и на компьютере, оксюморон), но делается медленно и разными несогласованными методами с несомненным преобладанием человеческого фактора.

Привычная и необходимая итеративная работа невозможна, поскольку не существует автоматизированного способа повторения подготовки и анализа данных.

Для нас проблема становится решаемой благодаря доступу к единому многолетнему архиву всех необходимых космических снимков, рельефа и производных материалов, а также синхронизированных по времени масок облаков и классификаторов (вода, земля, растительность и другие) в Google Earth. Двигатель.



Подготовка данных

Обычно геологи работают с одним или несколькими (выбранными по своему вкусу) изображениями всего одной спутниковой миссии, мы воспользуемся техническим преимуществом платформы Google Earth Engine (GEE) и из тысяч доступных спутниковых изображений сделаем высоко- качественные составные растры для разных миссий (Landsat 8, Sentinel 2,.

) и дополнять их детализированной цифровой местностью и некоторыми ее характеристиками.

Остановимся подробнее на том, зачем нужны снимки разных миссий, хотя их разрешение и спектральные каналы более-менее одинаковы.

На самом деле нет – разная оптика, ширина спектрального канала и алгоритмы обработки вызывают значительную разницу в получаемых изображениях.

Ранее я уже публиковал свои результаты сравнения значений спектральных каналов разных миссий по классам поверхности (суша-вода-растительность) только для исследуемой территории: Сравните спектрограммы гиперспектральных и мультиспектральных спутниковых миссий:

Google Earth Engine (GEE): поиск золота по всему миру с помощью больших данных и машинного обучения

Как оказалось, в зависимости от миссии эти классы могут быть как полностью разделены, так и наоборот. А наиболее перспективная гиперспектральная съемка с сотнями спектральных каналов (Гиперион, Призма) характеризуется низким качеством подавляющего большинства каналов (содержащих белый шум, постоянное значение или артефакты на большей части изображения) и очень избирательным охватом, поэтому ее использование на практике весьма ограничен.

Для обучения классификатора можно использовать геохимические данные с измеренным содержанием минералов в пробах, отобранных на территории, известных перспективных площадях и другие данные.

При этом один пиксель спутникового изображения может содержать целый набор сэмплов, от «пустых», с околонулевым содержанием, до заоблачных «ураганных», как будто мы уже нашли «ледяную дорадо».

.

При подготовке данных необходимо учитывать пространственное распределение проб – зачастую все пробы берутся из перспективных мест, выявленных предыдущими исследованиями, поэтому выборка крайне перекошена, что видно на карте выборки.

Контуры перспективных площадей позволяют получить для обучения гораздо более крупные выборки, но здесь мы ищем уже не корреляцию с минерализацией, а только схожие территории.

Для статьи я подготовил набор синтетических данных sample_synthetic_3class.geojson так что результаты классификаторов для реальных и синтетических данных весьма схожи.

Поскольку этот набор содержит довольно много данных, нам достаточно линейного классификатора.



Google Earth Engine (GEE): поиск золота по всему миру с помощью больших данных и машинного обучения



Построение классификатора и анализ территории

На Github есть два ноутбука, первый из которых GEE_export.ipynb необходимые данные подготавливаются и загружаются из Google Earth Engine, а во второй Прогноз 3-го класса Западной Сумбавы AU Synthetic.ipynb Классификатор обучается на полученных растрах и их последующей классификации.

Код содержит ссылки на все используемые наборы данных GEE, так что при желании их можно легко заменить другими.

Поскольку используемый линейный классификатор достаточно прост и требует выбора всего одного параметра, этот выбор осуществляется автоматически непосредственно в ноутбуке.

Отмечу, что желательно использовать физические характеристики поверхности - функции рельефа, отражательной способности для разных длин волн и так далее.

Однако вместо поверхностного отражения для миссии Landsat-8 мы используем данные TOA (верхней атмосферы), так как для этих спутников СИ рассчитывается недостаточно точно по TOA и нужная нам корреляция теряется.

Для Sentinel-2 такой проблемы нет.

Заключение

Сегодня мы совершили еще одно путешествие в мир обработки пространственных данных и научились добывать настоящее золото (и не только) из данных.

В предыдущих статьях я рассказывал о том, как строить подробные геофизические модели, а сегодня мы обсудили, как быстро найти перспективные участки для последующего детального анализа.

Если я решу написать следующую статью на эту тему, то в ней мы рассмотрим, как использовать классификатор для выявления перспективных золотоносных районов Сибири и как построить палеорельеф с помощью плотностных моделей для изучения как первичных, так и вторичных месторождений.

а также сравнить наши результаты с известными лицензионными участками.

P.S. С Днем геолога! Теги: #Популярная наука #python #программирование #открытый код #Большие данные #Визуализация данных #Геоинформационные сервисы #блокнот Jupyter #блокнот Jupyter #earth engine #gdal/ogr

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2019-12-10 15:07:06
Баллов опыта: 0
Всего постов на сайте: 0
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.