Хакатон По Машинному Обучению: Приходите. Обучите Модель. Победить

2) У вас есть только 2 дня, так что не оградить сад сложные модели: их легко переучить, и их изготовление занимает много времени.

Возьмите самое наивное предположение и итеративно усложните его.

На каждой успешной итерации сохраняйте набор данных, передаваемый в алгоритм машинного обучения, и результирующую модель.

Это делается с помощью пунктов меню «Сохранить как набор данных», «Сохранить модель» в контекстном меню Azure ML Studio (это веб-IDE).

Таким образом, у вас будут пары набор данных–обученная_модель для каждой итерации.

О структуре статьи Это более-менее стандартный процесс обучения с преподавателем.

Начну с самого вкусного - с самой сути этого процесса - обучения модели( Модель поезда ), постепенно переходя к этапу предварительной обработки данных ( Предварительная обработка данных ).

Один для всей команды, а не личный для каждого! Собирайте электронные письма от всех участников и расширяйте Рабочее пространство между ними.

На хакатоне нет на это времени! Проверьте сразу все алгоритмы, которые могут подойти.

Именно «все» — это Azure, а не ваш домашний ноутбук! Дата-центры Azure согреют атмосферу западного побережья США, но процесс обучения моделей будет работать! Вот пример того, как это должно выглядеть с использованием 5 алгоритмов двухклассовой классификации.

как показано на иллюстрации с перекрестной проверкой).

Включив перекрестную проверку, вы узнаете, какой потенциально лучший результат может показать алгоритм машинного обучения на ваших данных, и поймете, насколько стабильно работает этот алгоритм (чем меньше стандартное отклонение, тем стабильнее результат, который показывает алгоритм).

.

Так для нейронной сети это количество скрытых слоев нейронов, начальные веса, для дерева решений — количество деревьев, количество листьев на дереве.

Вы будете заняты ручным подбором нескольких параметров для 4-х алгоритмов классификации, в условиях хлынувшего фонтана новых идей, до нового года (а может и во время).

В зависимости от объема доступных данных в науке о данных принято оставлять в тестовом наборе от 10% до 30% данных.

Нет заниматься самообманом тренируйте модель на тестовом наборе, не используйте ее для проверки результатов перекрестной проверки.

Тестовый набор данных нужен вам только для одного — проверки окончательной модели.

Используйте модули из раздела «Выбор функций», чтобы не только сократить время обучения, но и получить наиболее релевантные предикторы и обобщить модель (улучшить ее производительность на реальных данных).

Таким образом, используя модуль выбора признаков на основе фильтров в задаче определения настроения твитов, я сократил количество предикторов со 160 тыс.

до 20 тыс.

Результат — посмотрите количество предикторов (столбцов) до и после фильтрации:







А модуль линейного дискриминанта Fisher помог мне уменьшить набор данных Iris с матрицы 4xN до 2xN, где N — количество наблюдений.

Но(!) не пишите сценарии R/Python просто потому, что вам лень разбираться, какие модули, встроенные в Azure ML, делают то же самое.

Модуль «Очистить недостающие данные» поможет вам справиться с недостающими данными (удалить их, заменить на значение по умолчанию, медиану или режим).

Раздел «Обнаружение аномалий» и простая визуализация помогут вам обнаружить выбросы.

Нормализовать (по крайней мере, попытаться) все числовые данные, распределение которых не является нормальным, с помощью модуля «Нормализация».

Используя тот же модуль, масштабируйте все числовые данные, абсолютные значения которых велики.

Укладка (стекинг) — подход, аналогичный бустингу: у вас также есть несколько моделей, обученных на данных, но никакой эмпирической формулы у вас уже нет — вы строите метамодель на основе оценок исходных моделей.

Это очень крутые методы, которые в полной мере используют ученые данных 80-го уровня с Kaggle. В Azure ML нет встроенных модулей, реализующих повышение или стекирование (или просто объединение в пакеты).

Их реализация не очень сложна, но имеет свой длинный список тонкостей.

Вот как для меня выглядит использование стека для создания метамодели, обученной с использованием нейронной сети с использованием расширенного дерева решений и классификаторов логистической регрессии.

Принципиальная схема реализованного стекирования:



1-й уровень:



Уровень 2:



Реализация подходов бустинга и стекинга в Azure ML — тема отдельной интересной статьи.

которые не могут быть раскрыты в рамках настоящей статьи.

Но(!) на второй день хакатона ты сможешь меня найти (Нижний правый на странице спикеров хакатон; Я буду выглядеть так же плохо, как на фото) и обязательно Я покажу вам, как добавить штабелирование в вашу модель.

и можно улучшить его показатели на пару-тройку-пять процентов, что немаловажно для подобных мероприятий.

Это долго, дорого и.

хорошо.

А нам нужно быстро и хорошо, т. е.

HDInsight. Azure HDInsight – облачный сервис, предоставляющий кластер Hadoop/HBase/Spark по требованию.

Мастер создания кластера занимает 2 минуты; само создание кластера происходит в Azure 1 кружка кофе ~10 минут.



Но самое приятное то, что HBase (точнее, запросы Hive) поддерживается в качестве одного из источников данных в Azure ML. Так что если данных много и вам нужно делать к ним сложные запросы, то не раздумывая разворачивайте кластер HBase в Azure и загружайте данные в Azure ML прямо оттуда.

Не ограничивайтесь любимым человеком: возьмите виртуальную машину с необходимым объемом памяти (доступно до 448 ГБ ОЗУ), количеством ядер (доступно до 32 ядер) и, при необходимости, SSD-накопителем.

В общем, создайте себе комфортные условия работы.

Общайтесь и делитесь опытом! (Самый хитрый все равно победит.) Если говорить о общении, то оно состоится завтра.

Московская встреча по науке о данных – отличное мероприятие в самом приятном формате для специалистов по обработке данных и тех, кто интересуется этой сферой.