Платформа DS Works позволяет проводить чемпионаты по обработке и анализу данных.
По итогам конкурса организации получают готовое к внедрению решение, а участники — денежные призы и предложения о работе.
Интервью с Сергеем Кузнецовым, владельцем продукта платформы .
Он рассказывает о ходе проекта и предстоящих соревнованиях.
Что такое DS Works и зачем он нужен? Как возникла идея проекта и как началась разработка?
DS Works — наша платформа для организации соревнований по науке о данных с возможностью обучения и вывода моделей на базе облачной платформы ML Space и ресурсов суперкомпьютера.Христофари и Кристофари Нео.
Мы планировали запустить аналог Каггл , но по мере разработки расширяли функционал и пришли к платформе, заточенной не только под исследовательские задачи, но больше под прикладные нужды бизнеса.
Результатом стала площадка для проведения чемпионатов по науке о данных для решения бизнес-задач.
Почему компаниям стоит проводить чемпионат в DS Works? А если им интересно, куда им идти?
Часто поиск решения бизнес-задачи начинается с тендера.Компании необходимо оценить и выбрать поставщиков и провести закупки.
Процесс не всегда прозрачен и эффективен, поскольку его результат сложно предсказать.
DS Works позволяет подойти к вопросу под другим углом.
Компания обращается к нам с проблемой, которую мы превращаем в задачу для дата-сайентистов и даем им возможность решить ее в формате чемпионата.
Участники чемпионата тренируют собственную модель машинного обучения, а бизнес выбирает лучшую.
По сути, компании получают готовые решения и команду, уже продемонстрировавшую высокий уровень компетентности в работе над поставленными задачами.
Компания может заключить срочный контракт с учеными по обработке данных для доработки и интеграции решения и даже пригласить их присоединиться к штату.
Что опять же сокращает время поиска профильных специалистов в этой области.
Оставить заявку на организацию чемпионата можно по адресу Веб-сайт .
Сколько будет стоить компании запуск чемпионата на DS Works?
Мы не берем денег за проведение чемпионата на площадке.Стоимость мероприятия зависит от размера призового фонда и количества необходимых вычислительных ресурсов Christofari и Christofari Neo, поскольку именно на этих суперкомпьютерах участники тренируют или тестируют свои модели.
К дополнительным затратам относятся затраты на привлечение внешних специалистов по обработке данных для проработки задач, если заказчик желает усилить пул наших специалистов.
Самостоятельная организация таких чемпионатов обойдется компании как минимум в два миллиона рублей, а зачастую потребует и более существенных затрат.
Как идет подготовка к чемпионату? Что самое сложное в этом процессе?
Сначала определяются задача и основные параметры конкурса.Их помогают подготовить три специалиста по данным SberCloud. Затем еще семь наших сотрудников готовят платформу на фронтенде, бэкенде и в сервисе для обработки решения и расчета метрик.
Также по каждому чемпионату нужно скачать данные, проверить базовое решение, установить лимит времени, настроить метрики качества и при необходимости внедрить их.
Самое сложное — ничего не упустить, держать в голове всю схему принятия решения по конкретному соревнованию.
Каким был ваш первый чемпионат?
Наш первый чемпионат назывался AI Journey Contest 2021. Он был приурочен к ежегодной конференции Путешествие ИИ 2021 , который состоялся 10–12 ноября.Он объединяет специалистов в области нейронных сетей, аналитиков данных и разработчиков.
Для участников конкурса предложенный три задачи, связанные с безопасностью людей и работой транспортной инфраструктуры.
Первый был связан с обучением мультимодальных и многозадачных моделей.
Ученые, работающие с данными, разработали нейронные сети, способные выполнять сразу четыре функции: а) идентифицировать объекты на фотографии, б) генерировать ответы на вопросы на основе изображения, в) распознавать рукописный текст на фотографии, г) переводить код с Java на Python. В этой номинации победил дата-сайентист Даниил Анастасьев.
Его модель показала лучшие итоговые метрики для четырёх подзадач.
Он также предложил лучшее решение для распознавания рукописного текста на изображении.
Вторая задача заключалась в разработке модели прогнозирования пожаров — проект курировало МЧС России.
В этой категории победила Анастасия Верещагина.
Ее модель была лучшей по скорости и размерам.
Специалисты МЧС планируют использовать свои выводы для предотвращения чрезвычайных ситуаций в регионах.
Третья задача также носила социально значимый характер и была направлена на создание безопасной среды для железнодорожного транспорта.
Команды разработали систему компьютерного зрения, которая распознает препятствия на путях и переездах.
Победителем стал специалист по данным Аммар Али.
Всего в AI Journey Contest 2021 приняли участие 800 человек.
Они загрузили на сайт DS Works около трёх тысяч решений.
Вы получили много решений от участников.
Как вы проверяете такое количество работ? Работу участников оценивает автоматическая система.
Он проверяет параметры качества загруженных моделей.
Метрики разные — например, точность и скорость распознавания объекта.
Таким образом, побеждает не только самое точное решение, но и самое быстрое, потребляющее меньше всего ресурсов.
На основе данных автоматической проверки мы создаем таблицу лидеров.
Он отражает результаты чемпионатов.
Какие чемпионаты планируются в ближайшее время?
Предстоящий чемпионат стартует 29 ноября .Задание ему подготовили специалисты СберМаркета.
Специалистам по данным необходимо построить модель, которая предсказывает, какие продукты пользователь закажет в следующем месяце.
Обучающий набор включает исторические данные о прошлых покупках.
Участники будут обучать нейронные сети с помощью инструментов анализа информации.
Победителем станет специалист по данным, который наиболее точно спрогнозирует категории продуктов, в том числе те, которые не представлены в обучающем наборе.
Срок принятия решений – 17 декабря, итоги будут подведены 20 декабря.
Кто может принять участие и как это сделать? Существуют ли какие-либо ограничения, пороги входа или другие условия?
Турнир проводится онлайн, и для участия необходимо: регистр на платформе ДС работает .Далее вам необходимо скачать предложенные наборы данных и ознакомиться с условиями задачи.
После этого вы можете приступить к обучению модели самостоятельно.
Готовую модель необходимо загрузить обратно на платформу для проверки.
Участвовать может любой желающий, как в составе команды, так и индивидуально.
Единственное требование – участники должны быть совершеннолетними.
За какой приз будут бороться участники?
Победитель получит один миллион рублей.
Что еще могут получить ученые, работающие с данными?
Помимо денежных призов, участники получают опыт для дальнейшего развития в выбранной сфере; Выдающиеся дата-сайентисты и программисты могут рассчитывать на предложения о сотрудничестве не только со стороны организаторов, но и партнеров.Также мы собираемся развивать сообщество специалистов по данным и планируем продвигать образовательную составляющую проекта — в ближайшее время добавим обучающие программы для развития карьерного пути наших участников.
Мы подготовим программы обучения как самостоятельно, так и совместно со сторонними экспертами.
Какие рекомендации вы можете дать потенциальным участникам чемпионата? Что им следует прочитать, какие области им следует освежить в памяти?
Скорее всего, наиболее ценными будут знания о современных подходах к проблемам конкретного типа.Вы можете прочитать научные статьи на тему соревнований.
А иногда действительно случается, что благодаря нишевым знаниям участники придумывают нестандартные решения и занимают высокие места в соревнованиях, но для победы это условие не является необходимым.
Расскажите о самых частых ошибках, которые допускают участники и как их избежать?
Чаще всего участники загружают файл с решением не в том формате, либо допускают ошибки в файле, либо неправильно собирают докер-образ.Наиболее распространенные ошибки описаны в Чат поддержки DS Works .
Там общаются менторы, представители организаторов и дата-сайентисты.
Они понимают специфику задач и метрик, охотно отвечают на вопросы и делятся опытом.
Дополнительное чтение по теме: в прошлый раз мы тебе это говорили происходящее за кулисами хакатона как выглядят будни наставника и наш подход к организации соревнований.
Теги: #Машинное обучение #Интервью #хакатон #Облачные вычисления #Хакатоны #Высокая производительность #sbercloud #ds работает
-
Apple Id Не Работает
19 Oct, 24 -
Программирование Для Ios. Для Профессионалов
19 Oct, 24 -
Тест Производительности Bind На Разных Ос
19 Oct, 24 -
И Два Терабайта Не Лишние!
19 Oct, 24 -
Становимся Реальностью, 2-Е Издание.
19 Oct, 24 -
Проект Spamhaus Умирает От Судебных Исков
19 Oct, 24
