За короткое время наша команда прошла путь от десятка сотрудников до целого отдела почти в 200 человек, и мы хотим поделиться некоторыми вехами этого пути.
Плюс мы поговорим о том, кому именно сейчас нужны большие данные и каков реальный порог входа.
Рецепт успеха в новой сфере
Работа с большими данными — относительно новая технологическая область, которая, как и все остальное, по мере своего развития проходит цикл зрелости.
С точки зрения конкретного специалиста работа в технологической сфере на каждом этапе этого цикла имеет свои преимущества и недостатки.
ЭШаг 1. Реализация На первом этапе это детище R&D-подразделений, которое пока не приносит реальной прибыли.
Плюс: в это вложено много денег.
Вместе с инвестициями растут и надежды на решение ранее недоступных проблем и возврат инвестиций.
Минусы: любая технология, какой бы перспективной она ни выглядела на старте, имеет свои ограничения: с ее помощью невозможно устранить все существующие проблемы.
Эти ограничения выявляются по мере того, как люди экспериментируют с новой идеей, что приводит к охлаждению интереса к технологии после так называемого «пика завышенных ожиданий».
ЭНажмите 2. Рост Настоящий взлет получит только та технология, которая преодолеет последующий бассейн разочарований за счет своих реальных возможностей, а не маркетингового шума.
Плюсы: на этом этапе технологии привлекают долгосрочные инвестиции: не только деньги, но и время специалистов на рынке труда.
Когда становится понятно, что это не просто хайп, а новый подход или даже сегмент рынка, специалистам пора интегрироваться в «тренд».
Это идеальный момент для освоения перспективных технологий с точки зрения карьерного взлета.
Минусы: на данном этапе технология еще плохо документирована.
ЭНажмите 3. Зрелость Зрелые технологии — настоящие «рабочие лошадки» рынка.
Плюсы: с возрастом растет объем накопленной документации, появляются тренинги и курсы, вникать в технологию становится легче.
Минусы: В то же время конкуренция на рынке труда также возрастает. ЭНажмите 4. Рецессия.
Стадия упадка (заката) наступает для всех технологий, хотя они продолжают работать.
Плюсы: к этому моменту технология уже полностью описана, границы ясны, доступно огромное количество документации и курсов.
Минусы: с точки зрения получения новых знаний и перспектив это уже не так привлекательно.
По сути, это уже сопровождение.
Стадия роста наиболее привлекательна для всех, кто хочет начать работать в новой технологической сфере: как для молодых специалистов, так и для уже состоявшихся профессионалов из смежных сегментов.
Развитие больших данных сейчас находится на этом этапе.
Завышенные ожидания остались позади.
Бизнес уже доказал, что на больших данных можно получать прибыль, а значит, впереди нас ждет плато производительности.
Этот момент предоставляет отличный шанс специалистам на рынке труда.
Наша история больших данных Внедрение технологии в любой отдельной компании по сути повторяет общий цикл взросления.
И наш опыт здесь вполне типичен.
Мы начали собирать команду по работе с большими данными в Х5 полтора года назад. Тогда это была всего лишь небольшая группа ключевых специалистов, а сейчас нас почти 200 человек.
Наши проектные команды прошли несколько этапов эволюции по мере того, как мы глубже понимаем роли и задачи.
В результате у нас есть свой формат команды.
Мы остановились на гибком подходе.
Основная идея в том, что у команды есть все компетенции для решения задачи, и как именно они распределяются между специалистами, уже не так важно.
Исходя из этого, состав командных ролей формировался постепенно, в том числе с учетом взросления техники.
И теперь у нас есть:
- Владелец продукта – имеет понимание предметной области, формулирует общую бизнес-идею и прогнозирует, как ее можно монетизировать.
- Бизнес-аналитик (бизнес-аналитик) – работает над этой задачей.
- Качество данных (специалист по качеству данных) — проверяет, можно ли использовать существующие данные для решения проблемы.
- Непосредственно Data Science/Data Analyst (данный ученый/аналитик данных) — строит математические модели (есть разные подтипы, в том числе работающие только с электронными таблицами).
- Менеджеры по тестированию (тестировщики).
- Разработчики (разработчики).
В нашем случае инфраструктура и данные используются всеми командами совместно, а в качестве сервисов для команд реализованы следующие роли:
- Инфраструктура (инфраструктура).
- ETL (группа загрузки данных).
Как мы пришли в команду мечты
Мечта не мечтой, но, как я уже говорил, состав команд изменился под влиянием зрелости аналитики больших данных и ее проникновения в повседневную жизнь Х5 и наших розничных сетей.
«Быстрый старт» - минимум ролей, максимальная скорость В первый состав вошли всего две роли:
- Владелец продукта предложил модель и дал рекомендации.
- Data Analyst – собирает статистику на основе существующих данных.
— Мы так думаем? — мы научились понимать бизнес и добиваться максимально полезных результатов Появились новые роли для взаимодействия с бизнесом:
- Бизнес-аналитик – описал требования к процессам.
- Качество данных – проверила целостность данных.
- В зависимости от задачи Data Analyst/Data Scientist анализировал статистику данных/выполнял модельные расчеты на локальной рабочей станции.
- Инфраструктура, на которой были подняты серверы HADOOP.
- Разработчики — реализовали интеграцию с внешними ИТ-системами, а на этом этапе сами протестировали пользовательские интерфейсы.
«Нагрузки продолжают расти» — появляются новые данные, для их обработки требуются новые мощности Эти изменения не могли не отразиться в команде:
- Инфраструктура разработала кластер HADOOP для удовлетворения растущих нагрузок.
- Команда ETL начала регулярную загрузку и обновление данных.
- Появилось функциональное тестирование.
Ключевые мысли о создании команд 1. Не факт, что всё бы получилось, если бы у нас изначально не было правильных специалистов, вокруг которых мы смогли построить команду.
Это скелет, на котором начали расти мышцы.
2. Рынок больших данных полностью зеленый, поэтому на каждую роль не хватает «готовых» специалистов.
Конечно, было бы очень удобно набрать целый дивизион сеньоров, но, очевидно, таких «звездных» команд много не построишь.
Мы решили не гоняться только за «готовыми» кадрами.
Как мы уже упоминали, придерживаясь agile, мы должны заботиться только о том, чтобы у команды в целом было достаточно компетенций для решения определенной задачи.
Другими словами, мы можем (и делаем) взять в одну команду профессионалов и новичков с определенной технической и математической подготовкой, чтобы они вместе сформировали набор компетенций, необходимых для достижения желаемых результатов.
3. Каждая из ролей предполагает понимание принципов работы с большими данными, однако требует своей глубины этого понимания.
Наибольшая вариативность наблюдается в ролях, имеющих прямые аналогии в классической разработке — тестировщики, аналитики и т. д. Для них есть как задачи, где принадлежность к большим данным почти не видна, так и задачи, в которые нужно погружаться чуть глубже.
Так или иначе, для начала карьеры зачастую достаточно определенного опыта, понимания IT, желания учиться и некоторых теоретических знаний об используемых инструментах (которые можно получить, читая статьи).
4. Практика показала, что несмотря на то, что технология известна и многие хотели бы ею заняться, не каждый специалист, которому подойдет начало карьеры в больших данных (и в глубине души хотел бы там работать) на самом деле пытается прийти сюда.
Многие хорошие кандидаты считают, что работа в командах по работе с большими данными — это исключительно наука о данных.
Что это радикальное изменение деятельности с высоким порогом входа.
Однако они недооценивают свои компетенции или просто не знают, что в больших данных востребованы люди разного профиля, и начать карьеру было бы проще на альтернативной должности – любой из перечисленных выше.
а.
На самом деле, чтобы начать работать в смешанном коллективе на многих должностях, не нужно узкоспециализированное образование в сфере больших данных.
б.
Мы активно расширяли команду, придерживаясь идеи построения смешанных структурных подразделений.
И самое интересное, что к нам на задачи пришли люди, никогда раньше не работавшие с большими данными, отлично прижились в компании, справляясь с задачами.
Они смогли освоить методы работы с большими данными за короткое время.
5. Даже не имея большого опыта, вы можете погрузиться глубже, изучить необходимые языки и инструменты, имея мотивацию расти в этом сегменте, чтобы решать более стратегические задачи в рамках проекта.
А накопленный опыт помогает перейти на те роли, которые требуют знания больших данных и понимания логики работы этой области.
Кстати, в этом смысле смешанная команда очень помогает ускорить разработку.
Как попасть в BigData?
В нашем случае взлетела идея сбалансированных команд специалистов разного уровня — группа уже реализовала не один внутренний проект. Мне кажется, что при дефиците готовых кадров и растущей потребности бизнеса в таких командах, к такому же сценарию придут и другие компании.Если вы серьезно хотите выбрать это направление, погрузитесь в Data Science — вам помогут Kaggle, ODS и другие специализированные ресурсы.
Более того, если вы не видите себя в ближайшем будущем в роли Data Scientist, но сама сфера вам интересна, вы все равно нужны в Big Data! Чтобы повысить свою ценность:
- обновить свои математические знания.
Решение обычных задач, связанных с большими данными, не требует докторской степени, но базовые знания высшей математики все же необходимы.
Понимая механизмы, лежащие в основе математической статистики, вам будет легче понять процессы;
- Выбирайте должности, наиболее близкие к вашей нынешней специальности.
Узнайте, с какими проблемами вы столкнетесь на этой должности (и в конкретной компании, в которую вы хотите пойти).
И если вы уже решали подобные задачи раньше, в резюме следует сделать на этом акцент;
- Инструменты, специфичные для выбранной роли, очень важны, даже если кажется, что они не имеют отношения к большим данным.
Например, при разработке нашего внутреннего решения выяснилось, что нам нужно много фронтенд-разработчиков, которые работают со сложными интерфейсами;
- Помните, что рынок активно развивается.
Некоторые создают и обучают команды внутри компании, другие рассчитывают найти готовых специалистов на рынке труда.
Если вы новичок, постарайтесь попасть в сильную команду, где у вас будет возможность получить дополнительные знания.
10-11 мая мы обсудим работу в #bigdatax5 со всеми на нашем стенде на ДатаФест .
Теги: #python #Карьера в ИТ-индустрии #карьера #Большие данные #java #наука о данных #большие данные
-
Как Убрать Прогары?
19 Oct, 24 -
Embedded World 2020. Русские Идут
19 Oct, 24 -
Вопрос К Нео
19 Oct, 24 -
Зона Java Вернулась
19 Oct, 24
