Метрики, KPI, SLA, DoD, OKR — числовых показателей продуктивности и эффективности команды много, но зачастую их недостаточно, чтобы понять, как на самом деле обстоят дела в команде.
Довольны ли люди тем, что они делают, гордятся ли они своим продуктом, хотят ли они идти в офис? Squad Health Check — это модель оценки здоровья команды, придуманная в Spotify, и сегодня мы расскажем, как мы в Яндекс.
Деньгах измеряем наше здоровье и что из этого получилось.
Как измерить здоровье команд?
Обычно менеджеры крупных компаний хотят получить представление о том, что происходит в командах разработчиков.Это необходимо для того, чтобы своевременно устранять системные проблемы, сосредоточить усилия на чем-то конкретном и направить команду на улучшение.
Поэтому такие компании много экспериментируют с разными способами измерения «температуры ядра».
А когда дело доходит до оценки того, как обстоят дела, ответы чаще всего сводятся к цифрам — KPI, метрикам или постановке целей на определенный период — на месяц, квартал, полгода.
Например, сколько задач было выполнено, сколько ушло в бэклог, сколько сохранено и так далее.
Проблема количественных оценок в том, что они не показывают, что находится в области «психологического комфорта» коллектива.
Вроде бы все задачи выполняются в срок, но через адский рефакторинг и значительное ухудшение качества кода.
Или не было ни одного факапа, но ПМ ввёл команду в жуткую депрессию.
Когда была разработана методология Scrum, появился хороший «инструмент», который назвали ретроспективой.
При ретроспективном подходе команда встречается и обсуждает, что прошло хорошо, а что плохо: по сути, это самооценка команды.
Каковы недостатки ретроспективы?
- Он имеет небольшой временной интервал: команда отвечает на вопрос «Что хорошего/плохого произошло во время спринтаЭ» - не все вещи видно с такого близкого расстояния.
- Во время ретроспектив многие предпочитают молчать и не говорить о негативных факторах.
Например, довольно сложно сказать менеджеру в лицо, что он, мягко говоря, неправильно вел себя во время спринта.
- И, наконец, ретроспектива зачастую сводится к формату «пришли, пообщались, ушли, повторили при следующей встрече».
Никакой аналитики и решения проблем.
Мы занимаемся этим процессом ровно год, поэтому пришло время поделиться своим опытом.
Далее несколько аппаратных и практических советов, которые помогут вам избежать наших ошибок.
Что такое проверка здоровья отряда?
Squad Health Check — модель оценки команды, позволяющая понять состояние дел в команде, или — в терминологии Spotify — здоровье команды, в формате общего собрания с голосованием по определенному набору показателей.
При таком подходе команда самостоятельно оценивает себя.
Когда мы проводим такие встречи, мы объясняем командам так: Проверка здоровья состава = Ретроспектива + Покер планирования
Базовые концепты
Как и любая другая модель, SHC имеет собственный терминологический словарь.Проверка здоровья — собственно, сама проверка здоровья отряда.
Мы сократили громкое имя до этого неологизма и уже привыкли к нему.
Индикатор — это вопрос, на который команда должна ответить.
Spotify предлагает 11 индикаторов, мы ограничились 10 индикаторами.
Я думаю, что больше 15 будет слишком много.
Семафор — это рейтинг, который должен быть присвоен отдельным участником.
В нашем случае это может быть красный, желтый или зеленый цвет. Динамика — как изменилось состояние показателя по сравнению с предыдущей проверкой работоспособности.
Если вы впервые проводите такую оценку, то предложите вспомнить ситуацию 3-4-месячной давности.
У нас есть три типа динамики: «лучше», «хуже», «без изменений».
Иногда предлагаются варианты: «непонятно», «все по кругу», «по синусоиде».
Это вопрос соглашения.
итоговая оценка - совокупность динамики и семафора всей команды, или иначе говоря, общее ощущение положения дел.
Эту оценку команда выбирает самостоятельно путем обсуждения.
Кстати, чтобы понять, проводилась ли в вашей компании проверка здоровья, стоит прислушаться к тому, какие слова люди используют в разговорах.
Если команда начнет говорить что-то вроде: «Ребята, мы в красной зоне по этому показателю», то, по крайней мере, SHC не вызвал отторжения в вашей компании.
А если завязывается оживленная дискуссия и обсуждение проблем идет полным ходом, то проверка здоровья работает.
Шаг №1: определить показатели
На сайте Spotify уже есть предложенный набор, мы над этим подумали, и наши индикаторы изначально выглядели так:- техническое качество,
- подходящие процессы,
- скорость,
- ответственность,
- помощь других,
- образование,
- командная работа,
- веселье,
- удобные функции и релизы,
- стоимость продукта,
- миссия.
Например, чья это миссия? Моя миссия как человека, разработчика или команды, компании? Были недопонимания и относительно других имен.
Поэтому через некоторое время мы уточнили некоторые из них, чтобы команда четко понимала, что они из себя представляют. Один показатель (обучение) мы исключили вообще, потому что люди всегда оценивали собственную подготовку и зачастую невозможно было прийти к общей оценке команды.
Результатом является такой список:
- техническое качество,
- командные процессы,
- пора торговать,
- пешки или игроки
- помощь других,
- командная работа,
- командная атмосфера,
- процессы разработки,
- стоимость продукта,
- командная миссия.
С одной стороны, идеальных вариантов у вас не получится с первого раза, и вопросы типа: «А как насчет пешекЭ» С другой стороны, если вопрос постоянно меняется, то как оценить динамику здоровья?
Шаг №2: устанавливаем значение семафоров
Зеленый цвет означает, что ситуация удовлетворительная, ничего особо менять не нужно.
Красный – катастрофа, ситуация однозначно требует перемен.
Желтый находится где-то посередине: ни хорошо, ни плохо (Spotify использует выражение «ага»).
Мы думаем, что игроки Magic: The Gathering уже узнали знакомые символы маны.
Да, все верно — за семафоры мы взяли привычные для них базовые земли, которые можно легко получить.
Magic: The Gathering Basic Lands 
Вы можете использовать любой другой вариант (например, обычные цветные карточки), но в нашем случае мы добавляем небольшой элемент веселья, настраивающий команду на нужный лад.
Кстати, если вы пойдете в ближайший клуб МТГ покупать земли, то не забудьте купить на них протекторы, иначе после пары проверок здоровья вам придется выбросить карты.
Как выглядит протектор? 
Шаг №3: опишите каждый семафор и индикатор
Структура слайдов нашей презентации о проверке здоровья выглядит следующим образом:- название индикатора,
- краткое описание/вопрос по индикатору,
- описание зеленого рейтинга,
- описание красного рейтинга.
Стоит придумать набор вопросов по каждому показателю, чтобы каждый член команды понимал показатель так же, как и все остальные.
Ниже на слайде мы показываем две крайние ситуации: обязательно зеленую и обязательно красную.
Мы решили не описывать желтый семафор: это среднее положение на шкале, когда сложно наклониться в красную или зеленую зону.
Например, сначала вопросы по индикатору «Командная работа» выглядели так: «Мы команда или нет? Слышим ли мы друг друга и помогаем ли мы? Может ли каждый из нас открыто выражать свое мнениеЭ» Потом мы поняли, что допустили ошибку — у индикатора было слишком много вопросов, поэтому люди часто бросали «желтые» карточки.
Большинство людей думают так: «Да, мы вроде бы команда.
Да, мы вроде бы слышим и помогаем друг другу, но у нас не принято открыто высказывать свое мнение, поэтому поставлю этому желтую оценку».
В результате мы значительно упростили этот подход и теперь попытаемся задать один конкретный вопрос.
В результате вопрос о команде превратился в: «Работаем ли мы как одна командаЭ» Семафоры были описаны соответственно.
Индикатор «Командная работа» 
Самым запутанным для команд оказался показатель «Ответственность».
Вопрос заключался в следующем: «Отвечаем ли мы за наши решения, за наши продукты и за наши услугиЭ» Дальше начался поток разъяснений: «За какие решения я должен нести ответственность? Я всегда несу ответственность за код, который пишу.
В чем вопросЭ» Оказалось, что в зеленом семафоре люди нашли отражение ответственности за собственные решения, а в красном они увидели совсем другую ситуацию: решение квартальных планов.
Показатель «Ответственность» 
Мы начали думать: что же мы действительно хотим знать? Мы видели, что в Spotify есть аналогичный индикатор под названием «Пешки или игроки».
Изначально мы отвергли эту формулировку, решив, что нужно решать серьезные вещи, но тут были одни пешки.
Однако оказалось, что мы имели в виду именно это, но не смогли четко сформулировать: «Чувствует ли команда, что она на что-то влияет или за нее все решает кто-то другойЭ» Индикатор «Пешки или игроки» 
Полный список индикаторов вы можете посмотреть Здесь — это минималистичная презентация, которую мы показываем на медицинских осмотрах.
Можно взять и использовать как есть, но наш опыт показал, что даже каждая команда имеет свою специфику и определения индикаторов и семафоров лучше настроить под свои нужды.
Шаг №4: найдите незаинтересованного человека
Помимо самой команды, на встрече должен присутствовать человек, который будет выступать в роли лидера и модератора дискуссии.Также желательно пригласить на встречу секретаря – это человека, который записывает все основные моменты (не на диктофон, а прямо на ноутбук).
Чтобы добиться максимально честных ответов, ведущий и секретарь должны быть относительно бескорыстны.
Представьте, что вы приходите всей командой на встречу, и директор по ИТ или HR спрашивает вас: «Мы команда или нетЭ» И команде сразу захочется ответить так, как правильно, а не так, как они на самом деле думают. Когда все необходимые условия были найдены, мы решили попробовать.
Подробнее о том, как на самом деле происходят встречи в Яндекс.
Деньгах, читайте здесь.
Шаг №5: проведите собрание и соберите результаты
Стоит встретиться лично.Да, это заявление в духе капитана очевидности, но на этапе подготовки к проверке здоровья были предложения создать бота для голосования или использовать анкеты.
Совет: просто не делайте этого.
Для проведения встречи мы выбираем комфортабельные переговорные комнаты, где всегда есть телевизор или проектор (для слайдов), а также маркерная доска или флипчарт (для записи результатов).
Также мы не советуем участникам брать с собой ноутбуки.
Мы используем один ноутбук только для отображения презентации с индикаторами и семафорами.
Как проводится оценка? Показаны индикатор и описанные семафоры, ведущий спрашивает: «Все понятноЭ» — затем происходит голосование.
Слепо.
Это необходимо для нейтрализации эффекта толпы или эффекта ореола.
Затем карты «раскрываются» и команда приступает к обсуждению.
В это время секретарю следует записать основные замечания участников проверки здоровья.
Без комментариев иногда сложно понять, почему команда поставила шесть зеленых оценок, а итоговая вдруг оказалась желтой.
В результате на маркерной доске:
- записывается количество карточек каждого цвета,
- обведен итоговый счет – команда общим голосованием решает, какой цвет выбрать в качестве итогового счета,
- а результаты динамики записываются в отдельный столбец.
Если внимательно посмотреть на картинку выше, то видно, что хоть команда и находится в желтой зоне (большая часть обведена), динамика идет вверх – это настраивает на оптимистичный настрой.
Шаг №6: анализируем данные
После первой серии встреч с командами может накопиться немало таких фотографий:
Потом все это оцифровываем в наш слияние:
В результате заносим результаты по всем командам в сводную таблицу:
После этого шага есть важный момент. В общем, вся проверка здоровья отряда — это внутренняя оценка команды.
Нет необходимости говорить, что у некоторых команд что-то лучше, а что-то хуже.
Мы смотрим на то, как идут дела, а не ругаемся за результаты.
Если команда дает красную оценку — отлично, это означает, что команда осознает, что у нее есть проблемы.
Что с этим делать дальше?
По нашим показателям все проблемы можно разделить на 4 типа:
Если ребята говорят, что у них проблемы с пониманием, какой продукт они делают, какова цель существования команды, значит, у нас проблема в продуктовой сфере.
В этом случае вам следует пообщаться с продакт-менеджерами, показать им, что команда не понимает своей цели.
Если проблема в показателях «командная работа» или «атмосфера», то, возможно, нужно попробовать изменить состав команды.
Идите в HR и говорите так: «У нас проблемы, люди не хотят идти на работу»… Бывает, что люди не ладят, и это нормально.
Если команда сигнализирует, что у них много легаси, какие-то старые процессы, это тоже сигнал бизнесу, что стоит немного остановить команду в фичах продукта и дать им время заняться рефакторингом.
После проверки работоспособности оптимально пригласить команду на встречу и провести ретроспективу по проблемным вопросам.
Дайте детям возможность попробовать что-то изменить сами.
Несколько практических советов
Некоторые вещи не всегда очевидны, и мы осознали их только со временем.Делимся с вами нашей работой над ошибками:
- Не делайте слишком много индикаторов.
Десять – оптимальное число.
Если вы можете сократить количество повторений до семи, сделайте семь.
Больше 12 – это уже слишком много.
- Позвоните секретарю.
Вызовите человека, который будет записывать происходящее.
Например, пишем в чат и спрашиваем: «Ребята, кто хочет записатьЭ» Внезапное открытие: многим людям нравится наблюдать за тем, как поживает команда, быть сторонним наблюдателем.
- Оптимальное время: 1,5-2 часа.
Меньшего явно недостаточно.
А если оно окажется больше двух часов, то обязательно сделайте небольшой перерыв.
После пятого индикатора делаю перерыв на кофе.
- Встречайтесь минимум раз в полгода.
В противном случае вытечет много воды, и сравнить показания будет очень сложно.
Раз в месяц - часто.
Раз в году команда может успеть забыть то, что произошло 12 месяцев назад.
- Один показатель – один вопрос.
Или два, но очень сильно связанных друг с другом.
Не пытайтесь поместить в один индикатор множество вопросов; оставь самое важное.
- Красные оценки – это нормально.
Нет необходимости устанавливать KPI, чтобы не было красных меток.
Повторяю, это самооценка команды.
Это то, что чувствуют сами люди.
А если их потом наказать, то в следующий раз они все поставят зеленым.
И что с этим делать?
Что делать?
- Для начала нужно отобрать людей, соответствующих критерию незаинтересованности.
- Научите их всему вышеперечисленному :) На нескольких проверках здоровья они могут выступать в роли секретарей и записывать комментарии.
- А потом пусть они проведут первые медицинские осмотры, а секретарем будешь ты.
Таким образом, вы увидите, что все идет хорошо.
Вместо вывода
Проверка здоровья отряда на самом деле очень простая вещь.Эта модель не требует ничего особенного, кроме того, что нужно добыть базовые земли MTG :) Поэтому еще раз исправим алгоритм:
- Дайте определение индикаторам.
- Иметь встречу.
- Соберите результаты.
- Проанализируйте данные.
-
Пример Преимуществ Эпоса
19 Oct, 24 -
Рит-2007 / Открытие Регистрации
19 Oct, 24 -
Коммерческий Космодром
19 Oct, 24
