Как Мы Измеряем Качество И Эффективность Разработки Документации. Предыстория И Основы. Отчет Яндекса

Рассказывает Светлана Каюшина, руководитель отдела документации и локализации.

Наш отдел документации прошел несколько этапов развития.

Сначала был технический писатель, выполнявший задачи для отдельного заказчика.

Тогда была сформирована группа технических писателей, которая решала ограниченный набор задач.

Теперь у нас есть большой производственный отдел – он полностью обеспечивает потребности компании в документации.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

На каждом этапе менялись требования к работе отдела и появлялись новые метрики измерения качества документации и сервиса по оказанию документальных услуг.

Метрики помогают нам улучшать продукт, процессы и качество, а также своевременно информировать нас о сбоях.



Первые метрики

Яндексу нужен был первый технический писатель, который документировал бы технологию, которую использовали почти все разработчики.

Информация о ней передавалась друг другу устно, поэтому часть ее неизбежно терялась или искажалась.

Документация была написана, клиенты остались довольны, поэтому мы решили изучить другие направления.

Мы начали с описания критически важных для бизнеса сервисов: ими пользуются многие сотрудники компании.

На начальном этапе заказчики поставили перед нами задачу документировать технологию.

Единственным показателем было наличие документации: она либо написана, либо нет. Когда технический писатель был один, качество оценивал сам заказчик.

Когда авторов стало больше, к клиентам присоединились сервисные консультанты, и мы проверили качество документации внутри отдела.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

Поток задач постоянно увеличивался, поэтому возникла проблема с сохранением единого уровня качества.

«Экспертная оценка достаточно субъективна, и мы хотели, чтобы она была независимой.

Кроме того, заказчики приходили с задачами разной сложности: например, запись информации, которую знал один человек, или описание сложной технологии разработки наших внешних продуктов.

Все это создавало определенные проблемы, поэтому нам нужна была система приоритизации задач и оценки качества документации.



Метрики внутренней документации

Мы начали собирать отзывы внутренних заказчиков и читателей, которые использовали документацию для решения своих задач.

Например, заказчик может рассказать нам, что он перестал консультироваться с коллегами по 10 часов в неделю и теперь более продуктивно выполняет свою основную работу.

Мы спросили читателей, насколько хорошо документация помогает им решать проблемы.

Мы отслеживали трафик: сколько пользователей обращаются к документам в неделю.

Если оно больше определенного числа, то документ стоит поддержать.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

Этот метод требовал значительных затрат и прямого доступа к заказчику.

В условиях массового использования документации она оказалась слишком дорогой и малоприменимой.

Поэтому, когда мы перешли к разработке документации для внешних пользователей, возникли проблемы.

Аудитория росла, прямого доступа к ней у нас не было.

Мы мониторили отзывы в социальных сетях и запросы в техподдержку, но этого было недостаточно.

Нам пришлось строить гипотезы о том, кто наш пользователь, чтобы наилучшим образом удовлетворить его потребности.

Для оценки поведения пользователей и эффективности продукта мы использовали Яндекс.

Метрику.



Разработка системы метрик внешней документации



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

Бизнес-цели остались практически неизменными, но появилось новое условие: нам нужно было успеть подготовить документацию к официальному релизу.

Теперь нам нужно было уложиться в сроки.

Мы продолжили использовать те же метрики, но добавили трафик и сбои службы документации.

Мы отслеживали их как по сервису в целом, так и по отдельным документам.

Технические писатели использовали дополнительные данные для улучшения качества документации:

  • анализ поведения пользователей на сервисе,
  • тепловая карта кликов,
  • вебвизор,
  • оценка поисковых запросов и т.д.
Потом мы перешли на стадию массового производства и стали службой, оказывающей услуги по документированию.



Метрики для массового производства документации

На этом этапе у заказчиков и руководства возникли новые требования к отделу документации.

Заказчиков интересовали сроки и оценка трудоемкости задач.

Например, спросили, почему на написание документа у нас ушло две недели, а не два дня.

При этом от нас ожидали высокого качества.

Руководство было заинтересовано в обосновании затрат. Чтобы принять человека в отдел, нам нужно было это обосновать.

Например, мы могли бы показать измеримую пользу документа, если он решает проблемы не пары пользователей, а нескольких тысяч, и снижает нагрузку на техподдержку.

Наших статистических показателей уже было недостаточно, чтобы ответить на эти вопросы.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

В массовом производстве перед нами стоит несколько основных задач:

  1. документальные технологии,
  2. приходить вовремя к релизам,
  3. обеспечить высокий уровень качества.

Это требует комплексного подхода ко всему, что мы делаем.

Кроме того, мы как сервис должны оценивать качество своих услуг.

Нам необходимо понять удовлетворенность пользователей и преимущества высококачественной документации.

Для разработки новой системы оценивания мы провели исследование и проанализировали большое количество источников: всего мы нашли 136 метрик.

Помимо того, что их слишком много, не все из них легко измерить и не все они нужны.

Поэтому мы выбрали метрики, подходящие для наших условий.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

Нас интересовали следующие аспекты оценки:

  1. Метрики проекта и бизнеса — это показатели эффективности качества сервиса в целом.

    Они нужны для повышения удовлетворенности клиентов и прогнозирования ресурсов отдела для выполнения всех задач.

  2. Метрики для оценки качества документа для повышения удовлетворенности пользователей.

При выборе метрики мы учитывали сложность и стоимость расчета метрики.

Нам также важно, чтобы суть и расчет метрик были понятны людям, не погруженным в нюансы нашего производственного процесса.

В результате из 136 метрик мы выбрали 20, а затем разделили их на четыре группы.

Мы отображаем данные метрик на дашбордах, которые доступны любому сотруднику компании.



Как мы измеряем качество и эффективность разработки документации.
</p><p>
 Предыстория и основы.
</p><p>
 отчет яндекса

В следующей части статьи мы более подробно поговорим о метриках разработки и сопровождения документации и о том, как мы их рассчитываем.

Подписывайтесь на новые комментарии — мы обязательно расскажем о выходе следующей части отчета.

Теги: #Разработка мобильных приложений #программирование #Управление разработкой #Разработка веб-сайтов #Яндекс #документация #Отчет Яндекса #Отчет Яндекса

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2019-12-10 15:07:06
Баллов опыта: 0
Всего постов на сайте: 0
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.