В декабре «Контур» провел ежегодную городскую тестовую сессию Екатеринбурга.
На этот раз 38 тестировщиков потратили 5 часов на поиск ошибок в новом мобильном приложении.
Игорь Борисихин, специалист по тестированию и организатор мероприятия, поделился опытом, рассказал, что нового придумал «Контур» для тестовой сессии и как попасть на мероприятие в этом году.
Что такое тестовая сессия
Тестовая сессия — это соревнование для начинающих и продвинутых тестировщиков, а также людей, увлеченных тестированием, похожее на мастер-класс или воркшоп с разработчиками.На тестовой сессии вы можете познакомиться с коллегами из других компаний, проверить силу нового продукта и узнать, кто лучше находит ошибки.
Тестовые сессии – традиционное событие для Екатеринбурга.
О том, как прошла последняя четвертая общегородская тестовая сессия, можно узнать в Екатеринбургское сообщество тестировщиков - UTC .
О формате
Классический формат тестового сеанса предполагает тестирование веб-сервиса.У участника есть продуктовая аналитика.
На поиск ошибок есть N часов.
В конце жюри решает, кто сколько ошибок нашел.
Призы лучшим.
Контур добавил к классическому формату тестовой сессии: Мобильное приложение.
Продуктом для тестирования стало мобильное приложение «Контур.
Конференция» для проведения внешних и внутренних конференций.
Подробнее о приложении Контур.
Конференция можно прочитать в маркетах: Гугл игры , Магазин приложений .
Вот как это работает: MindMap вместо аналитики.
Мы не нагружали участников тоннами скучной аналитики по приложению; вместо этого у каждой команды была карта с особенностями ее работы и свободное поле для исследований.
Для карты мы использовали программу XMind .
Образование.
Согласно формату тестовой сессии, в процессе поиска ошибок участники изучали новые методы и приемы тестирования мобильных приложений.
Подробнее о пунктах 2 и 3 чуть дальше.
Об участниках
На тестовую сессию собрались 38 тестировщиков из разных компаний в Екатеринбурге: iRidium mobile, Ridero, Motorsport.com, Уральские авиалинии, Точка, Адванта, Mercata, Xtream Pro, Studio Flag, BD Cube, ITM Holding, Digital Spectr, SkyDNS, Naumen и Схема.
Тестирование на основе опыта
Вместо того, чтобы нагружать тестировщиков аналитикой, мы предложили другой способ знакомства с приложением — тестирование на основе опыта.Тестирование на основе опыта – эвристическое исследование в открытом многомерном пространстве.
Проще говоря, изучите приложение и сделайте выводы, корректно оно работает или нет. Каждый участник тестовой сессии уже бывал на конференциях, поэтому предметная область приложения ему знакома.
Тестирование на основе опыта основано на трех методах:
- Угадывание ошибок - угадайте ошибку и проверьте, что ее нет в приложении.
- Тестирование на основе контрольных списков — придумывайте проверки верхнего уровня для приложения, а также генерируйте и проверяйте конкретные тестовые примеры во время тестирования.
- Исследовательское тестирование — это сравнение ожидаемых и полученных результатов поведения приложения на основе собственного опыта.
Чтобы предложить направления исследований новичкам и поделиться опытом и конкретными кейсами с опытными тестировщиками, в ходе тестовой сессии мы рассказали участникам об эвристике мобильного тестирования.
Принципы мобильного тестирования — это набор методов исследования, способствующих открытию ранее неизвестного.
О парном тестировании
В ходе сессии участники тестировались парами.Было сформировано 19 команд. Команды были объединены и сбалансированы по следующим критериям: Опыт тестирования.
Новичкам комфортнее общаться с новичками.
Опытный с опытным.
Если новичок работает в паре с очень опытным и закаленным тестировщиком, то в большинстве случаев опытный доминирует и не дает раскрыться идеям начинающего коллеги.
Если у участников опыт более 4 лет, например 5 и 10 лет, то их смело можно объединять в 1 команду.
Опыт тестирования мобильных приложений.
Тестовая сессия — открытое мероприятие для тестировщиков любой специализации, поэтому хорошо, если в одну команду входят тестировщики, которые занимаются не только мобильным тестированием.
Устройства.
На тестовую сессию люди приходили со своими гаджетами.
Мы старались иметь в команде как iOS, так и Android-устройства.
Разнообразие общения.
Мы за общение! Коллеги из одной компании не могут быть в одной команде.
Парное тестирование помогает сосредоточиться на задаче и помогает одному тестировщику продолжать работу, пока другой отдыхает. Пара поощряет каждого тестировщика объяснять и реализовывать идеи.
Когда тестировщик объясняет свои мысли другому, сам процесс формулирования порождает новые идеи и кейсы.
Парное тестирование — отличный способ улучшить свои коммуникативные навыки и научиться эффективно взаимодействовать с коллегой.
Для кого-то это был первый опыт парного тестирования, для кого-то нет. Мы надеемся, что участники захотят применить этот метод в своей работе.
О трекере ошибок
Система отслеживания ошибок была традиционной для Contour Youtrack. Многие тестировщики работали с Youtrack впервые, поэтому мы подготовили короткую видеоинструкцию о том, как работать с системой и как создавать ошибки.
О системе рейтинга ошибок
По плану победили 5 команд, набравших наибольшее количество очков.Приведем пример рейтинговой системы.
В трекере ошибок можно было создать две сущности.
Задача — предложения по улучшению производительности системы.
Задания оценивались в 1 балл.
Баг – это дефект продукта.
У ошибок были разные приоритеты: сбой, серьезный, незначительный.
К ошибкам с приоритетом крушение включалась бесконечная загрузка, зависание, потеря данных (введенные или редактируемые данные не сохраняются), блокировка основных функций устройства.
Такие ошибки стоили 20 баллов.
К главный К ним относятся неработающие кнопки или ссылки, нередактируемые поля, неожиданные результаты выполнения, кривая раскладка (мешающая работе), а также нарушения безопасности данных.
Такие ошибки оценивались в 10 баллов.
К незначительный К ним относятся опечатки, кривая верстка (не мешающая работе), некорректная анимация, неинформативные всплывающие подсказки и проблема с нестабильным воспроизведением.
Такие ошибки оценивались в 5 баллов.
О сленге
Участники получили сленговые особенности для грамотного сообщения об ошибках в мобильных приложениях.Небольшой пример: Кран - короткое касание сенсорного экрана и затем отстранение.
Двойное нажатие - два коротких касания пальца, сродни двойному щелчку.
Трогать - касание дольше, чем Tap. Нажмите и удерживайте - коснитесь и удерживайте.
Touch длиннее Touch. Проведите (Слайд) — длительное скольжение пальца по экрану.
Тост — всплывающее сообщение на поверхности окна приложения.
Тогл — переключатель состояний.
Заголовок — заголовок заголовка экрана.
Состояние — состояние, ориентация устройства (книжная или альбомная).
Теперь вы также помните, чем нажатие отличается от пролистывания, переключение от всплывающего уведомления и заголовок от состояния.
О призах
По итогам тестовой сессии мы выбрали 5 команд-победителей, набравших наибольшее количество очков.
На трассе часто проводятся соревнования по спортивному программированию, поэтому мы выбрали проверенную схему и раздаем призы, как на ACM ICPC. На общей таблице с призами первой выбирает призы команда, набравшая наибольшее количество очков, второй выбирает команда, набравшая второе место по баллу, и т. д. 
Кто лучший тестер?
Пока жюри подводило итоги, участники могли пообщаться с коллегами, съесть пиццу, совершить экскурсию по офису или провести время в игровой зоне: поиграть в телефонный дартс, 100 к 1 для тестеров, консолей, кикера.
Всего участники сделали 446 отчетов, из которых 349 — об ошибках и 97 — о задачах.
Жюри приняло 278 и отклонило 140 докладов.
Ошибки, которые не были четко описаны, не могли быть воспроизведены или повторялись внутри одной команды, отклонялись.
Из принятых отчетов 215 оказались багами.
Из них 118 ошибок имеют второстепенный приоритет, 80 — основной приоритет и 17 — приоритет сбоя.
Подчеркну, это статистика по всем командам.
В отчетах 215 есть много ошибок, которые повторяются между командами или зависят от устройства.
Таким образом, количество уникальных проблем, перекочевавших в баг-трекер команды, разрабатывающей приложение, составило 23. Все фотографии с тестовой сессии можно посмотреть Здесь .
ТестХакатонВызов
Мы попробовали новую тему.И мы провели тестовую сессию по мобильным приложениям.
Ребятам понравилось, поэтому продолжим и в 2018 году, но добавим что-то новенькое.
Следующая тестовая сессия состоится в конце года, анонс появится в нашем блоге — не пропустите! Теги: #тестирование #обучение #тестовая сессия #циклическое тестирование #тестирование ИТ-систем #Тестирование веб-сервисов #Тестирование мобильных приложений
-
Карманный Офис Vnc Pro
19 Oct, 24 -
Статья «Маркетинг Для Успеха В Бизнесе»
19 Oct, 24 -
Миллс, Чарльз Райт
19 Oct, 24 -
Программирование На Python
19 Oct, 24 -
Первые Виртуальные Банки Начали Свою Работу
19 Oct, 24
