Я только что вспомнил старую дискуссию в Твиттере об измерении производительности тестов и о том, какие действия следует предпринять, если тесты больше не имеют ценности.
Вот мое мнение.
Автоматизация — важная часть стратегии тестирования.
Однако это не то, что реализуется один раз и потом работает вечно.
По мере развития вашего приложения ваши автоматические тесты должны развиваться вместе с ним.
Автоматизация тестирования против приложения
К любому серьёзному проекту автоматизации следует относиться как к любому другому проекту: его необходимо рефакторить, расширять, обновлять или даже портировать на другой фреймворк.В ходе этих процессов тестовые сценарии (и их реализация) необходимо регулярно пересматривать.
Практики, которые применяются к основному приложению, следует применить и к проекту с помощью автоматизированных тестов: обзоров кода, планирования и ретроспектив.
Проверка эффективности тестов
Тесты могут быть более или менее эффективными в зависимости от нескольких факторов:- Насколько воспроизводимы результаты испытаний?
- Сколько времени занимают тесты?
- Сколько времени занимает поддержка тестов?
- Насколько понятны результаты выполнения тестов?
- Насколько надежны тесты?
- Насколько ценна обратная связь?
Что это значит для ваших тестов?
Построение процесса
Важно выстроить процесс работы с автоматическими тестами, требующими поддержки, и особенно с нестабильными (flaky) тестами.Если сразу не уделить достаточно внимания автоматизированным тестам, доверие к ним упадет, и в конечном итоге неудачные тесты будут полностью проигнорированы.
Обычно мы делаем это так: 
Это не полный процесс, я просто хотел показать здесь основную идею.
Отпусти, отпусти.
Если тест несколько раз проваливается, и его исправление может занять длительное время, его обычно проверяют по схеме, указанной выше.
Это необходимо делать регулярно, чтобы автотесты оставались быстрыми, актуальными, отзывчивыми и содержательными.
Теги: #qa #тестирование #Тестирование веб-сервисов #Тестирование мобильных приложений #Тестирование ИТ-систем #Тестирование игр #автоматизация #автоматизация #ненадежные тесты #Ненадежные тесты
-
Новая Серия Ноутбуков Toshiba Satellite T100
19 Oct, 24 -
Леви-Брюль, Люсьен
19 Oct, 24 -
Интерактивность Без Гаджетов
19 Oct, 24 -
Флекс3. Гнездовые Соединения Часть 1
19 Oct, 24 -
Мысли О Блогах На Хабре
19 Oct, 24
