Введение Третья часть обзора будет посвящена сервису Убертестеры ( первая часть обзора , вторая часть обзора ).
Это достаточно «молодой» сервис, имеющий амбиции войти в список лидеров (это будет непросто, учитывая недавние приобретения конкурентов крупнейшими игроками ИТ).
Большим отличием и преимуществом Ubertesters является возможность привлечения на платной основе.
внешние тестеры (любой также может зарегистрироваться как тестер и получайте оплату за свою работу).
Отдельно хотелось бы отметить, что Ubertesters оказалась единственной компанией из обзора, которая следила за своими публикациями, предоставляла дополнительную информацию и делилась планами по обновлению сервиса с целью улучшения качества обзора.
Система рейтингов: услуги оцениваются по 10-балльной шкале по каждому разделу (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Непрерывная интеграция).
Сумма баллов определит победителя (окончательное заключение будет включено в последнюю часть обзора).
Убертестеры
Регистрация и интеграция
Регистрация в сервисе проста; помимо платных вариантов подписки, есть возможность бесплатно использовать основной функционал с ограничениями на дополнительные функции и количество участников команды, проектов и так далее( подробнее ).
Любопытство: после регистрации проверьте свой профиль - в моем случае страна была указана правильно, но первым из списка был выбран субъект федерации и им оказалась Республика Адыгея!
Интеграция с SDK проста ( http://ubertesters.com/download-sdk/ ): 
Оценка: 7/10.
Основной функционал
Примечание (обновлено 15 июня 2015): говоря о распространении приложений для iOS, необходимо помнить, что на данный момент все сервисы, кроме TestFlight от Apple, все равно должны учитывать ограничение на количество доступных устройств при использовании AdHoc-положения.профили.
Поэтому максимальное количество используемых устройств — 100 на одно семейство устройств (это условие было изменено 8 июня 2015 года, после объявления на WWDC об объединении всех программ разработчиков в одну), куда также входят устройства, используемые непосредственно разработчиками.
Самым большим ограничением является то, что список зарегистрированных устройств можно «обнулить» только один раз в год, после продления подписки на Программу разработчиков iOS (в будущем это условие может быть изменено).
Сразу после прохождения процедуры регистрации пользователь имеет возможность выбрать один из четырех вариантов дальнейших действий: 
После выбора первого варианта - Начать новый проект — будет предоставлено краткое описание предстоящих шагов: 
Примечание: окно, которое выглядит как пошаговый мастер, на самом деле носит лишь информативный характер и после выполнения первого шага пользователь попадает на обычную страницу (без указания текущего прогресса), где у него есть возможность выбрать один из двух предложенных вариантов (или воспользоваться другими функциями сайта через меню навигации): 
Еще одно замечание по поводу второго варианта — Пригласить участников в команду — его значок может предполагать использование социальных сетей как инструмента для привлечения участников команды, но на самом деле отправка приглашений осуществляется по электронной почте.
При создании нового проекта на первом этапе проще всего использовать функцию автозаполнения при загрузке дистрибутива приложения: 
Немного неудобно, на мой взгляд, то, что скачанный дистрибутив не используется сервисом по прямому назначению, так как следующим шагом предлагается отдельно скачать дистрибутив для первой ревизии приложения (ревизия - термин, используемый сервисом для обозначьте версии/сборки).
Страница Обзор содержит основную информацию о проекте, а также сводную статистику: 
Примечание: уведомления в системе по умолчанию установлены в режим Смотрю для пользователей с ролью Админ или Менеджер И Не смотрю для пользователей с ролью контроль качества или Разработчик , что предполагает уведомление только о тех событиях, в которых они участвуют. Режим все еще доступен Игнорирование , когда система вообще не будет отправлять никаких уведомлений: 
Более подробное описание вышеперечисленных режимов можно найти на странице Часто задаваемые вопросы «Что такое статус уведомления? В каком случае меня уведомятЭ»
При добавлении новой ревизии первым делом необходимо загрузить дистрибутив приложения (*.
ipa): 
Следующим шагом является установка базовой информации о версии: 
После скачивания ревизия неактивна, то есть недоступна для установки на тестовые устройства.
Для начала тестирования необходимо нажать кнопку Начинать : 
И на следующем экране укажите, кто из членов команды будет иметь доступ к этой ревизии (возможно отправить уведомление всем участникам): 
После этого ревизия получает статус В ходе выполнения и может быть установлен на устройствах.
Примечание: если в проекте есть группа пользователей по умолчанию, то члены команды, входящие в нее, будут выбраны сразу (положение переключателя в первом столбце — Включено); если такой группы нет, то пользователей нужно будет выбирать вручную.
Доступ к каждой ревизии может быть прекращен как для всех, так и для некоторых пользователей, что позволяет эффективно решать организационные вопросы, возникающие в ходе работы над проектом.
Также при инициализации Ubertesters можно разрешить доступ к приложению, но отключить возможность использования функционала сервиса: UbertestersLockingModeDisableUbertesters.
Февральское обновление сервиса ( подробнее ) добавили, помимо прочего, возможность редактировать описание ревизии: 
Приглашения в команду, как я уже говорил, рассылаются по электронной почте (Администрирование – Команда – Добавить участников), и эту задачу можно упростить, воспользовавшись функцией импорта из CSV-файла: 
Пользователям можно назначить одну из трёх ролей, а также добавить в группы (используются для распространения приложения ограниченному числу пользователей).
Примечание.
В целом роли внутри сервиса иерархически распределены следующим образом: на уровне организации есть две роли.
Админ И Член , на уровне проекта Член Может быть контроль качества , Разработчик И Менеджер .
Важный нюанс: первую ревизию в каждом проекте должен загружать пользователь с ролью Админ или Менеджер .
Дальнейшие версии могут быть загружены любым членом команды (в том числе контроль качества ).
Сервис разработан таким образом, чтобы учесть все возможные варианты построения бизнес-процессов в конкретной компании.
Более подробное описание ролей можно найти на странице Часто задаваемые вопросы .
При регистрации нового устройства на него устанавливаются два приложения: одно родное (значок на белом фоне), другое веб (значок на черном фоне).
Весь основной функционал находится в нативном приложении, поэтому веб-приложение можно удалить после регистрации устройства, чтобы избежать путаницы в будущем: 
Примечание: в нативном приложении нет возможности обновить содержимое открытой вкладки; вам придется переключаться между вкладками, чтобы увидеть новые данные (новую ревизию приложения, новое приложение для тестирования и т. д.).
Добавить новое устройство для тестирования можно несколькими способами: 
Оценка: 8/10.
Дополнительный функционал
Еще раз подчеркну, что при тестировании программного обеспечения очень важно получить максимально полную и достоверную информацию.К сожалению, на данный момент Ubertesters не имеет функционала символизации отчетов о сбоях (в этом он проигрывает по сравнению с другими сервисами), но у него есть другой, зачастую более полезный функционал: возможность создавать тикеты непосредственно из тестируемого приложения, а также предоставить им скриншоты.
Данный функционал доступен пользователю после нажатия круглой кнопки, которая по умолчанию расположена в правом верхнем углу экрана, но может свободно перемещаться в любое другое удобное место: 
Система отслеживания ошибок в сервисе, возможно, не является полной альтернативой специализированным сервисам, но в сочетании с возможностью сопровождать каждый тикет скриншотами прекрасно справляется со своими задачами: 
Каждый скриншот может сопровождаться пометками (среди инструментов редактирования: карандаш, маркер, текстовые метки, стрелки и возможность вырезать часть скриншота).
Сделанные снимки экрана остаются на устройстве и могут быть использованы повторно.
Также есть возможность добавлять скриншоты из стандартной фотобиблиотеки устройства.
Примечание: электронное письмо, уведомляющее вас о новом билете, не содержит информации о том, были ли загружены скриншоты во время создания.
На мой взгляд, было бы удобно иметь такие данные, хотя бы количество прикрепленных скриншотов.
На сайте сервиса информация по всем билетам представлена очень наглядно; просмотреть общую статистику можно как по отдельной ревизии, так и по всем ревизиям в целом: 
Помимо статистики статусов, информация также представлена по типу (Ошибка, Функция, Улучшение, Задача, Сбой), приоритету и частоте воспроизведения ошибок.
Важным преимуществом является то, что каждый тикет привязан к конкретной ревизии, что упрощает работу тестировщиков с отзывами и повышает ценность собранной информации.
Примечание: если в каком-то случае символизация отчетов о сбоях играет критическую роль, то можно использовать SDK другого сервиса, а после инициализации Ubertesters SDK необходимо отключить обработку сбоев: [[Ubertesters поделились] DisableCrashHandler]; Важный! В этом случае информация о сбое не будет опубликована на веб-сайте Ubertesters. В сервисе предусмотрена возможность интеграции с внешними трекерами (Jira, Mantis, Redmine, YouTrack, Unfuddle, HPQC).
Интеграция может осуществляться только с одним из доступных сервисов одновременно.
Интерфейс управления данным функционалом находится в разделе «Администрирование» — «Отслеживание ошибок» (настройки производятся для каждого проекта индивидуально).
Пример билета, связанного с JIRA: 
Работу тестировщиков можно более организовать при использовании функционала «Тесты».
В специальном разделе сервиса вы можете просмотреть статистику по существующим тестам, а также создать новые: 
Примечание.
Поле ID предназначено для уникального идентификатора.
Оно может быть числовым или строковым.
Добавление новых тестов также возможно путем импорта файлов XLSX: 
На тестовом устройстве пользователь имеет возможность просмотреть список доступных тестов, выбрать один из них, провести тестирование и сообщить о результате: 
Примечание: если тест не пройден, можно создать тикет (опрос), который позже будет связан с этим конкретным тестом.
В феврале существенно обновился функционал, связанный с мониторингом и статистикой деятельности тестировщиков.
В новом разделе Активность предоставляет обширную информацию о текущих сеансах тестирования: 
На вкладке «Сводка» отображаются только основные статусы (Активный, Приостановленный, Сбой и т. д.), а при выборе конкретной тестовой сессии отображается блок Лента активности — можно пошагово отслеживать работу тестировщика: 
Ключевые события из истории сеанса интерактивны: таким образом вы можете сразу просмотреть описание теста, отправленный тикет или получить базовую информацию о сбое приложения.
Примечание: дата сеансов в ленте активности указывается в начале сеанса; если сеанс длился несколько дней, то это необходимо учитывать, если вы хотите просмотреть хронологию действий пользователя (то есть какое событие может произойти на второй день, но вам не нужно будет искать это в списке дня сеансов и дня начала сеанса – то есть предыдущего).
Официальное руководство по сервису: http://ubertesters.com/step-by-step-instruction/ Оценка: 8/10.
Непрерывная интеграция
Примечание.Нюансы использования сервисов в рамках непрерывной интеграции, описанные ниже в этом обзоре, подразумевают, что это будет сделано на основе решения, предлагаемого Apple. То есть использование ботов Mac OS X Server и Xcode — на организации такой интеграции я не буду подробно останавливаться, возможно, это будет тема для отдельной статьи.
Желающие могут ознакомиться с темой самостоятельно, например, обратившись Официальное руководство Apple .
Доступ к API для автоматизации загрузки включается отдельно, в настройках профиля (Описание API находится по адресу http://ubertesters.com/upload-api/ ) Использование API возможно с помощью Curl:
Параметры:curl -X POST http://beta.ubertesters.com/api/client/upload_build.json -H " X-UbertestersApiKey:PERSONAL_API_KEY " -F "[email protected]" -F "title=build title" -F "notes=build notes" -F "status=in_progress" -F
X-UbertestersApiKey- required, your personal 'API access KEY'.
Please see item 1
file - required, path to your build file (.
IPA or .
APK)
title - optional, your build title
notes - optional, build description, plain text
status - optional
- pending - default, create a new revision only
- in_progress - create and start revision
stop_previous - optional
- true - stop all previous revisions ( if any)
- false - keep current statuses of previous revisions
Примечание: скачать и опубликовать новую версию в полностью автоматическом режиме можно в настройках проекта ( Администрирование — Группы рассылки ) необходимо создать группу тестировщиков по умолчанию, в этом случае с добавленным ключом «status=in_progress» новая версия станет доступна всем участникам этой группы сразу после публикации.
Несколько групп одновременно можно установить в качестве группы по умолчанию.
Важный: Прежде чем публиковать приложение в AppStore, необходимо как минимум удалить из кода инициализацию Ubertesters; если размер приложения также важен, то рекомендуется полностью удалить фреймворк из проекта (разница в размере дистрибутива чуть более 1 мегабайта).
Рейтинг: 9/10. Общий суммарный балл по всем разделам: 32 балла.
P.S. Несмотря на отсутствие (пока!) функционала для обозначения отчетов о сбоях, Ubertesters можно использовать гораздо эффективнее, чем его конкуренты, в проектах, где на первое место выходит важность получения обратной связи от тестировщиков и других членов команды (заказчиков, менеджеров, дизайнеров и т. д.).
.
).
Это особенно важно для проектов с распределенной командой.
Разработчики Убертестера пообещали учесть многие замечания и пожелания, изложенные в статье, а я, в свою очередь, постараюсь обновлять материал по мере реализации этих обещаний.
Теги: #тестирование #мобильные приложения #дистрибуция #дистрибуция #iOS #разработка #Ubertesters #разработка iOS #Разработка мобильных приложений #Тестирование мобильных приложений
-
Полный Обзор Того, Как Установить Activex
19 Oct, 24 -
Типо3 → Типо4
19 Oct, 24 -
6 Бизнес-Тенденций 2007 Года: Широкие Каналы
19 Oct, 24 -
Игры Под Угрозой
19 Oct, 24
