Опубликовано

Тестирование устаревшей версии программы

Тестирование устаревшей версии программы

Проблема:

«Это исправлено!».
«Это НЕ исправлено!».
«Это исправлено! Вот скриншот, показывающий, что это работает!».
«Плевать я хотел на ваши скриншоты. У меня НЕ работает!».

Эта пикировка между разработчиком и тестировщиком быстро перерастает в оправданное убийство и возникает гораздо чаще, чем должна бы. Конфликт часто является результатом того, что разработчик устранил дефект в версии, которая ещё не передана на тестирование. В этом случае оба — и разработчик, и испытатель правы в оценке статуса ошибки, но каждый прав лишь относительно той версии программного обеспечения, с которой каждый из них имеет дело в настоящий момент.

Решение: установите процесс, регламентирующий координацию версий между разработчиками и тестировщиками. Помечайте каждую новую версию уникальным номером и всегда сообщайте номер версии, которая сейчас разрабатывается, и версии, которая тестируется. Назначьте ответственного за обеспечение наличия номера версии при передаче версии тестировщикам. Когда сообщение об ошибке объявляется FIXED , гарантируйте, что разработчики указывают номер версии, в которой появится исправление.

Опубликовано

Повторное открытие старых сообщений для новых ошибок

Повторное открытие старых сообщений для новых ошибок

Проблема: сообщение об ошибке помечено как FIXED , и все считают, что с этим покончено, но в ходе дальнейшего тестирования тестировщик видит ошибочное поведение, которое очень похоже на то, которое было вызвано ошибкой, которую сочли FIXED . Рассуждая, что поведение является настолько похожим, что это должно иметь ту же самую причину, тестировщик делает вывод, что ошибка, ранее помеченная как FIXED , повторно всплыла, и изменяет статус сообщения об ошибке с FIXED на REOPEN . Это вызывает проблемы у разработчика, потому что повторное открытие ошибки подразумевает, что снова возникли первоначальные признаки ошибки, а не похожие признаки, замеченные тестировщиком. Испытатель, таким образом, выдаёт разработчику неправильный диагноз ошибки, вместо простого сообщения о наблюдаемом ошибочном поведении.

Решение: настаивайте на том, чтобы тестировщики воздерживались от повторного использования старых сообщений об ошибках, если наблюдаемое ошибочное поведение не в точности совпадает с тем, которое описано в старом сообщении. Даже в этом случае и то остаётся некоторая вероятность смешивания различных ошибок, которые вызывают идентичное наблюдаемое поведение. Если есть хотя бы малейшее сомнение, создавайте полностью новое сообщение об ошибке. Разработчик может всегда пометить его как дубликат старого сообщения об ошибке и повторно открыть старое сообщение самостоятельно, если исследование покажет, что новая и старая ошибки имеют одну и ту же причину.

Опубликовано

Отсутствие описания ошибочного и ожидаемого поведения

Отсутствие описания ошибочного и ожидаемого поведения

Отсутствие описания ошибочного поведения

Проблема: описание в сообщении об ошибке заканчивается на простом утверждении о том, в каком состоянии находится приложение, без указания того, какой аспект этого состояния собственно является ошибкой. Например, сообщение об ошибке заканчивается так: «Появляется диалог Свойства», но тестировщик не добавляет, что «…, и элементы управления свойствами доступны, несмотря на то, что выбранный элемент доступен только для чтения».

Решение: поместите в шаблон описания дефекта пункт «Ошибочное поведение:» или «Наблюдаемое поведение:», чтобы тестировщик не забыл включить эту информацию.


Отсутствие описания ожидаемого поведения

Проблема: даже когда сообщение об ошибке содержит описание ошибочного поведения, тестировщик иногда забывает объяснять, каково ожидаемое (правильное) поведение. Например, сообщение об ошибке заканчивается так: «файл молча сохраняется», но тестировщик не добавляет, что «…, но нет никакого визуального признака, что приложение занято выполнением операции сохранения. Курсор должен принять вид песочных часов и должен появиться модальный диалог с индикатором прогресса».

Решение: поместите в шаблон описания дефекта пункт «Ожидаемое поведение:», чтобы тестировщик не забыл включить эту информацию.

Опубликовано

Тестировщики — из какого теста они слеплены

Тестировщики — из какого теста они слеплены

Есть реальные преимущества наличия группы людей, отделённых от разработчиков, чья работа состоит исключительно в том, чтобы придираться к вашей работе. Они сохраняют эмоциональную и мыслительную дистанцию от продукта, которую разработчик не может сымитировать даже при всём желании. Тестирование — задача, требующая терпения, внимания к деталям и весьма непрямолинейного мышления. Иногда менеджеры делают ошибку, рассматривая тестирование как работу второго сорта, которую могут выполнять менее квалифицированные или более младшие сотрудники. Такое искажённое восприятие служит плохую службу как проекту, так и сообществу тестировщиков.

Но наличие отдельной группы тестирования имеет распространённый побочный эффект — развитие отношений соперничества между тестировщиками и разработчиками. Я прекрасно понимаю, как легко это может случиться. Не так давно я имел несчастье работать с группой тестировщиков, чьи методы возбуждали во мне и других разработчиках желание их убить.

Опубликовано

Приемо-сдаточные испытания

Приемо-сдаточные испытания

Для того, чтобы сделать процесс сдачи проекта (этапа) более четким и однозначным, должны быть введены четкие приёмочные критерии, при выполнении которых заказчик обязан «принять» этап.

В качестве таких критериев, в основном, используется набор тестов, успешное прохождение которых будет означать приемку этапа заказчиком.

Изначально, на старте проекта, с заказчиком необходимо обговорить процесс сдачи каждого этапа и проекта в целом.

Таким образом, для каждого этапа набор работ будет следующим:

1. Составление перечня приемочных тестов

• QA анализирует требования к новому этапу.

• QA cоставляет список приемочных тестов для данного этапа. Лучше всего выделить эту группу в тест плане по версиям.

Набор тестов может быть прислан и заказчиком.

• QA утверждает список у PM-а.

2. Написание приемочных тестов

В отдельной тест кейс спецификации QA описывает запланированные на предыдущем шаге приемочные тесты.

3. Утверждение набора приемочных тестов

PM утверждает спецификацию приемочных тестов у заказчика.

4. Проведение приемо-сдаточных испытаний на стороне заказчика

При сдаче этапа (проекта) PM или QA на стороне заказчика демонстрирует успешное прохождение каждого утвержденного теста.

Опубликовано

Контроль версии

Контроль версии

Каждая версия (сборка) должна идентифицироваться чётким образом. Легче всего применить следующий формат версии:

XX.YY.revision , где

Revision – номер внутренней сборки (Build number). Соответствует номеру последней ревизии в SVN, вошедшей в данную версию.

YY – номер поставки заказчику (Delivery number), обнуляется при увеличении XX.

XX – номер релиза (Release number).

1. Build для тестирования

Как правило, очередной build собирает QA. Версия равна XX.YY.revision.

2. Объединение веток (merging)

Ветки объединяет руководитель проекта или техлид. Версия равна XX.YY.revision.

3. Сборка Delivery

Деливери собирает также руководитель проекта или техлид.

Версия устанавливается вручную в XX.YY (ревизия отбрасывается, YY увеличивается).

Также, рекомендуется для каждого билда писать примечание к версии (Release notes), что облегчит работу как с заказчиком, так и QA инженерами.

Опубликовано

Управление изменениями проекта.

Управление изменениями проекта

В любом проекте происходят изменения инициированные заказчиком или командой. Для успешного завершения проекта этими изменениями придется управлять руководителю проекта. Иначе проект может оказаться вечным.

Что входит в управление изменениями проекта:

  • Анализ и сбор всех требований Заказчика.
  • Фиксирование всех требований (общий бизнес-процесс, GUI, функционал) в спецификации.
  • Регистрация всех требований, подлежащих реализации, в багтрекинговой системе. Соответствующая пометка тех требований, которые должны войти в деливери. Ответственный – руководитель проекта.
  • Обязательный групповой анализ каждого запроса на изменение или доработку (руководитель проекта, QA, бизнес аналитик, техлид). Полное уточнение информации, принятие решения (отклонение запроса, запуск в реализацию, оформление дополнительным оплачиваемым этапом и т.п.)
  • Оформление каждого запроса на изменение или доработку в форме Change Order, подлежащего подписи заказчиком (отвечает за оформление – бизнес аналитик, за подписание – руководитель проекта).
  • После утверждения изменений должно проходить обязательное обновление спецификаций, тест-кейсов и т.д.
  • Определение целесообразности начала тестирования следующего деливери.

Критерий начала:

  • Все или большинство требований, относящихся к следующему деливери (фазе), реализованы.

Определяет готовность версии к тестировании по багтрекинговой системе, ответственный QA. Все требования, которые необходимо реализовать в определенном деливери, внесены в багтрекинговую систему с пометкой «Реализовать в x.y.» и, соответственно, попадают в фильтр «Деливери x.y.». Когда все или большинство требований, попадающих в фильтр, будут реализованы, версию можно передавать на тестирование QA.

  • Определение готовности деливери к отправке. Критерии готовности:
  • все требования, относящиеся к данному деливери (фазе), реализованы;
  • открытые дефекты, относящиеся к данному деливери (фазе), отсутствуют.

Определяет по багтрекинговой системе QA и уведомляет руководителя проекта. Все требования, которые необходимо реализовать в определенном деливери, внесены в багтрекинговую систему с пометкой «Реализовать в x.y.» и, соответственно, попадают в фильтр «Деливери x.y.». Когда все требования и дефекты, попадающие в фильтр, будут закрыты, версию можно отсылать заказчику.

Мы рассмотрели пример процесса управления изменениями в ИТ проекте. Одна из распространенных ошибок – одноособное управление требованиями исходящее от руководителя проекта. Залог успеха – групповое обсуждение изменений, достижение компромисса со всеми учасниками.

Опубликовано

План график работ.

План график работ

План-график работ по проекту подготавливается руководителем проекта. Ознакамливаются с документом команда и заказчик. Документ дает понимание о временных рамках выполнения основных работ.

План-график работ проекта (лучше всего – в MS Project). Должен показывать:

  • Объем и дату каждого деливери.
  • Объем работ на каждом этапе.
  • Основные вехи.

Примеры основных вех:

  • MILESTONE- утверждение спецификаций (в план должно быть заложено время на ревю и утверждение спецификаций заказчиком).
  • MILESTONE- утверждение плана тестирования деливери Х (QA менеджер составляет план тестирования следующего деливери, который должен быть утвержден менеджером проекта).
  • MILESTONE- завершение кодирования по деливери X (разработчики успешно закончили кодирование функционала, предназначенного для сдачи в деливери X).
  • MILESTONE- QA приемка деливери (QA тестирует деливери на территории заказчика, если требуется, и дает «добро»).
  • MILESTONE- готовность деливери Х к отправке (все фичи реализованы, а дефекты успешно исправлены – деливери можно отправлять заказчику).
  • MILESTONE- готовность пользовательской документации (финальная документация, которую необходимо передать заказчику, должна пройти ревю менеджера проекта).
  • MILESTONE- приемка деливери заказчиком (используя набор приемочных тестов, PM получает формальное одобрение продукта заказчиком).
  • MILESTONE- проведен тренинг (заказчика необходимо обучить согласно заранее подготовленному плану).

Таким образом и команда и заказчик становятся информированы о запланированном графике предстоящих работ. Тем самым повышая вероятность успешного завершения проекта в срок.

Опубликовано

План разработки сайта – SDP

План разработки сайта – SDP

План разработки сайта — Software Development Plan. Этот документ дает понимание участникам проекта (проектной группе и заказчику) о том, каким образом будет вестись работа в рамках проекта, каковы правила и т.д.

Документ дает полное представление:

  • о будущем проекте (цели, приоритеты, необходимые артефакты и те из них, которые подлежат сдаче заказчику);
  • об участниках проекта, роли каждого, а также их взаимодействии;
  • о плане проекта (WBS, графике, планируемых затратах);
  • о подходе к управлению требованиями;
  • о процессе разработки и тестирования;
  • о плане тестирования и плане управления конфигурацией;
  • о процедуре завершения проекта;
  • о подходе к сдаче-приемке проекта или этапа;
  • о плане обучения заказчика.

План разработки сайта описывает:

  • Цель, содержание и функции проекта
  • Объекты, подлежащие сдаче
  • Приоритеты проекта
  • Организация проекта
  • Проектная группа
  • Артефакты проекта
  • Роли и ответственности
  • Взаимодействие участников
  • Управление разработкой
  • План-график проекта
  • Контроль качества
  • Управление требованиями и изменениями
  • Управление конфигурацией
  • Инструменты, инфраструктура
  • Контроль версий
  • Процесс сборок и релиза
  • Работа с дефектами
  • Параметр бага «Fix in»
  • Фильтры
  • Зависимость полей
  • Значения поля «Version»
  • Действия QA после сборки внутреннего билда
  • Действия QA после сборки деливери
  • Действия PM после сборки деливери
  • Предоставление отчетов
  • Почта
  • Проектный цикл
  • Разработка
  • Тестирование
  • Приемо-сдаточные испытания
  • Участие клиента в процессе
  • Ревю и утверждение проектной документации
  • Обсуждение изменений в требованиях, сроках, бюджете
  • Просмотр промежуточных версий ПО
  • Фиксирование замечаний и дефектов
  • Приемо-сдаточные испытания
  • Дополнительные планы
  • План обучения пользователей
  • План решения проблем
Опубликовано

Процесс тестирования програмного обеспечения (ПО).

Процесс тестирования програмного обеспечения (ПО)

Цель QA тестирования – убедиться, что ПО работает согласно задекларированным требованиям к ПО. Это включает в себя поиск несоответствий между полученным и ожидаемым результатом. Задача тестирования – систематическое обнаружение дефектов, с минимальной затратой времени и усилий, минимизация количества дефектов, найденных клиентом.
В QA процессе под “тестированием” подразумевается проверка того, что требований соблюдены и правильно реализованы. Трудоёмкость тестирования зависит от специфики проекта и его фазы.
Процесс тестирования плотно связан с процессом разработки, и идёт параллельно с ним.
Процесс тестирования итеративен. В каждой итерации интенсивность тестирования и специфика могут отличаться.
1 Критерии входа
До возможности начала QA тестирования должны быть выполнены следующие критерии:

  • QA инженеры проинформированы об объеме проекта, сути, оценке, графике, составе проектной группы, задачах и обязанностях её членов.
  • Все требования к ПО определены и приняты (зафиксированы в ТЗ и спецификациях, причём достаточно детализированы).
  • Есть план разработки по версиям.
  • Разработчики выполняют тестирование кода (Unit, Stress и Integration тестирование).
  • Определён подход к тестированию.
  • Установлена среда тестирования.

2 Работы
Объем работы зависит от качества входной информации, а именно: спецификаций, объёма и сложности проекта, требований.
Для повышения эффективности можно выполнять сразу несколько видов тестов.
Тестирование, как и разработка, носит итеративный характер. Каждую итерацию:

  • разрабатывается тест дизайн для тестирования требований, который будут реализованы в результате текущей итерации;
  • тестируется функциональность, реализованная в предыдущей итерации;
  • тестируется исправление ошибок, найденных ранее и исправленных во время предыдущей итерации.

2.1 Определение требований, подлежащих тестированию
QA определяет требования, подлежащие тестированию, и определяет их приоритеты. Отталкивается QA от ТЗ, плана разработки по версиям, спецификаций – всего, что имеется в наличии и относится к требованиям к системе, которую необходимо разработать.
После этого можно создавать тест кейсы, сценарии, тестовые данные.
Эта работа тесно связана с планированием и оценкой.

2.2 Планирование тестирования
Для проекта составляется план тестирования, включающий в себя стратегию и подход, компоненты и конкретные требования, подлежащие тестированию, критерии приёмки системы, вид и глубину тест кейсов и сценариев.
Подробнее о проектном документе тест план написано здесь: http://www.seolux.com.ua/archives/89.

2.3 Тест дизайн
Подробнее тест дизайн описан здесь: http://www.seolux.com.ua/archives/103.

2.3.1 Описание сценариев
Тестирование бизнес-процесса или его логической части описывается сценарием. Сценарий виртуально моделирует поведение пользователя.
Сценарии базируются на определенных тест кейсах и представляют рабочий процесс с конечным результатом.
У каждого сценария есть описание и предварительная подготовка данных (где это необходимо).

2.3.2 Функциональные тест кейсы
Подробнее о функциональных тест кейсах написано здесь: http://www.seolux.com.ua/archives/110.

2.3.3 Чек-листы для тестирования GUI
Для того, чтобы протестировать требования к GUI (графический интерфейс пользователя), обычно достаточно составить чек-лист. Он должен опираться на стандартные соглашения в дизайне интерфейса и специальные запросы заказчика. Полезно классифицировать требования на те, что относятся ко всему приложению, и те, что относятся к отдельным частям.
Обычно для всего приложения создается общий GUI чек-лист, поскольку в большинстве случаев разные формы и части функционируют практически одинаково.

2.3.4 Подготовка тестовых данных
Чтобы составить полный тест план, необходимо определить полный набор необходимых данных в базе данных, которые, в идеале, должны быть всегда готовы на момент начала тестирования. Необходимые данные определяются на стадии написания тест кейсов (для прохождения которых необходимо наличие готовых данных в системе). Перед началом тестирования определённые тестовые данные должны быть подготовлены. Обычно данные создаются средствами GUI самой системы или с помощью скриптов, заполняющих базу данных необходимыми значениями.
Как только база данных готова, рекомендуется заархивировать базу данных для сохранения тестовых данных для тестирования следующих версий. В следующей итерации, по возможности, из архива просто восстанавливается необходимое для тестирования состояние базы данных.

2.3.5 Поддержка тест кейсов
Тест кейсы должны постоянно поддерживаться в актуальном состоянии. То есть, при поступлении новых требований, изменении существующих требований, тест кейсы должны обновляться.
Должен соблюдаться контроль версий всех артефактов.

2.4 Выполнение тестирования
Существует несколько видов тестов. Их нужно разграничить в плане проекта, так как некоторые из них можно проводить одновременно, а другие – в строгой логической последовательности.

2.5 Регистрация и прослеживание дефектов
Все найденные дефекты должны быть зарегистрированы в базе данных трекинга дефектов с соответствующими атрибутами (краткий отчет, описание, приоритет, шаги по воспроизведению, версия и др.). Затем дефекты прослеживаются QA инженером согласно процедуре трекинга дефектов.

2.6 Оценка качества
После окончания тестирования каждой версии проводится оценка результатов тестирования, и в итоге создается Test Summary Report (Итоговый отчет по тестированию). Отчет содержит следующую информацию:

  • Выполненный объем тестирования
  • Статистика и перечень дефектов
  • Заключение о качестве продукта

На основании этих данных QA инженер делает заключение о версии – выполнены ли предъявленные к данной версии приёмочные критерии.

3 Критерии выхода
Следующие критерии показывают, может ли продукт тестирования выйти из фазы QA:

  • Проект был протестирован и доведен до конца в результате итераций до совпадения с нужными критериями.
  • Тестирование было выполнено согласно тест плану.
  • Все тест кейсы, установленные для фазы, успешно прошли на тестовой конфигурации.
  • Все найденные дефекты с высоким приоритетом были исправлены и прошли проверку.