Документация, сопровождающая процесс верификации и тестирования (тест-планы)

11.2. Отчеты о прохождении тестов

11.2.1. Технологические цепочки и роли участников проекта, использующих отчеты о прохождении тестов. Связь отчетов о прохождении тестов с другими типами проектной документации

Отчеты о прохождении тестов - основной (а иногда единственный) источник для заключения о соответствии протестированной системы требованиям. После выполнения всех тестов, описанных в тест-планах, среда тестирования создает отчет о том, насколько успешно система выполнила эти тесты. Такой отчет как минимум содержит информацию о каждом выполненном тестовом примере (его идентификатор) и результат его выполнения - успех или неудача.

По результатам анализа отчетов о прохождении тестов могут быть выявлены либо дефекты в самой системе, либо некорректно составленные или противоречивые требования. В обоих случаях результаты анализа служат основой для создания запросов на изменение требований и/или кода системы. После корректного исправления дефектов при регрессионном тестировании неуспешно выполненные тестовые примеры должны выполниться успешно (Рис 11.4).

Рис. 11.4. Генерация отчета о прохождении тестов и изменения по результатам его анализа

Отчеты о прохождении тестов могут служить основой для отслеживания состояния проекта: если с течением времени количество обнаруживаемых дефектов (неуспешно выполненных тестовых примеров) падает при условии сохранения качества тестирования - это свидетельствует о повышении качества разрабатываемой системы. С другой стороны, при внесении значительных изменений в систему количество дефектов неизбежно возрастает. Таким образом, идеальный график зависимости количества дефектов от времени похож на синусоиду с уменьшающейся амплитудой на каждом полупериоде.

11.2.2. Возможные формы представления отчетов о прохождении тестов

В предыдущих лекциях уже приводилось несколько примеров отчетов о выполнении тестовых примеров, однако ранее основной уклон делался в сторону общей статистики выполнения тестов.

В стандарте IEEE 829 отчет о прохождении тестов разделен на три различных документа и описан в разделах 9 (Test log), 10 (Test incident report) и 11 (Test summary report). В эти разделы включены соответственно общий отчет о прохождении тестов, отчет о проблемах, выявленных в результате выполнения тестов, и общая статистика прохождения тестов. В данном курсе отчет о прохождении тестов считается единым документом, разделенным на три части:

• общая (заголовочная информация);
• результаты выполнения тестовых примеров (положительные и отрицательные);
• итоговая информация о выполнении тестовых примеров (общая статистика по выполненным тестам).

Заголовочная часть отчета о прохождении тестов служит для идентификации отчета и протоколирования того, какая часть разрабатываемой системы подвергалась тестированию, какая ее версия, какая конфигурация тестового стенда использовалась для выполнения тестов.

В заголовочную часть отчета о выполнении тестов обычно включается следующая информация:

1. Название проекта или тестируемой системы
2. Общий идентификатор группы тестовых примеров, включенных в отчет
3. Идентификатор тестируемого модуля или группы модулей и номера их версий
4. Ссылку на разделы и версии тест-требований или функциональных требований, на основании чего написаны тесты, для которых сгенерирован отчет
5. Время начала выполнения теста и его продолжительность
6. Конфигурацию тестового стенда, на которой выполнялся тест
7. Имена и фамилии автора тестов и/или лица, выполнявшего тесты.

Ниже показаны два примера таких заголовочных частей отчета, создаваемых различными инструментальными средствами. Красными цифрами в скобках обозначены соответствующие пункты приведенного выше списка.