Повторяемость тестирования, зависимости тестовых примеров

21.2.1.3. Зависимость между тестовыми примерами, настройки по умолчанию для тестовых примеров и их групп

Для облегчения проведения регрессионного тестирования (и тестирования вообще) тестовые примеры часто разбивают на группы. Каждая группа содержит набор тестовых примеров, проверяющих отдельную замкнутую часть функциональности тестируемой системы. При отборе тестовых примеров для частичного регрессионного тестирования их можно отбирать сразу группами.

Разбиение тестовых примеров на группы удобно и с точки зрения установки начального состояния тестового окружения для выполнения тестов – так, перед выполнением группы тестов можно инициализировать значения переменных или состояние системы, необходимое для выполнения всей группы. Например, если система работает в двух режимах – нормальном и сервисном, то перед выполнением группы тестов для нормального режима работы системы нужно устанавливать нормальный режим, а перед выполнением тестов для сервисного режима – сервисный. Такие установки называются настройками группы тестов по умолчанию (group defaults, test group defaults).

Перед выполнением каждого тестового примера может потребоваться установка одних и тех же переменных в одни и те же значения. Для того, чтобы не дублировать эти установки в описании каждого тестового примера, в тест-плане можно определить настройки по умолчанию для каждого теста (test case defaults).

Как видно из предыдущего раздела, для облегчения проведения выборочного регрессионного тестирования каждый тестовый пример должен быть полностью автономным – ход его выполнения и тем более, результат не должны зависеть от предыдущих тестовых примеров. Тем самым, при выборочном тестировании результат тестирования не зависит от выбранного набора тестовых примеров (тестового набора). Однако, на практике создание автономных тестов зачастую невозможно по различным причинам (как правило – из-за длительного времени выполнения таких тестов).

В случае, когда в наборе тестовых примеров тесты не являются автономными, говорят о тестовой зависимости. Тестовая зависимость бывает двух видов – предусмотренная структурой тестовых примеров и паразитная.

Пример предусмотренной тестовой зависимости был рассмотрен в предыдущем разделе – корректность выполнения тестов определялась порядком их выполнения. Такая тестовая зависимость требует документирования и сопровождения, как и сами описания тестовых примеров. Существует два вида документирования тестовых зависимостей:

• явное определение допустимого порядка выполнения тестовых примеров. Такой способ удобен при сравнительно небольшом общем количестве тестовых примеров, либо, при разбиении на группы – при небольшом размере групп тестовых примеров;
• определение допустимого порядка выполнения тестовых примеров при помощи предусловий. При таком способе корректность порядка выполнения тестовых примеров определяется при помощи проверки того, что либо тестируемая система, либо тестовое окружение находятся в необходимом состоянии для выполнения тестового примера.

Паразитные тестовые зависимости обычно вызваны некорректным составлением тест-плана. Проявляются они, как и предусмотренные зависимости, в том, что один (или более) тестовых примеров корректно работает только в том случае, если до него были выполнены другие тестовые примеры. Причем такая зависимость не является предусмотренной тестировщиком. Природа паразитной тестовой зависимости схожа с природой ошибок использования неинициализированных или остаточных данных в динамической памяти при программировании.

21.2.1.1. На примере "Калькулятора"

Рассмотрим повторяемость тестирования на примере нашего "Калькулятора".

Рассмотрим свойство CalcClass.lastError:

/// <summary>
  /// Последннее сообщение об ошибке.
  /// </summary>
  private static string _lastError = "";

  public static string lastError
  {
        get
         {
                
         }
  }

Оно хранит последнее сообщение об ошибке. При этом "Калькулятор", вычисляя выражение после каждой арифметической операции, проверяет значение переменной и, если оно не равно пустой строке, выдает сообщение об ошибке и прерывает работу. Однако у свойства lastError нет аксессора set, и значит, никакой внешний модуль не может поменять его значения. Напрашивается вопрос – а как же сбрасывается это значение? Проведем три теста подряд на методе сложения:

try
   {
    richTextBox1.Text = "";
    richTextBox1.Text += "Test Case 1\n";
    richTextBox1.Text += "Входные данные: a= 78508, b = -304\n";
    richTextBox1.Text += "Ожидаемый результат: res = 78204 && 
                         error = \"\"" + "\n";
    int res = CalcClass.Add(78508, -304);
    string error = CalcClass.lastError;
    richTextBox1.Text += "Код ошибки: " + error + "\n";
    richTextBox1.Text += "Получившийся результат: " + "res = " + 
                         res.ToString() + " error = " + error.ToString() + "\n";
    if (res == 78204 && error == "")
    {
     richTextBox1.Text += "Тест пройден\n\n";
    }
    else
    {
     richTextBox1.Text += "Тест не пройден\n\n";
    }
   }
   catch (Exception ex)
   {
    richTextBox1.Text += "Перехвачено исключение: " + 
                         ex.ToString() + "\nТест не пройден.\n";
   }

   try
   {
    richTextBox1.Text += "Test Case 2\n";
    richTextBox1.Text += "Входные данные: a= -2850800078, b = 3000000000\n";
    richTextBox1.Text += "Ожидаемый результат: res = 0 && error = 
                         \"Error 06\"\n";
    int res = CalcClass.Add(-2850800078, 3000000000);
    string error = CalcClass.lastError;
    richTextBox1.Text += "Код ошибки: " + error + "\n";
    richTextBox1.Text += "Получившийся результат: " + "res = " + 
                         res.ToString() + " error = " + error.ToString() + "\n";
    if (res == 0 && error == "Error 06")
    {
     richTextBox1.Text += "Тест пройден\n\n";
    }
    else
    {
     richTextBox1.Text += "Тест не пройден\n\n";
    }
   }
   catch (Exception ex)
   {
    richTextBox1.Text += "Перехвачено исключение: " + 
                         ex.ToString() + "\nТест не пройден.\n";
   }

   try
   {
    richTextBox1.Text += "Test Case 3\n(повторный тест)";
    richTextBox1.Text += "Входные данные: a= 78508, b = -304\n";
    richTextBox1.Text += "Ожидаемый результат: res = 78204 && 
                         error = \"\"" + "\n";
    int res = CalcClass.Add(78508, -304);
    string error = CalcClass.lastError;
    richTextBox1.Text += "Код ошибки: " + error + "\n";
    richTextBox1.Text += "Получившийся результат: " + "res = " + 
                         res.ToString() + " error = " + error.ToString() + "\n";
    if (res == 78204 && error == "")
    {
     richTextBox1.Text += "Тест пройден\n\n";
    }
    else
    {
     richTextBox1.Text += "Тест не пройден\n\n";
    }
   }
   catch (Exception ex)
   {
    richTextBox1.Text += "Перехвачено исключение: " + 
                         ex.ToString() + "\nТест не пройден.\n";
   }

Результат:

Test Case 1
Входные данные: a= 78508, b = -304
Ожидаемый результат: res = 78204 && error = ""
Код ошибки: 
Получившийся результат: res = 78204 error = 
Тест пройден

Test Case 2
Входные данные: a= -2850800078, b = 3000000000
Ожидаемый результат: res = 0 && error = "Error 06"
Код ошибки: Error 06
Получившийся результат: res = 0 error = Error 06
Тест пройден

Test Case 3
(повторный тест)Входные данные: a= 78508, b = -304
Ожидаемый результат: res = 78204 && error = ""
Код ошибки: Error 06
Получившийся результат: res = 78204 error = Error 06
Тест не пройден