Методика сравнительного анализа родственных эконометрических моделей

В методике введено понятие родственных эконометрических моделей. Выделены теоретические и эмпирические единичные показатели качества эконометрических моделей с целью сравнения родственных моделей. Рассмотрены методы получения ранжировок родственных математических моделей по тем или иным показателям их качества и указаны методы согласования таких ранжировок. Рассмотрены методы проверки согласованности, кластеризации и усреднения ранжировок. Разобран пример сравнения родственных математических моделей на основе эмпирических единичных показателей качества. Приведены математические основы методов согласования ранжировок и классификаций, включая соответствующие теоремы с доказательствами. Дан обзор теоретических основ методов проверки согласованности, кластеризации и усреднения ранжировок.

П3-1. Общие положения

1. Методика имеет целью:

   • по единой схеме оценивать качество эконометрических моделей;
   • проводить сравнение однотипных эконометрических моделей;
   • осуществлять выбор эконометрических моделей среди однотипных с целью практического использования или углубленной доработки.
2. Методика основана на выделении теоретических и эмпирических единичных показателей качества эконометрической модели, построении на их основе групповых и обобщенных показателей качества, их согласования и использовании для решения задач, указанных в п.1.1
3. Методика предусматривает использование как методов, основанных на анализе результатов наблюдений или специально поставленных экспериментов, так и методов, использующих экспертные оценки специалистов.

П3-2. Родственные эконометрические модели

1. Под эконометрической моделью в настоящей методике понимается функция, отображающая набор входных переменных в набор выходных переменных. Входные и выходные переменные могут иметь как числовую, так и нечисловую природу, быть измеренными в различных шкалах, сами быть функциями. Модель может задаваться уравнением, системой уравнений, алгоритмом, таблицей, графиком, словесно (при использовании нечисловых переменных).

2. Входные переменные делятся на:

   • экономические переменные (цены, стоимости, предпочтения потребителей и т.п.);
   • переменные управления (менеджмента);
   • социальные переменные (состав персонала, демографический профиль);
   • технические переменные, описывающие технологические процессы и характеристики изделий;
   • физические переменные (пространственные координаты, время, температура,\dots, например, высота источника загрязнения, диаметр пролива, скорость ветра), описывающие условия воздействия;
   • химические переменные, описывающие свойства воздействующих химических веществ;
   • переменные, описывающие объекты воздействия (реципиентов);
   • переменные, описывающие окружающую среду;
   • эмпирические и иные константы, рассчитанные авторами моделей по результатам экспериментов или теоретически,
   • иные виды переменных.

   Входные переменные, например, цены или скорость ветра, могут зависеть от времени.
3. Под выходными переменными понимают те, которые используются при формировании окончательных суждений об объектах и процессах или являются входными в смежных моделях. Они так же, как входные переменные, могут быть функциями.

4. Эконометрические модели называются родственными по выходу, если наборы их выходных переменных совпадают. Модели называются частично родственными по выходу, если наборы их выходных переменных частично совпадают. Эконометрические модели называются родственными, если наборы их входных и выходных переменных совпадают. Частично родственные по выходу модели становятся родственным по выходу, если отказываемся от рассмотрения всех выходных переменных, кроме совпадающих. При формальном расширении множества входных переменных путем объединения таковых для нескольких родственных по выходу моделей получаем родственные модели.

   Поэтому без ограничения общности можно считать, что на множестве эконометрических моделей задано отношение толерантности "быть родственными моделями". Пара моделей входит в это отношение тогда и только тогда, когда пересечение множеств их выходных переменных не пусто. В таком случае их можно преобразовать в пару родственных моделей (в смысле определения, данного в предыдущем абзаце).
5. Для сравнения родственных моделей используются как объективные (теоретические и экспериментальные) методы, так и субъективные экспертные оценки. Для сравнения и оценки моделей строится иерархическая система показателей качества: на основе единичных показателей формируются групповые, а с их помощью - обобщенные. Теоретические единичные показатели качества рассматриваются в пункте П3-3. Основанные на обработке результатов экспериментов единичные показатели качества рассматриваются в П3-4.
6. Результаты оценивания показателей качества, полученные экспертным или объективным путем, в литературе выражаются различными способами. Согласно методологии настоящей методики их рекомендуется выражать, как правило, в виде ранжировок или упорядоченных классификаций (нестрогих линейных порядков). Допускается использование метода парных сравнений, нечетких и интервальных оценок или иного способа получения информации от экспертов.
7. Для получения агрегированных (групповых или обобщенных) оценок применяют согласование ранжировок. При этом выявляются противоречия между различными ранжировками и привлекается дополнительная информация для упорядочения пар объектов, являющихся противоречивыми (которые по-разному упорядочены в исходных ранжировках). Методы согласования ранжировок рассмотрены в пункте П3-5.
8. При невозможности согласования ранжировок (из-за большого числа противоречий) проводится усреднение ранжировок в соответствии с правила расчета эмпирических средних в статистике объектов нечисловой природы (см. "Статистика нечисловых данных" ). При этом предварительно проводится проверка согласованности экспертов или методов оценки и при необходимости - разбиение их на кластеры, т.е. группы экспертов, имеющих сходные между собой мнения, резко отличные от мнений иных групп. Итоговые ранжировки рассчитываются отдельно для каждого кластера и передаются лицу, принимающему решения. Методы проверки согласованности экспертов и - в случае необходимости - разбиения их на группы-кластеры, а также усреднения ранжировок рассматриваются в пункте П3-6.

П3-3. Теоретические единичные показатели качества

1. К теоретическим единичным показателям качества эконометрической модели относятся показатели, не связанные с непосредственным использованием при оценивании и сравнении моделей данных реальных наблюдений, а именно, группы показателей:

   • адекватности (обоснованности);
   • внутренней согласованности;
   • устойчивости;
   • полноты;
   • эффективности использования.

2. К показателям адекватности (обоснованности) относятся показатели:

   • соответствия модели экономической (управленческой, технической, физической, химической, биологической, экологической и др.) сути явления, ее связи с научными результатами соответствующих областей;
   • наличия надежной информации об экспериментальном подтверждении модели, о точности и практическом применении сделанных с ее помощью выводов и прогнозов.

3. К показателям внутренней согласованности относятся показатели:

   • логической непротиворечивости модели;
   • соблюдения различных законов сохранения (в частности, балансовых соотношений);
   • соблюдения соотношений теории размерностей;
   • наличия или отсутствия произвольных (не обоснованных научными методами) предположений;
   • выполнения естественных граничных и предельных соотношений.

4. К показателям устойчивости относятся показатели:

   • непрерывности расчетных величин эконометрической модели в случае непрерывности входных переменных;
   • устойчивости выводов относительно допустимых преобразований шкал измерения;
   • малой вариабельности выходных переменных при незначительных изменениях входных переменных (включая эмпирические константы);
   • устойчивости к аномальным значениям отдельных экспериментальных результатов (в случае, если применение модели предполагает проведение экспериментов);
   • устойчивости к вычислительным погрешностям.

5. К показателям полноты относятся показатели, показывающие:

   • насколько исчерпывающе набор выходных переменных отражает потребности конечного пользователя;
   • насколько исчерпывающе набор выходных переменных отражает потребности смежных моделей;
   • насколько исчерпывающе отражены в модели главные черты описываемого объекта (с точки зрения имеющейся в объектной области теории)
   .

6. К показателям эффективности использования относятся показатели:

   • простоты и наглядности модели;
   • удобства пользования моделью;
   • доступности информации, необходимой для применения модели;
   • стоимости получения информации, необходимой для применения модели
   .
7. Перечень теоретических единичных показателей качества родственных моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса.
8. Оценивание теоретических единичных показателей качества родственных моделей проводится экспертным путем. Допускается использование одного или нескольких экспертов - в случае доступности исходной информации и отсутствии причин для возможного расхождения мнений экспертов. В противном случае необходимо проведение экспертного опроса в полном объеме.

П3 4. Эмпирические единичные показатели качества

1. Эмпирические единичные показатели качества применяются, когда имеются надежные результаты экспериментов, позволяющие сравнивать результаты измерений, наблюдений, анализов, проб с расчетными значениями, полученными на основе родственных моделей.
2. Для проведения такого сравнения на основе того или иного эмпирического единичного показателя качества могут быть использованы различные методы эконометрики, прикладной статистики и планирования экспериментов.

3. В случае одной числовой выходной переменной в соответствии с принятым в настоящей методике подходом используют два основных метода ранжировки родственных математических моделей (использующих два основных эмпирических единичных показателя качества):

   • по сумме относительных отклонений результатов измерений от расчетных значений (п.4.4);
   • по сумме рангов, присвоенных моделям в каждой экспериментальной точке в зависимости от близости к измеренным значениям (п.4.5);
   • а также дополнительные - по числу экспериментальных точек, в которых модель оказалась наилучшей (п.4.6).
4. При использовании метода ранжировки по сумме относительных отклонений для каждой модели подсчитывают относительную погрешность в каждой экспериментальной точке (относительно наблюденного значения), складывают эти относительные погрешности (без учета знаков) и ранжируют модели в порядке возрастания указанных сумм.
5. При использовании метода ранжировки по сумме рангов в каждой экспериментальной точке строят ранжировку (упорядочение) моделей по степени близости соответствующих расчетных значений к результату наблюдений (без учета знака отклонения) - самая точная модель получает ранг 1, вторая по точности - ранг 2, и т.д. Затем ранги складываются по всем экспериментальным точкам и модели ранжируются в порядке возрастания суммы рангов.

6. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими.

   Другой вариант предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Число классов в этом варианте не фиксировано, оно может меняться от 1 (когда каждая модель оптимальна ровно в одной точке) до общего числа экспериментальных точек.
7. При наличии достаточной эмпирической информации целесообразно построить формально-статистические модели, например, линейного регрессионного анализа, примененного к входным переменным или функциям от них (например, логарифмам, если исходные модели описываются степенными функциями), рассчитать оценки параметров по экспериментальным данным (т.е. идентифицировать модели), добавить вновь построенные модели в перечень родственных моделей и сравнить их с остальными согласно настоящей методике.

8. Перечень эмпирических единичных показателей качества родственных математических моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса. В частности, могут быть использованы такие показатели, как:

   • сумма квадратов отклонений расчетных значений от результатов измерений, наблюдений, анализов, проб;
   • сумма модулей таких отклонений;
   • сумма квадратов относительных погрешностей;
   • величина максимально возможного отклонения (с учетом или без учета знака);
   • расстояние (показатель близости) иного вида между вектором экспериментальных значений и вектором расчетных значений, соответствующих определенной модели, например, расстояние Махаланобиса при той или иной корреляционной (или весовой) матрице;
   • в случае нескольких выходных параметров - различные характеристики качества планов эксперимента, разработанные в теории планирования эксперимента (в соответствии с перечнем, приведенным в монографии [1], глава II).
9. Пример сравнения (ранжировки) родственных математических моделей на основе эмпирических единичных показателей качества дан в пункте П3-7 ниже.