Глобальные и локальные оптимизации

Определение выгодности оптимизаций

невыгодно сохранять общее подвыражение во временной переменной если "часто" используется только одно подвыражение

   z=x*y;
   if(почти_никогда) {
      t=x*y;
   }
    

невыгодно выносить инвариант из цикла, если он может ни разу не использоваться при расчетах

   for(i=0;i<n;i++) {
      …
      if(почти_никогда) {
          t = invariant; break; }
   }
    

Статистический профилировщик вычисляет вероятность условных переходов и вес базовых блоков. Это делается на основе анализа исходного кода. Межпроцедурный анализ пытается рассчитать вес процедур на основе анализа графа вызовов.

Анализ исходного кода не может обеспечить точное вычисление весовых характеристик. В общем случае, не известны входные данные исполняемой программы, время вычисления ограничено.

Существует встроенная функция builtin_expect предназначенная для передачи компилятору информации о вероятности ветвления.

if(x)  =>  if(__builtin_expect(x,1))
    

Динамический профилировщик собирает весовые характеристики на основе анализа статистики собранной при запуске инструментированного приложения. Инструментация в данном случае – снабжение приложения механизмами для сбора статистики.

/Qprof-gen[:keyword]
          instrument program for profiling.
          Optional keyword may be srcpos or globdata
 
/Qprof-use[:<arg>]
          enable use of profiling information during optimization
            weighted  - invokes profmerge with -weighted option to scale data
                        based on run durations
            [no]merge - enable(default)/disable the invocation of the profmerge
                        tool
    

Последовательность действий при использовании динамического профилировщика:

1. построить приложение с инструментацией /Qprof_gen
2. запустить инструментированное приложение с представительным набором данных, т.е. одним или несколькими наборами наиболее часто используемых данных. Информация добавляется в файл со статистиками.
3. пересобрать приложение с опцией /Qprof_use для использование собранных статистик при компиляции.

Информация собранная динамическим профилировщиком более точная, поэтому некоторые оптимизации, применение которых может дать большой негативный эффект при неправильном применении могут выполняться только при наличии информации от динамического профилировщика.

Некоторые оптимизации которые базируются на профилировочной информации:

Динамическое выделение памяти

Объекты и массивы могут инициализироваться динамически во время исполнения приложения с использованием операторов new и delete, malloc и free. Менеджер памяти, это часть приложения, обрабатывающая запросы на выделение и освобождение памяти.

Типичные ситуация, когда динамическое выделение памяти необходимо:

• Необходимо создать большой массив размер которого неизвестен во время компиляции.
• Массив может быть очень большим для того чтобы расположить его на стеке.
• Объекты должны создаваться во время работы программы, но количество необходимых объектов неизвестно.

Неудобства динамического выделения памяти:

• Выделение и освобождение памяти имеет свою цену.
• Выделенная память становится фрагментированной, когда выделяются объекты различного типа в произвольном порядке. Это делает неэффективным кэширование данных.
• Если необходимо изменить размер созданного объекта, но нет возможности расширить блок, возникает потребность в копировании содержания старого блока памяти в новый блок.
• Необходима сборка мусора, поскольку в процессе работы могут исчезнуть блоки памяти необходимого размера.

Важно оценить сильные и слабые стороны использования динамической памяти при проектировании приложения.

Различные менеджеры памяти реализуют различные алгоритмы выделения памяти и пытаются снизить затраты на работу с динамической памятью.

Альтернативные менеджеры памяти:

Одним из важных факторов производительности в C++ является компактность размещения в памяти совместно используемых объектов, объединенных в различные связные списки. Связный список менее эффективен чем линейный массив по следующим причинам:

• Каждый объект создаётся отдельно. Выделение и освобождение объекта имеет свою цену.
• Объекты в памяти хранятся не последовательно. При обходе связного списка вероятность попадания в кэш снижается. Процессорная предвыборка данных неэффективна.
• Необходима дополнительная память для хранения ссылок и информации о выделенных блоках памяти.

В случае работы с массивами непрерывный массив также выгоднее чем массив указателей по причине лучшей работы системы памяти.

Связные списки в памяти

Связный список:
Может располагаться в памяти так:
И в физической памяти:

Контейнеры

Существует популярный способ улучшения работы с динамически выделяемой памятью при помощи контейнеров.

Создание и использование контейнеров это один из примеров эффективного использования шаблонов (template) в С++. Наиболее распространенный набор контейнеров предоставляется Standard Template Library (STL), которая поставляется с современными C++ компиляторами.

Однако STL в основном разрабатывалась для гибкости использования и вопросы производительности имели более низкий приоритет. Поэтому выделение памяти для хранения объектов осуществляется пошагово по мере роста количества объектов, которые необходимо хранить в памяти. Отсутствует гибкая система, позволяющая заранее определять сколько памяти необходимо выделить изначально. В случае расширения контейнера может возникнуть необходимость копирования содержания контейнера. Это копирование происходит с использованием конструкторов копирования.

Еще один популярный метод – это метод пулов памяти. Одно из его отличий состоит в том, что при расширении пула весь блок памяти копируется с помощью memcpy.

Кодогенератор

Кодогенерация — часть процесса компиляции, когда специальная часть компилятора, кодогенератор, конвертирует синтаксически корректную программу в последовательность инструкций, которые могут выполнятся на машине. При этом могут применятся различные, в первую очередь машинно-зависимые оптимизации. Часто кодогенератор является общей частью для множества компиляторов, каждый из которых генерирует промежуточный код, подаваемый на вход кодогенератору.

• Конвертация утверждений и выражений внутреннего представления в инструкции процессора данной архитектуры.
• Специфические архитектурные оптимизации.
  • Удаление ветвления с помощью условных присваиваний.
• Подставляет тела простейших встроенных функций.
• Выравнивает базовые блоки в памяти.
• Подготовка вызовов процедур, т.е. загрузка необходимых переменных в регистры и/или на стек для передачи в вызываемую процедуру.
• То же самое для вызываемой процедуры. Выделение места на стеке для локальных переменных. Сохранение и восстановление используемых внутри процедуры регистров.
• Планирование инструкций.
  • Планирование переходов.
  • Учет задержки обращения к памяти.
• Распределение регистров.
• Вычисление дистанций для переходов

Планирование инструкций (instruction scheduling)

Планирование инструкций это компьютерная оптимизация, используемая для улучшения уровня инструкционного параллелизма. Оптимизация обычно осуществляется за счет изменения порядка инструкций для уменьшения задержек процессорного конвейера.

Процессор имеет собственный механизм для планирования инструкций и распределения их по исполняющим устройствам. Этот механизм предусматривает упреждающий просмотр поступающих инструкций. Но он может быть недостаточно эффективен поскольку "окно упреждающего просмотра" ограничено. Инструкции могут переставляться в соответствии со следующими соображениями:

1. вынос чтения из памяти как можно дальше от использования результатов чтения.
2. смешение инструкций использующих разные исполняемые устройства процессора.
3. сближение инструкций использующих одну и ту же переменную, для упрощения выделения регистров.

Планирование инструкций может производиться внутри одного базового блока или внутри суперблока, объединения нескольких базовых блоков. Некоторые инструкции могут передвигаться за границы соответствующих им базовых блоков.

Планирование инструкций может осуществляться как до, так и после распределения регистров.