Опубликован: 01.02.2008 | Уровень: профессионал | Доступ: платный | ВУЗ: Компания IBM
Лекция 2:

Составляющие высокой доступности

Подключаемые модули HACMP

Подключаемые программные модули для HACMP содержат примеры скриптов, позволяющие выполнить конфигурирование следующих служб в составе кластера высокой доступности:

  • сервер имен;
  • сервер печати;
  • сервер DHCP.

Каждый модуль содержит скрипты запуска и остановки приложений, скрипты мониторов приложений и скрипты удаления. В состав также входит скрипт, подтверждающий наличие корректных файлов конфигурации в общей файловой системе. Каждый подключаемый модуль содержит файл README с подробной информацией. Они находятся в каталоге /usr/es/sbin/cluster/plugin/<имя_модуля>.

Возможности (HACMP 5.1, 5.2 и 5.3)

В этом разделе перечисляются некоторые новые возможности и усовершенствования, а также то, что больше не поддерживается.

Новые возможности

Усовершенствования внутрикластерной связи в демоне clinfo. Демон clinfo теперь содержит информацию о версии и имеет новый файл журнала /tmp/clinfo.debug.

В демоне диспетчера кластера были добавлены функциональные возможности SMUX peer daemon (clsmuxpd), так что выполнение SNMP-запросов возможно даже при неактивном кластере. Были созданы два новых состояния: not_configured и not_synced.

Диспетчер кластера теперь имеет два файла журнала:

/tmp/clstrmgr.debug 	файл журнала с 
настраиваемым расположением, 
содержащий стандартную регистрируемую 
информацию диспетчера кластера;
/tmp/clsmuxtrmgr.debug 	новый файл журнала, 
предназначенный для трассировки новой
функции SNMP диспетчера кластера.

Усовершенствования верификации кластера

Автоматическая верификация и синхронизация. HACMP верифицирует конфигурацию узлов при запуске (либо на первом узле в кластере, либо при подключении к активному кластеру). Выполняется верификация (и, при необходимости, коррекция) следующих условий:

  • согласованность количества экземпляров RSCT;
  • соответствие конфигурации IP-интерфейсов заданной в RSCT;
  • отключение автоматической активизации для общих групп томов;
  • отключение функции автоматического монтирования файловых систем.

Если конфигурация подключаемых узлов не соответствует конфигурации работающего кластера, она будет синхронизирована с одним из работающих узлов.

Верификация также выявляет потенциальные единые точки отказа, которые ранее выявлялись только при автоматическом уведомлении об ошибках.

Дополнительная верификация кластера

HACMP также выполняет следующие дополнительные проверки:

  • одинакова ли версия RSCT на всех узлах;
  • одинаковы ли настройки MTU на каждом IP-интерфейсе, а также согласованы ли параметры AIX и HACMP для IP-интерфейсов;
  • согласованы ли сетевые опции AIX, используемые в HACMP и RSCT, на всех узлах;
  • согласованы ли группы томов и PVID на узлах, являющихся членами владеющей группы ресурсов;
  • если установлен HACMP/XD, политика управления сайтом не может быть настроена на игнорирование (ignore);
  • если установлен HACMP/XD, то выполняется верификация конфигурации GeoRM, PPRC или GLVM.

Автоматическое наполнение файла clhosts

Файл clhosts, используемый многими программами мониторинга, имеет две версии:

  • Серверная версия. Этот файл находится на всех узлах в каталоге /usr/es/sbin/ cluster/etc и определяет добавление элемента 127.0.0.1 при установке HACMP.
  • Клиентская версия. Файл clhosts.client находится в каталоге /usr/es/sbin/cluster/ etc и наполняется при верификации кластера всеми адресами и метками каждого интерфейса и определенным сервисным IP-адресом. При этом версии с отметками времени сохраняются.

Файл определения кластера в формате XML

Формат XML является наиболее распространенным форматом для файлов определения кластера, создаваемых пользователем, и файлов системы автоматизированного планирования (Online Planning Worksheets). Для преобразования существующих файлов снимков кластера в XML-файл определения кластера можно использовать SMIT.

Тома OEM и Veritas и интеграция файловой системы

Теперь HACMP может без сложностей осуществлять управление группами томов OEM и соответствующими файловыми системами. Эта функция означает, что диски, тома и файловые системы OEM можно включить в группу ресурсов HACMP. Для этого могут использоваться либо имеющиеся методы, либо специально разработанные методы.

В частности, HACMP автоматически определяет группы томов, созданные диспетчером томов Veritas с использованием Veritas Foundation Suite (v4.0).

Функция SMS

Был добавлен новый метод удаленного уведомления. Теперь можно отправлять сообщения удаленного уведомления на любой адрес, например на мобильный телефон или на адрес электронной почты.

Зависимости расположения группы ресурсов

Помимо политик, определяющих зависимости типа "родительский объект/дочерний объект" для групп ресурсов, и политики распределения при запуске, HACMP теперь предлагает зависимости в масштабе кластера для групп ресурсов:

  • с подключением на одном узле;
  • с подключением на разных узлах;
  • с подключением на одном сайте.

Примечание. Политика распределения при запуске основана на узлах; в HACMP 5.2 был выбор между политикой на основе узлов и политикой на основе сетей.

Параметр распределения IP-меток/адресов

По умолчанию HACMP распределяет сервисные IP-метки/адреса по доступным интерфейсам. Перед активизацией сервисной IP-метки HACMP определяет количество адресов синонимов, уже существующих на каждом интерфейсе, после чего использует интерфейс с наименьшим количеством синонимов.

  • Без совместного размещения (Anti-Collocation). Используется по умолчанию; HACMP распределяет сервисные IP-метки по всем загрузочным IP-интерфейсам в одной сети HACMP на узле.
  • С совместным размещением (Collocation). HACMP размещает все сервисные IP-адреса на одном загрузочном IP-интерфейсе.
  • С совместным размещением и с постоянной меткой (Collocation with persistent label). HACMP размещает все сервисные IP-адреса на загрузочном IP-интерфейсе, содержащем постоянную IP-метку синонима. Это может быть полезно в средах с VPN и брандмауэром, где только один интерфейс имеет внешний выход.
  • Без совместного размещения и с постоянной меткой (Anti-Collocation with persistent label). HACMP размещает все сервисные IP-метки по всем загрузочным IP-интерфейсам в одной логической сети, не содержащим постоянную IP-метку синонима. Если другие интерфейсы недоступны, сервисные IP-метки совместно используют адаптер с постоянной IP-меткой синонима.

HACMP/XD

Параллельная обработка основного и дополнительного экземпляров реплицируемых групп ресурсов HACMP/XD выполняется по умолчанию, однако может быть задана и последовательная обработка. Процессы DARE и rg_move поддерживают параллельную обработку между сайтами.

Могут быть заданы политики управления сайтом при запуске, перемещении при сбое и возврате после восстановления, как для основного, так и для дополнительного экземпляра группы ресурсов.

  • Межсайтовые операции группы ресурсов с одновременным доступом (подключение на всех доступных узлах) могут быть совмещены с политикой сайта без одновременного доступа.
  • Могут быть заданы отношения зависимости типа "родительский объект/дочерний объект".
  • Может использоваться политика распределения при запуске.
  • Поддерживаются группы ресурсов как с совместным размещением, так и без совместного размещения.
  • При верификации кластера также происходит верификация HACMP/XD-конфигураций, однако конфигурацию нужно распространять вручную на другие узлы, так как часто приходится выполнять большие объемы операций настройки.

Усовершенствования безопасности в WebSMIT

Осуществляется подтверждение параметров, передаваемых в WebSMIT, перед выполнением.

Средства аутентификации WebSMIT в большей мере интегрированы с механизмами аутентификации AIX.

Программы Smart assist для HACMP

HACMP теперь поддерживает:

  • Smart assist для WebSphere – хотя этот инструмент поддерживался и в версии 5.2, поддержка была обновлена;
  • Smart assist для DB2 – включает поддержку мониторинга и восстановления для DB2 Universal Database™ Enterprise Server Edition;
  • Smart assist для Oracle – обеспечивает помощь при установке сервера приложений Oracle 10g.

Неподдерживаемые возможности

  • cllockd и cllockdES теперь не поддерживаются.
  • clinfo теперь не использует общую память, вместо этого применяются очереди сообщений.
  • clsmuxpd теперь не поддерживается, и его функции включены в диспетчер кластера.
  • Больше не поддерживаются каскадные группы ресурсов, ротационные группы ресурсов и группы ресурсов с одновременным доступом.
  • Подсистема управления событиями (event management) была заменена подсистемой RSCT Resource Monitoring and Control (RMC).
  • cldiag больше не поддерживается в командной строке.
  • clverify больше не поддерживается в командной строке.

Ограничения

Этот раздел описывает некоторые наиболее распространенные ограничения, свойственные HACMP. Эти ограничения представлены в табл. 2.6.

Таблица 2.6. Ограничения HACMP
Компоненты Максимальное количество, поддерживаемое кластером
Узлы 32
Группы ресурсов 64
Сети 48
Сетевые интерфейсы, устройства и метки 256
Ресурсы кластера Несмотря на то что clinfo может обслуживать не более 128, кластер может содержать больше
Зависимости "родительский объект/дочерний объект" Не больше трех уровней
Сайты 2
Интерфейсы 7 интерфейсов на узел на сеть
Мониторы приложений в сайте Мониторы приложений в сайте
netmon.cf 30 имен или IP-адресов
Постоянные IP-синонимы один на узел на сеть
XD-сети 1 на кластер
GLVM-режимы Синхронные, без одновременного доступа. Все PV, поддерживаемые AIX, должны быть одинаковыми (локальными или удаленными); улучшенный режим одновременного доступа не поддерживается
Динамическая реконфигурация Невозможна в HACMP/XD:HAGEO и HACMP/XD:GLVM

Требования подсетей

Таблица маршрутизации ядра AIX 5L поддерживает наличие нескольких маршрутов к одному пункту назначения. Если несколько совпадающих маршрутов имеют одинаковый коэффициент, каждый из маршрутов подсетей используется поочередно. При этом в HACMP возникает следующая проблема: если один узел имеет несколько интерфейсов, совместно использующих один маршрут, то HACMP не имеет средства определения его состояния.

Поэтому мы рекомендуем, чтобы каждый интерфейс на узле относился к отдельной подсети, чтобы можно было осуществлять мониторинг каждого интерфейса. Альтернативный вариант состоит в использовании мониторинга пульса через синонимы.

Аспекты хранения

Этот раздел содержит список некоторых наиболее часто используемых подсистем хранения и соответствующих программ управления, их характеристики, а также описание возможностей управления хранением в HACMP.

Подсистемы хранения серии IBM DS4xxx

Эти устройства прежде назывались FAStT-серверами (Fiber Attach Storage Server, сервер хранения с оптоволоконным подключением). HACMP поддерживает несколько различных моделей подсистем хранения DS4xxx. Описание всех моделей выходит за рамки данного курса.

Мы покажем принципы настройки хранилища DS4xxx на примере сервера хранения DS4500.

Сервер хранения DS45 00

Сервер хранения DS4500 поддерживает прямое подключение до четырех узлов, каждый из которых содержит по два адаптера и которые предназначены для обеспечения максимальной избыточности как на стороне узла, так и на стороне хранилища. При использовании внешних FC-коммутаторов в сочетании с сервером хранения DS4500 можно подключить к серверу хранения DS4500 до 64 узлов (с двумя адаптерами каждый).

Перед конфигурированием хранилища DS4500 необходимо удостовериться в наличии всех аппаратных и кабельных подключений, обязательных для конфигурации. Дополнительные сведения о кабельных подключениях DS4500 см. в руководстве IBM TotalStorage DS4500 Fibre Channel Storage Server Installation Guide, GC26-7530.

Программное обеспечение DS4xxx Storage Manager

Единственный способ конфигурирования хранилища DS4500 состоит в использовании программного обеспечения DS4xxx Storage Manager, которое доступно в большинстве популярных операционных систем, в частности в AIX, Linux и Windows® XP/2000. Используя DS4xxx Storage Manager, можно выполнить конфигурирование поддерживаемых уровней RAID, логических устройств и разделов. К поддерживаемым уровням RAID относятся RAID-0, RAID-1, RAID-5 и RAID 0+1.

В DS4xxx Storage Manager отсутствует опция конфигурирования RAID-10. При выборе RAID-1 с несколькими дисками DS4xxx Manager обеспечивает чередование и зеркальное отображение данных.

Это средство дает возможность пользователям форматировать логические диски в соответствии с требованиями операционных систем. Существует несколько версий Storage Manager.

К новым возможностям, поддерживаемым DS4xxx Storage Manager, относятся:

  • FlashCopy®. Логический диск FlashCopy представляет логический мгновенный образ другого логического диска, называемого базовым логическим диском, находящегося в подсистеме хранения. FlashCopy представляет собой логический аналог полной физической копии, однако его создание происходит быстрее и требует меньше дискового пространства (20 % от первоначального логического диска).
  • Удаленное зеркальное отображение (remote mirror). Опция удаленного зеркального отображения используется для репликации данных между подсистемами хранения на удаленные расстояния в подключенном состоянии и в реальном времени.
  • Volumecopy (копирование тома). Опция volumecopy представляет собой механизм репликации данных с логических дисков в пределах массива хранения на основе микропрограммного обеспечения. Пользователи отправляют запросы volumecopy, указывая два совместимых диска. Один диск является источником, а другой – целевым диском. Запрос volumecopy является постоянным, так что результаты процесса копирования могут быть сообщены пользователю.
  • Разделение хранилища (storage partitioning). Дает возможность пользователю представить все тома хранилища в SAN через различные разделы путем сопоставления томов хранилища номерам LUN, где каждый раздел соответствует LUN от 0 до 255. Такое сопоставление томов или LUN относится только к порту или портам, настроенным на доступ к этому LUN. Эта функция также позволяет осуществлять поддержку одновременного подключения нескольких узлов, использующих различные операционные системы, и их подсистем дискового хранения к одному серверу хранения DS4xxx.

Сервер хранения Enterprise Storage Server (ESS/Shark)

Серверы хранения IBM Enterprise Storage Server (ESS) представляют собой второе поколение дисковой системы хранения Seascape®, обеспечивающей наилучшие в отрасли показатели доступности, производительности, управляемости и масштабируемости. Уровни RAID в ESS предопределены в виде нескольких конфигураций и имеют ограниченные возможности изменения. Доступны следующие уровни RAID: RAID-1, RAID-5 и RAID 0+1.

Сервер IBM Enterprise Storage Server (ESS) не просто осуществляет общее хранение между различными промышленными платформами; он может повысить производительность, доступность, масштабируемость и управляемость ресурсов хранения предприятия с использованием различных мощных средств. Некоторые из средств по названию сходны со средствами FAStT/DS4xxx Storage, однако их технические концепции значительно различаются. Ниже приведены некоторые из возможностей.

  • FlashCopy. Обеспечивает возможность быстрого дублирования данных. Эта опция позволяет устранить необходимость в остановке приложений на длительные периоды времени для выполнения операций резервного копирования и восстановления.
  • Одноранговое удаленное копирование (peer-to-peer remote copy). Эта функция поддерживает наличие синхронной копии данных (всегда соответствующей основной копии) в удаленном расположении. Эту резервную копия данных можно легко использовать для восстановления после сбоя в основной системе без потери каких-либо транзакций; эта опция позволяет обеспечить бесперебойную работу приложений электронного бизнеса.
  • Расширенная удаленная копия (Extended remote copy, XRC). Эта функция обеспечивает наличие копии данных в удаленном расположении (которое может быть подключено с использованием телекоммуникационных линий на неограниченном расстоянии), используемой в случае отказа основной системы хранения. В функции XRC в ESS реализована полная поддержка незапланированных отключений. В случае отказа телекоммуникационной связи эта опция позволяет быстро выполнить синхронизацию удаленной резервной копии без дублирования всех данных с основного расположения в целях защиты полного аварийного восстановления.
  • Настраиваемые тома. Позволяют выполнять определение томов различных размеров для высокопроизводительных серверов, что дает администраторам возможность настраивать оптимальную производительность систем.
  • Разделение хранилища. Позволяет более эффективно использовать устройства хранения, предоставляя каждому серверу доступ к собственному пулу хранения. Пулы хранения могут совместно использоваться несколькими серверами.

Дополнительные сведения о конфигурировании Enterprise Storage Server см. в руководстве IBM TotalStorage Enterprise Storage Server Service Guide 2105 Model 750/800 and Expansion Enclosure, Volume 1, SY27-7635.

Серии IBM TotalStorage DS6000 и DS8000

Эти новые подсистемы хранения также поддерживаются в HACMP, однако на момент написания данной книги у нас не было ни достаточной информации, ни оборудования для тестирования.

Подробные сведения о сериях DS6000 и DS8000 и об их поддержке см. на веб-сайте http://www-1.ibm.com/servers/eserver/pseries/ha/

Архитектура SSA (Serial Storage Architecture)

Архитектура SSA является отраслевым стандартом интерфейса, обеспечивающего высокопроизводительное отказоустойчивое подключение устройств хранения. В подсистемах SSA осуществляется мультиплексирование передач на несколько узлов назначения; эффективная пропускная способность также повышается путем пространственного повторного использования отдельных связей. Команды автоматически перенаправляются с одного устройства на другое в кольце, пока не будет достигнуто целевое устройство. Одновременно по кольцу может передаваться несколько команд.

SSA поддерживает RAID-0, RAID-1, RAID-5 и RAID 0+1. Чтобы использовать любую из установок RAID, необходимо следовать правилам колец для дисковых стоек SSA. Для создания RAID-массива необходимо использование специальных соединений на дисках. Дополнительные сведения о конфигурации RAID в IBM SSA см. в руководстве IBM Advanced SerialRAID Adapters Installation Guide, SA33-3287.

Евгений Матюшонок
Евгений Матюшонок
Беларусь, Минск
Денис Гаврин
Денис Гаврин
Россия