Составляющие высокой доступности
Данные конфигурации HACMP
Существует две основные составляющие конфигурации кластера:
- Топология кластера – описывает базовую инфраструктуру – узлы, сети и системы хранения. HACMP использует эту инфраструктуру для обеспечения высокой доступности другой основной составляющей – ресурсов.
- Ресурсы кластера – компоненты, которые HACMP может перемещать с одного узла на другой, например сервисные IP-метки, файловые системы и приложения.
После конфигурирования кластера топология кластера и информация о ресурсах вводятся на одном из узлов, выполняется процесс верификации, после чего выполняется синхронизация данных на других узлах кластера. HACMP хранит эти данные в своих классах ODM (Object Data Manager) на каждом узле в кластере.
Хотя конфигурирование и изменение настроек HACMP можно осуществлять с любого узла в кластере, рекомендуется выполнять административные операции с одного узла, чтобы обеспечить последовательность определений HACMP в кластере; это позволяет избежать обновления конфигурации кластера с нескольких узлов, что может привести к несогласованности данных.
Мы рекомендуем выполнить следующие основные действия по конфигурированию кластера:
- определите кластер и узлы;
- изучите (проведите процесс обнаружения discovery) дополнительную информацию (сети, диски);
- определите топологию;
- выполните верификацию и синхронизацию топологии, после чего запустите службы кластера;
- определите ресурсы и группы ресурсов;
- выполните верификацию и синхронизацию ресурсов.
Конфигурация AIX
Вы должны знать, что HACMP при установке и/или запуске вносит некоторые изменения в систему.
Изменения при установке
- Изменения в файлах:
- Добавление группы hacmp.
- Кроме того, при конфигурировании и верификации кластера можно также внести изменения в файл /etc/hosts путем добавления или удаления записей.
- Изменение значений следующих сетевых опций:
- routerevalidate. Устанавливается значение "1" – маршрут каждого подключения, содержащийся в кеше, следует подтверждать при добавлении каждого нового маршрута в таблицу маршрутизации. Это позволяет обеспечить использование приложениями, поддерживающими одно и то же подключение открытым в течение длительного времени, правильного маршрута после внесения изменений в таблицу маршрутизации.
- nonlocsrcroute. Устанавливается значение "1" – позволяет осуществлять адресацию пакетов с флагом "source route" на узлы за пределами локальной сети.
- ipsrcrouterecv. Устанавливается значение "1" – позволяет осуществлять прием системой пакетов с флагом "source route".
Настройка параметров операционной системы
В прошлом поддерживалась идея настройки AIX для работы HACMP, однако в настоящее время мы придерживаемся мнения, что система должна быть настроена на работу приложения, а не HACMP. Например, если система на время зависает, а HACMP реагирует, систему следует настроить таким образом, чтобы приложение не зависало. Хотя можно настроить систему так, чтобы HACMP был менее чувствительным, не существует общих правил настройки AIX для работы HACMP.
Компоненты программного обеспечения
Компоненты программного обеспечения кластера HACMP описываются следующей многоуровневой моделью.
- Уровень приложения. Любое приложение, для которого обеспечивается высокая доступность с использованием служб HACMP.
- Уровень HACMP. Программное обеспечение, реагирующее на изменения в кластере и обеспечивающее высокую доступность управляемых приложений.
- Уровень RSCT. Демоны, осуществляющие мониторинг членства узлов, коммуникационного интерфейса и работоспособности устройств и соответствующим образом информирующие HACMP.
- Уровень AIX. Обеспечивает поддержку HACMP через уровень LVM, осуществляющий управление хранением, и уровень TCP/IP, обеспечивающий связь.
- Уровень LVM. Обеспечивает доступ к хранилищу и сообщает информацию состояния в HACMP.
- Уровень TCP/IP. Обеспечивает надежную связь как между различными узлами, так и между узлом и клиентом.
- Уровень приложения может содержать:
- код приложения (программы, демоны, расширения ядра и т. д.);
- конфигурационные данные приложения (файлы или двоичные данные);
- данные приложения (файлы или устройства прямого доступа).
- Уровень HACMP содержит:
- Уровень RSCT содержит:
- Уровень AIX содержит:
Топология кластера
Топология кластера обозначает физическое представление кластера и соединений аппаратных компонентов кластера через сети (IP и отличные от IP). Чтобы понять работу HACMP, необходимо прежде понять базовую топологию кластера – роль каждого компонента и взаимодействие в HACMP. В этом разделе описываются:
- кластер HACMP (HACMP cluster);
- узлы (Nodes);
- сайты (Sites);
- сети (Networks);
- коммуникационные интерфейсы/устройства (Communication interfaces/devices);
- постоянные IP-метки/адреса узла (Persistent node IP labels/addresses);
- сетевые модули (Network [Interface] Modules, NIM);
- службы топологии и групп (Topology and group services);
- клиенты (Clients). На рис. 2.2 представлена типичная топология кластера, включающего:
- три узла;
- две IP-сети (логические сети HACMP) с резервированием интерфейсов на каждом узле;
- общее хранилище;
- соединения "точка-точка", отличные от IP (последовательные), между узлами, сконфигурированные в качестве независимых физических сетей, но соединяющие узлы в виде кольцевой конфигурации.
Кластер HACMP
Кластеру присваивается имя длиной до 32 символов (из символов [a–z], [A–Z], [0–9], "_") и начинающееся с буквы. Также с кластером связывается идентификатор (ID) кластера (число). HACMP 4.5 и более поздние версии генерируют уникальный идентификатор кластера автоматически. Этот идентификатор используется во всех пакетах пульса (heartbeat packets), поэтому два кластера в одной сети не должны иметь одинаковый идентификатор.
Узлы кластера
Узлы составляют ядро кластера HACMP. Узел представляет собой сервер, на котором выполняется образ операционной системы AIX (автономный или раздел), код HACMP и программное обеспечение приложения. Максимальное количество узлов, поддерживаемое кластером HACMP, – 32.
При определении узла кластера необходимо назначить ему уникальное имя и путь для связи (communication path) (IP-адрес или преобразуемая в адрес IP-метка, связанная с одним из интерфейсов на этом узле). Начиная с HACMP 5.1 в качестве имени узла может использоваться короткое имя узла, полное доменное имя узла (hostname. domain.name) или любое имя длиной до 32 символов (из символов [a–z], [A–Z], [0–9], "_") и начинающееся с буквы.
Путь для связи сначала используется HACMP для подтверждения наличия доступа к узлу, затем используется для наполнения ODM на каждом узле в кластере после установления безопасных соединений между узлами. Однако после конфигурирования топологии кластера HACMP может использовать любой интерфейс для связи между узлами в кластере.
HACMP больше не требует, чтобы имя узла представляло преобразуемую в адрес IP-метку, т. е. адрес на одном из IP-интерфейсов. В целях согласованности рекомендуем использовать имя хоста (hostname), подлежащее разрешению в постоянный IP-адрес (persistent IP address), связанный с узлом, однако это не является обязательным условием.
Внимание! На момент публикации ситуация такова, что при конфигурировании HACMP с CUoD или DLPAR имена LPAR (определенные на HMC) должны соответствовать именам узлов HACMP и именам хостов (hostname) в AIX.
Сайты
Использование сайтов не является обязательным. Они предназначены для применения в конфигурациях с межсайтовым зеркальным отображением (cross-site mirroring) и/или HACMP/XD. Сайт состоит из одного или нескольких узлов, сгруппированных в определенном месте. HACMP поддерживает разделение кластера на два сайта. Взаимоотношения сайтов также могут быть частью определения группы ресурсов, однако этот атрибут надо игнорировать (поставить в значение ignore ), если сайты не определены/используются.
Можно применять сайты вне конфигураций HACMP/XD и зеркального отображения, однако в этом случае необходимо реализовать соответствующие методы настройки для обеспечения операций сайта. Если сайты определены, события сайтов обрабатываются во время событий node_up и node_down.
Кроме того, существует две характеристики сайтов, которые необходимо определить:
- Доминирование (dominance). Какой из сайтов является доминирующим.
- Резервные связи сайтов (site backup communications). Могут быть либо не установлены, либо установлены dbfs (dial back fail safe) или sgn (для сети geo_ secondary).
Методы резервной связи используются при отказе основной IP-сети связи между двумя сайтами во избежание разделения сайтов (т. н. "split brain1Ситуация "split brain" возникает, когда каждый сайт (или узел в кластере) считает, что соседний сайт (узел) полностью вышел из строя, в то время как он на самом деле продолжает работать. В результате каждый сайт пытается завладеть ресурсами, что может привести к непредсказуемым (и даже катастрофическим) результатам. " Сайт, не являющийся доминирующим, попытается связаться с доминирующим сайтом, используя сеть резервной связи сайтов, и, если доминирующий сайт все еще работает, он остановится.
Сети
В HACMP термин "сеть" используется для определения логического объекта, объединяющего коммуникационные интерфейсы и устройства, используемые для связи между узлами в кластере, а также для доступа клиентов. В HACMP сети могут быть определены как IP-сети (IP networks) или как сети, отличные от IP (non-IP networks).
При описании сетевых функций HACMP используются следующие термины:
- IP-адрес: десятичный IP-адрес с разделяющими точками.
- IP-метка (IP label): метка, связанная с конкретным IP-адресом, определенная методом разрешения имен (DNS или статический, т. е. /etc/hosts).
- Базовая IP-метка/адрес (Base IP label/address): заданная по умолчанию IP-метка/ адрес, установленная для интерфейса операционной системой AIX при запуске. Базовый адрес интерфейса.
- Сервисная IP-метка/адрес (Service IP label/address): IP-метка/адрес, через который предоставляется обслуживание; может быть привязан к одному узлу или совместно использоваться несколькими узлами. Хотя эти адреса не являются частью топологии, HACMP обеспечивает их высокую доступность.
- Загрузочный интерфейс (Boot interface). В ранних версиях HACMP использовались термины "загрузочный адаптер" (boot adapter) и "резервный адаптер" (standby adapter), в зависимости от функции. Эти термины были объединены в один термин, описывающий любой интерфейс IP-сети, который может использоваться HACMP для содержания сервисной IP-метки/адреса.
- IP-синонимы (IP aliases). IP-синоним представляет собой IP-адрес, добавляемый к интерфейсу, но не заменяющий его базовый IP-адрес. Является функцией AIX, поддерживаемой HACMP, хотя HACMP все еще требует использования только одной маски подсети для всех адресов, связанных с адаптером.
- Логический сетевой интерфейс (Logical network interface). Имя, в которое AIX осуществляет разрешение порта (например, en0) физического сетевого адаптера.
Рекомендуется, чтобы все вышеперечисленные IP-адреса были определены в одном файле /etc/hosts и чтобы этот файл был одинаковым на всех узлах кластера. При этом, конечно же, необязательно использовать полные доменные имена. Когда HACMP осуществляет обработку изменений в сети, переменная NSORDER установлена в значение local (т. е. для разрешения имен используется /etc/hosts); и все же рекомендуется, чтобы это было указано в файле /etc/netsvc.conf.
Коммуникационные интерфейсы HACMP
Термин "коммуникационный интерфейс" (или просто "интерфейс") обозначает физический адаптер, поддерживающий протокол TCP/IP и представленный IP-адресом. Сетевые интерфейсы, подключенные к общей физической сети, объединяются в логические сети, используемые HACMP.
Каждый интерфейс может иметь несколько TCP/IP-адресов. При конфигурировании кластера определяются IP-адреса, для которых HACMP осуществляет мониторинг с использованием RSCT (базовые или загрузочные IP-адреса), а также IP-адреса, для которых следует обеспечивать высокую доступность (сервисные IP-адреса и постоянные синонимы).