Планирование

Администрирование пользователей

Большинство приложений требует, чтобы информация о пользователях (идентификатор пользователя, членство в группе, идентификатор группы) была согласованной на всех узлах кластера, чтобы пользователи могли подключиться к работающим узлам без возникновения проблем.

Это особенно важно в ситуациях перемещения при сбое (перехвата). Очень важно, чтобы пользователь приложения был способен осуществлять доступ к общим файлам с любого узла в кластере. Обычно это означает, что идентификатор пользователя (UID) и идентификатор группы (GID), связанные с приложением, должны быть одинаковы на всех узлах.

При подготовке к конфигурированию кластера важно это учитывать и в случае необходимости исправить; в противном случае могут возникнуть проблемы с обслуживанием во время перемещения при сбое.

После установки HACMP содержит средства управления учетными записями пользователей и групп AIX 5L в кластере HACMP. Также имеется утилита для авторизации заданных пользователей и изменения их пароля на всех узлах в кластере HACMP.

Группа HACMP

При установке HACMP, если группа hacmp не существует, она будет создана. При создании группы HACMP просто берет следующий доступный идентификатор GID для группы hacmp.

IP-порты HACMP

Помимо портов, перечисленных в файле /etc/services, следующие службы также требуют использования портов, однако эти порты выбираются произвольным образом при запуске процесса. В настоящее время нет способа выделения определенных портов, просто помните об их наличии. Для примера представлены типичные номера портов (однако при необходимости они могут быть изменены):

• #clstrmgr 870/udp,
• #clstrmgr 871/udp,
• #hatsd 32789/udp,
• #clinfo 32790/udp.

Планирование наборов файлов HACMP

HACMP требует, чтобы определенные файлы были одинаковыми на всех узлах кластера. К таким файлам относятся скрипты обработки событий, скрипты приложений, некоторые файлы конфигурации AIX 5L и файлы конфигурации HACMP. Средство HACMP File Collections позволяет выполнять автоматическую синхронизацию этих файлов между узлами кластеров, выдавая предупреждения в случае неожиданных результатов (например, если один или несколько файлов из набора были удалены или имеют нулевую длину на одном или нескольких узлах кластера).

Управление этими наборами файлов можно осуществлять через меню SMIT. С помощью SMIT можно добавлять, удалять и изменять наборы файлов для соответствия вашим потребностям.

Стандартные наборы файлов HACMP

При установке HACMP происходит установка следующих наборов файлов (file collections):

• Configuration_Files,
• HACMP_Files.

Configuration_Files

Набор Configuration_Files представляет контейнер для следующих важных системных файлов:

• /etc/hosts,
• /etc/services,
• /etc/snmpd.conf,
• /etc/snmpdv3.conf,
• /etc/rc.net,
• /etc/inetd.conf,
• /usr/es/sbin/cluster/netmon.cf,
• /usr/es/sbin/cluster/etc/clhosts,
• /usr/es/sbin/cluster/etc/rhosts.

Можно изменять опции распространения для этого набора файлов, а также добавлять и удалять файлы из этого набора файлов.

HACMP_Files

Набор HACMP_Files представляет контейнер, в котором обычно находятся настраиваемые пользователем файлы конфигурации HACMP, в частности скрипты запуска/ остановки, настраиваемые события и т. д. Этот набор файлов не может быть удален или изменен, и файлы из этого набора нельзя удалить, изменить или добавить.

Планирование сетей кластера

Конфигурация сети представляет основной компонент схемы кластера. В стандартной кластерной среде клиенты осуществляют доступ к приложениям через сеть TCP/IP (обычно через Ethernet) с использованием сервисного адреса.

HACMP обеспечивает высокую доступность этого сервисного адреса, а также при необходимости перемещение этого адреса между коммуникационными интерфейсами в одной сети. HACMP пересылает пакеты пульса между всеми коммуникационными интерфейсами (адаптерами) в сети, чтобы определить состояние адаптеров и узлов и предпринять необходимые меры.

Чтобы не допустить возникновения единой точки отказа в сетевом протоколе TCP/IP, а также разделения кластера, HACMP также использует отличные от IP сети типа "точка-точка" для мониторинга пульса. Это позволяет HACMP определить причину отказа, например отказ TCP/IP или отказ узла.

В этом разделе мы рассмотрим каждый тип сети и выберем соответствующие сетевые подключения и адреса.

На рис. 3.4 представлен обзор сетей, используемых в кластере.

Сеть Ethernet применяется для открытого доступа; к ней с каждого узла подключается несколько адаптеров. Эта сеть содержит базовые IP-адреса, постоянные IP-адреса и сервисные IP-адреса. Можно использовать несколько сетей, однако для простоты описания мы будем применять только одну.

Также показана последовательная сеть RS232. Она представляет собой сеть типа "точка-точка" с прямым подключением, с кабельным соединением между последовательными портами на каждом узле.

Также представлена сеть пульса через диски (а также сеть типа "точка-точка"). При использовании SAN-дисков можно легко реализовать мониторинг пульса через диски, так как это не требует дополнительного оборудования. Кроме того, в multipathконфигурации устройств применение устройства vpath, в отличие от hdisk, позволяет использовать возможности программного обеспечения SDD. Другими словами, в hdisk применяется только один путь к устройству, тогда как в vpath обычно используется несколько путей. Multipath-устройства могут быть сконфигурированы при употреблении нескольких дисковых адаптеров на узле, нескольких адаптеров хранилища или при одновременном использовании и того и другого.

Рис. 3.4. Сети кластера HACMP

Все сетевые подключения применяются HACMP для мониторинга состояния сети, адаптеров и узлов кластера.

В нашем примере мы планируем использовать сеть Ethernet и сеть пульса через диски, а не сеть RS232.

Терминология

Этот раздел содержит краткий обзор терминологии, применяемой в обсуждениях сетевых возможностей HACMP.

IP-метки

IP-метки (IP labels) представляют собой имена, связанные с IP-адресами, подлежащими разрешению системой (/etc/hosts, BIND и т. д.).

Сервисная IP-метка/адрес

Сервисная IP-метка/адрес (service IP label/address) представляет собой IP-адрес или метку, через которую осуществляется обслуживание. Обычно она представляет собой адрес, используемый клиентами для доступа к приложению. Она может быть привязана к узлу либо совместно использоваться узлами, и HACMP обеспечивает его высокую доступность.

Постоянная IP-метка/адрес

Постоянная IP-метка/адрес (persistent IP label/address) – это IP-синоним, привязанный к узлу, управляемый HACMP. Другими словами, постоянный синоним никогда не перемещается на другой узел; иногда он называется привязанным к узлу (node-bound).

Коммуникационный интерфейс

Коммуникационный интерфейс (communication interface) – это физический интерфейс, поддерживающий протокол TCP/IP. В качестве примера можно привести Ethernetадаптер. Представлен IP-меткой времени загрузки или базовой IP-меткой.

Коммуникационное устройство

Коммуникационное устройство (communication device) – это физическое устройство, представляющее сторону отличной от IP сети типа "точка-точка". Например: /dev/tty1 и /dev/vpath0.

Коммуникационный адаптер

Коммуникационный адаптер (communication adapter) – это физический адаптер X25, высокая доступность которого поддерживается HACMP.

Сетевая интерфейсная карта (NIC)

Сетевая интерфейсная карта (Network Interface Card, NIC) – это обычный физический адаптер, используемый для предоставления доступа к сети, например Ethernetадаптер считается сетевой интерфейсной картой.

Общие аспекты сети

Данный раздел содержит множество аспектов, которые следует помнить при разработке конфигурации сети.

Поддерживаемые типы сетей

HACMP позволяет осуществлять межузловую связь в TCP/IP-сетях следующих типов. (следует заметить, что наиболее часто используемой сетью является Ethernet):

• Ethernet;
• Token-Ring;
• Fiber Distributed Data Interchange (FDDI);
• ATM и эмуляция ATM LAN;
• SP Switch1 и SP Switch2;
• Etherchannel (или 802.3ad Link Aggregation).

Следующие TCP/IP-сети не поддерживаются:

• Средство VIPA (Virtual IP Address) в системе AIX 5L;
• Serial Optical Channel Converter (SOCC);
• SLIP;
• FC Switch (FCS);
• IBM HPS (High Performance Switch);
• 802_ether;
• IP V6.

Можно сконфигурировать мониторинг пульса посредством сетей "точка-точка" следующих типов:

• последовательная сеть RS232;
• мониторинг пульса через диски (через диски в режиме расширенного одновременного доступа);
• Target mode SSA (почти устарел);
• Target mode SCSI (устарел).

Сетевые подключения

HACMP требует, чтобы каждый узел в кластере имел как минимум одно прямое немаршрутизируемое сетевое подключение ко всем остальным узлам. Эти сетевые подключения передают сообщения пульса между узлами кластера для определения состояния всех узлов кластера, сетей и сетевых интерфейсов.

HACMP также требует, чтобы все коммуникационные интерфейсы для заданной сети кластера были определены в одной физической сети, осуществляли маршрутизацию пакетов и получали ответы друг от друга без помех от другого сетевого оборудования.

Не используйте интеллектуальные коммутаторы, маршрутизаторы или другое сетевое оборудование, которые не осуществляют прозрачную передачу широковещательной рассылки UDP и других пакетов между всеми узлами кластера.

Мосты, концентраторы и прочие пассивные устройства, не изменяющие поток пакетов, можно благополучно размещать между узлами кластера, а также между узлами и клиентами.

На рис. 3.5 показана физическая конфигурация Ethernet с двумя Ethernet-адаптерами на каждом узле, подключенными через два коммутатора; все узлы сконфигурированы в одной физической сети (VLAN). Это иногда называется расположением в одном "домене коллизий" MAC.

Etherchannel

HACMP поддерживает применение Etherchannel (или Link Aggregation) для подключения к сети Ethernet. Etherchannel может быть полезен, если вы посчитаете нужным использовать несколько Ethernet-адаптеров как для увеличения пропускной способности сети, так и для перемещения при сбое, но при этом также требуется сохранить простоту конфигурации HACMP. При употреблении Etherchannel можно просто задать интерфейс

Рис. 3.5. Подключения к коммутаторам в сети Ethernet

EtherChannel представляет собой технологию агрегации сетевых портов, позволяющую объединять несколько Ethernet-адаптеров для создания одного псевдоEthernet-устройства. Например, ent0 и ent1 можно объединить в адаптер EtherChannel под названием ent3; затем можно настроить IP-адрес для интерфейса en3. Система считает эти объединенные адаптеры одним адаптером. Таким образом, IP-адрес настраивается для них как для любого Ethernet-адаптера. Кроме того, всем адаптерам в EtherChannel назначается один аппаратный (MAC) адрес, так что для удаленных систем они представляются как один адаптер.

Основное преимущество технологии EtherChannel состоит в том, что она использует сетевую пропускную способность всех адаптеров. При отказе адаптера сетевой трафик автоматически передается на следующий доступный адаптер без разрыва существующих пользовательских подключений. После восстановления адаптер автоматически возвращается к работе.

В дополнение к функции агрегации также можно выполнить назначение резервного адаптера. Этот адаптер конфигурируется как часть Etherchannel, но остается неактивным, пока не откажут все основные адаптеры. Это называется резервированием сетевого интерфейса (Network Interface Backup, NIB).

EtherChannel представляет собой технологию агрегации сетевых портов, позволяющую объединять несколько Ethernet-адаптеров для создания одного псевдоEthernet-устройства. Например, ent0 и ent1 можно объединить в адаптер EtherChannel под названием ent3; затем можно настроить IP-адрес для интерфейса en3. Система считает эти объединенные адаптеры одним адаптером. Таким образом, IP-адрес настраивается для них как для любого Ethernet-адаптера. Кроме того, всем адаптерам в EtherChannel назначается один аппаратный (MAC) адрес, так что для удаленных систем они представляются как один адаптер.

Основное преимущество технологии EtherChannel состоит в том, что она использует сетевую пропускную способность всех адаптеров. При отказе адаптера сетевой трафик автоматически передается на следующий доступный адаптер без разрыва существующих пользовательских подключений. После восстановления адаптер автоматически возвращается к работе.

В дополнение к функции агрегации также можно выполнить назначение резервного адаптера. Этот адаптер конфигурируется как часть Etherchannel, но остается неактивным, пока не откажут все основные адаптеры. Это называется резервированием сетевого интерфейса (Network Interface Backup, NIB).

При планировании сети Etherchannel необходимо учитывать следующее:

• основные (агрегированные) линии должны быть подключены к одному коммутатору;
• необходимо настроить сетевой коммутатор, указав, какие порты использует Etherchannel;
• резервный сетевой интерфейс должен быть подключен к отдельному коммутатору;
• использование адаптеров с разной скоростью передачи не поддерживается.

На рис. 3.6 представлена простая конфигурация Etherchannel с двумя адаптерами, подключенными к одному коммутатору, и с резервным адаптером, подключенным к отдельному коммутатору. В этой конфигурации HACMP настраивается на использование только одного базового адаптера на узел (en3). В нашем примере базовый, постоянный и сервисный IP-адреса будут находиться на одном адаптере, пока не произойдет перемещение при сбое на другой узел.

На рис. 3.7 показана несколько более сложная конфигурация, в которой каждый узел имеет два адаптера Etherchannel, по одному на каждый коммутатор. При такой конфигурации HACMP использует адаптеры Etherchannel в качестве базовых.

Рис. 3.6. Etherchannel с резервированием сетевого интерфейса

Рис. 3.7. Конфигурация с несколькими адаптерами Etherchannel

Имена хостов и имена узлов

Обычно имя хоста совпадает с именем узла HACMP. При использовании пути конфигурации "Standard" ("Базовая") HACMP получает с узла имя хоста и использует его в качестве имени узла. При использовании расширенного пути конфигурирования (Extended Configuration path) можно задать имя узла самостоятельно.

В том случае, если приложение требует переноса имени хоста в AIX 5L в случае перемещения при сбое на другой узел вместе с приложением, следует использовать скрипты преди постобработки для изменения имени хоста таким образом, чтобы оно соответствовало сервисной IP-метке при перемещении группы ресурсов, содержащей это приложение, на другой узел.

Мы рекомендуем вам избегать таких ситуаций, так как они ограничивают варианты перемещения при сбое. Например, вы не можете изменить имя хоста на резервном узле, если на нем уже выполняется приложение. В этом случае потребуется сконфигурировать дежурный узел.

/etc/hosts

IP-адрес и связанная с ним метка (имя) должны быть заданы в файле /etc/hosts. Мы рекомендуем выбрать один из узлов кластера для выполнения всех изменений в этом файле, а затем использовать FTP или наборы файлов HACMP для распространения файла /etc/hosts на другие узлы.

IP-метки

Постоянные IP-адреса (синонимы)

Основная цель использования постоянных синонимов состоит в том, чтобы обеспечить доступ к узлу с отключенными службами HACMP. Постоянный синоним представляет собой маршрутизируемый адрес, доступ к которому сохраняется, пока работает узел. Этот синоним требуется сконфигурировать через HACMP. При запуске HACMP выполняется проверка доступности синонима, и если он недоступен, HACMP конфигурирует его на доступном адаптере в выделенной сети. Если синоним уже доступен, HACMP сохраняет его.

Постоянный синоним

• Всегда находится на одном узле (привязан к узлу).
• Сосуществует с другими IP-метками на интерфейсе.
• Не требует установки дополнительного физического интерфейса на узле.
• Не входит в какую-либо группу ресурсов.

Примечание. Постоянный IP-адрес назначается HACMP на одном коммуникационном интерфейсе, входящем в сеть, определенную в HACMP.

Рис. 3.8 иллюстрирует понятие постоянного адреса. Заметьте, что он представляет собой просто еще один IP-адрес, сконфигурированный на одном из базовых интерфейсов. Команда netstat отображает его как дополнительный IP-адрес адаптера.

Рис. 3.8. Постоянные синонимы

Подсети

Требования к подсетям колеблются в зависимости от выбранной конфигурации (перехват IP-адреса посредством замены или посредством синонимов), однако в HACMP маски подсетей для всех коммуникационных интерфейсов, определенных в HACMP, должны быть одинаковыми.

При перехвате IP-адреса посредством замены:

• базовый и сервисный IP-адреса на основном адаптере должны относиться к одной подсети;
• все базовые IP-адреса на дополнительных адаптерах должны относиться к разным подсетям (должны быть отличными друг от друга и от основного адаптера).

При перехвате IP-адреса посредством синонимов:

• все базовые IP-адреса на узле должны относиться к разным подсетям (если не используется мониторинг пульса через IP-синонимы);
• все сервисные IP-адреса должны относиться к подсети, отличной от любой из базовых подсетей;
• сервисные IP-адреса могут относиться как к одной, так и к различным подсетям;
• постоянный IP-адрес может относиться как к той же подсети, к которой относится и сервисный IP-адрес, так и к другой подсети;
• если вы решите использовать мониторинг пульса через IP-синонимы, то базовые IP-адреса могут относиться как к одной подсети, так и к различным подсетям, так как при этом HACMP не осуществляет их мониторинг, а только мониторинг синонимов, заданных в HACMP.

Аспекты шлюза (маршрута) по умолчанию

В зависимости от конфигурации вашей IP-сети при управлении интерфейсами из HACMP может произойти потеря маршрута по умолчанию.

Если маршрут по умолчанию привязан к одной из подсетей базового адреса, то при отказе этого адаптера произойдет потеря маршрута по умолчанию.

Чтобы не допустить возникновения такой ситуации, мы рекомендуем использовать постоянный адрес и привязать маршрут по умолчанию к этой подсети. Постоянный адрес будет активным, пока будет активным узел; таким образом, маршрут по умолчанию также будет активным.

Если вы решите этого не делать, то придется создать скрипт постобработки события, чтобы восстановить маршрут по умолчанию при возникновении проблемы.

Обновление ARP-кеша

При изготовлении каждой сетевой интерфейсной карте (Network Interface Card, NIC) назначается уникальный аппаратный адрес – MAC-адрес (Media Access Control). MACадрес представляет адрес, используемый сетевыми драйверами для отправки пакетов между сетевыми картами в локальной сети. Большинство систем ведут список, содержащий недавно использовавшиеся IP-адреса и соответствующие им MAC-адреса и называемый ARP-кешем. Так как HACMP может перемещать IP-адреса между сетевыми картами, некоторые записи клиентского ARP-кеша могут быть неточными.

После возникновения события в кластере, узлы и сетевые устройства HACMP, поддерживающие смешанный режим (promiscuous mode), автоматически обновляют свои ARPкеши. Клиенты и сетевые устройства, не поддерживающие смешанный режим, продолжают содержать неправильные записи. Это можно исправить одним из двух способов:

• Посредством использования альтернативных аппаратных адресов. Нужно настроить HACMP на перемещение как IP-адреса, так и MAC-адреса (работает только при перехвате IP-адреса посредством замены).
• Обновлением ARP-кеша посредством использования записей ping_client_list в clinfo.rc.

HACMP в коммутируемой сети

При использовании VLAN все интерфейсы, определенные в HACMP для заданной сети, должны относиться к одной VLAN. Таким образом, все адаптеры в одной сети должны быть подключены к одной физической сети и вести обмен данными друг с другом ("видеть" MAC-адреса друг друга).

Нужно убедиться, что коммутатор обеспечивает своевременную реакцию на ARPзапросы. Для многих моделей коммутаторов это означает отключение следующих функций:

• алгоритм spanning tree,
• portfast,
• uplinkfast,
• backbonefast.

Если требуется, чтобы алгоритм spanning tree был включен, то функция portfast также должна быть включена.

Настройки скорости передачи в Ethernet

Так как согласование скорости передачи может вызвать проблемы в некоторых комбинациях адаптеров и коммутаторов, рекомендуется не использовать автоматическое согласование, а устанавливать требуемые значения скорости и дуплексного режима.