Планирование
Планирование требований к хранилищу
При планировании хранилища кластера необходимо учитывать следующие аспекты:
- Физические диски:
- Убедитесь в том, что для всех дисковых систем обеспечивается высокая доступность. Это может быть реализовано посредством зеркального отображения, технологии RAID и резервного оборудования.
- Внутренние диски. Обычно являются местом расположения rootvg.
- Внешние диски. Должны быть местом расположения данных приложения.
- Компоненты LVM:
Внутренние диски
Внутренний диск узла обычно содержит rootvg, а также может содержать исполняемые файлы приложений. Мы рекомендуем организовать зеркальное отображение внутреннего диска для обеспечения высокой доступности; другими словами, это позволяет устранить необходимость перемещения при сбое для всего узла по причине простого отказа внутреннего диска.
Общие диски
Данные приложений располагаются на внешнем диске, что позволяет обеспечить доступ к ним со всех нужных узлов. Такие диски называются общими дисками (shared disks).
Мы советуем убедиться в том, что общая группа томов может быть активизирована вручную на каждом узле, прежде чем требовать управления активизацией от HACMP. В кластере HACMP общие диски подключаются к нескольким узлам кластера.
В конфигурации без одновременного доступа в любой момент времени только один узел является владельцем дисков. При отказе узла-владельца, чтобы восстановить обслуживание клиентов, другой узел кластера из списка узлов группы ресурсов перехватывает владение общими дисками и перезапускает приложения.
Как правило, в зависимости от количества дисков в группе ресурсов и от метода перехвата дисков перехват может занимать от 30 до 300 с. HACMP поддерживает использование следующих дисковых технологий производства IBM в качестве общих внешних дисков в кластере высокой доступности:
- SCSI-приводы, включая подсистемы RAID;
- SSA-адаптеры и дисковые подсистемы производства IBM;
- адаптеры и дисковые подсистемы Fibre Channe;
- устройства Data path (VPATH) – SDD 1.3.1.3 или выше.
Дисковые подсистемы сторонних производителей также могут поддерживаться, однако нужно предварительно получить сведения об их поддержке у изготовителя оборудования.
При работе с общей группой томов:
- Не включайте внутренний диск в общую группу томов, так как он не будет доступен для других узлов.
- Не активизируйте (vary on) общие группы томов в кластере HACMP при загрузке системы. Для этого следует использовать скрипты обработки событий кластера. Убедитесь в том, что атрибут автоматической активизации в AIX 5L ODM для общих групп томов, перечисленных в группе ресурсов, установлен в значение No. Для исправления этого атрибута можно использовать утилиту верификации кластера.
Пример конфигурации дисков
На рис. 3.18 показаны различные дисковые конфигурации, которые могут использоваться в кластере. Обратите внимание на то, что для внутренних дисков осуществляется зеркальное отображение (rootvg) и что на каждом узле существует несколько адаптеров Fiber Сhannel (HBA), каждый из которых подключен к отдельному SANкоммутатору (для обеспечения избыточности).
Для проверки дисков следует использовать идентификаторы PVID, так как вполне возможно, что номер vpath на разных узлах может различаться в связи с нумерацией устройств в AIX.
Общие диски представлены разделенными на зоны для обоих узлов. Разделение на зоны выполняется через программное обеспечение управления хранилищем (SAN Storage Manager).
Группы томов в режиме расширенного одновременного доступа (ECM)
Любой диск, для которого HACMP обеспечивает поддержку подключения к нескольким узлам, может использоваться для создания группы томов в режиме расширенного одновременного доступа (enhanced concurrent mode) как в средах с одновременным доступом, так и в средах с без одновременного доступа.
- Среды с одновременным доступом. Приложение одновременно выполняется на всех активных узлах кластера. Чтобы такие приложения могли осуществлять доступ к своим данным, выполняется активизация групп томов с одновременным доступом на всех активных узлах кластера. После этого приложение отвечает за обеспечение согласованности доступа к данным.
- Среды без одновременного доступа. Приложение в любой заданный момент времени выполняется только на одном узле. К группам томов не осуществляется одновременный доступ; в любой момент времени доступ осуществляется с одного узла.
При активизации группы томов в режиме расширенного одновременного доступа LVM разрешает доступ к группе томов для всех узлов. Однако высокоуровневые подключения например, подключения (mounts) JFS или NFS, запрещены для всех узлов, кроме узла, который на данный момент является владельцем группы томов в HACMP.
В AIX 5.x группы томов в режиме ECM служат заменой классической опции одновременного доступа в HACMP. В новых версиях AIX (5.2 и выше) можно создавать только группы томов в режиме расширенного одновременного доступа. Хотя все еще можно использовать "старые" 32-разрядные группы томов с одновременным доступом, следует проанализировать ограничения, вызываемые обслуживанием таких групп томов в своем кластере. Дополнительные сведения см. в руководстве High Availability Cluster Multi-Processing for AIX 5L Planning and Installation Guide, SC23-4861-06.
Общие логические тома
Планирование общих логических томов связано с вопросом доступности данных. Обеспечение высокой доступности данных с использованием зеркального отображения или технологии RAID является ключевым требованием. Помните, что защита от отказов дисков в HACMP обеспечивается использованием механизмов LVM и хранилища (RAID), поэтому очень важно обеспечить высокую доступность дисковой инфраструктуры.
При планировании общих компонентов LVM необходимо учитывать следующие принципы:
- Копии логических томов и RAID-массивы обеспечивают защиту от потери данных в результате отказа физического диска.
- Все файлы операционной системы должны располагаться в корневой группе томов (root volume group, rootvg), а все пользовательские данные должны находиться вне этой группы.
- Группы томов, содержащие по меньшей мере три физических тома, обеспечивают максимальную доступность при реализации зеркального отображения.
- Если вы планируете задать для групп томов атрибут "Use Forced Varyon of Volume Groups if Necessary" ("При необходимости использовать принудительную активизацию групп томов"), то требуется применять максимально строгую политику выделения дисков для зеркальных физических томов – super strict.
- При зеркальном отображении LVM каждый физический том, содержащий копию, должен использовать отдельный источник питания. При отказе одного источника питания другие источники питания обеспечат отсутствие единой точки отказа.
- При планировании группы томов следует учитывать аспекты кворума. При включенном кворуме в группе томов из двух дисков возникает опасность потери кворума и доступа к данным. Следует либо построить трехдисковые группы томов(например, с использованием дисков/LUN для обеспечения кворума), либо отключить кворум.
- Необходимо помнить о разработанной конфигурации кластера. Узел, для которого не сконфигурирован перехват ресурсов, не должен владеть критическими группами томов.
- Убедитесь в том, что запланировано регулярное выполнение резервного копирования.
После создания дисковой инфраструктуры высокой доступности при планировании общих групп томов следует учитывать следующие элементы:
- Все общие группы томов должны иметь уникальные имена логических томов и файловых систем. Это относится и к файлам журналов jfs/jfs2.
- Не следует использовать встроенные журналы с общими файловыми системами JFS2.
- Старшие номера устройств для каждой группы томов должны быть уникальными (особенно если вы планируете использовать NFS).
На рис. 3.19 представлены основные компоненты внешнего хранилища. Обратите внимание на то, что имена всех логических томов и файловых систем являются уникальными, как и старший номер устройства для каждой группы томов. Обеспечение высокой доступности данных достигается путем использования диска SAN и дублирования путей к устройствам.
Быстрый перехват диска
HACMP автоматически обнаруживает отказы узлов и инициирует перехват дисков в процессе перехвата группы ресурсов. Традиционный процесс перехвата диска предполагает сброс бита резервирования диска SCSI (или SSA) перед активизацией (varying on) группы томов на резервном узле. Этот процесс может быть длительным, особенно при большом количестве дисков в группе томов.
Начиная с HACMP 5.1 в связи с поддержкой групп томов с расширенным одновременным доступом в AIX стало возможным сократить время перехвата диска (а значит, и группы ресурсов) с использованием опции быстрого перехвата диска. Если группа томов, используемая для общего доступа к файловой системе, была определена в режиме расширенного одновременного доступа, HACMP автоматически это обнаруживает и активизирует группу томов на всех узлах, входящих в эту группу ресурсов. Это устраняет необходимость сброса резервирования диска в случае перехвата. Для работы функции быстрого перехвата диска необходимо выполнение следующих требований:
- AIX 5L v.5.2 или выше;
- HACMP 5.1 или выше с набором файлов (fileset) bos.clvm.enh, установленным на всех узлах в кластере;
- использование групп томов в режиме расширенного одновременного доступа в группах ресурсов без одновременного доступа.
Для существующих групп томов, входящих в группы ресурсов без одновременного доступа, можно выполнить преобразование этих групп томов в группы томов с расширенным одновременным доступом после обновления программного обеспечения HACMP.
Фактическое время быстрого перехвата диска в любой конфигурации зависит от множества факторов, выходящих за рамки контроля HACMP, таких, как вычислительная мощность узлов и активность узлов во время перемещения при сбое.