Как объединить два сервера в кластер с помощью оптических сетевых карт

Объединение двух серверов в кластер с использованием оптических сетевых карт — это эффективный способ обеспечить высокую скорость передачи данных и низкую задержку. Такой подход идеально подходит для задач, требующих высокой производительности, таких как базы данных, виртуализация, высокопроизводительные вычисления (HPC) и распределенные системы хранения.

1. Выбор оборудования

1.1. Серверы

В нашем случае была необходимость делать резервное копирование с рабочей быстрой машины на старенькую медленную. Поэтому для примера рассмотрим два наших сервера:

• Сервер 1: HP ProLiant DL360 G7.
• Сервер 2: HP ProLiant DL360 G9.

1.2. Оптические сетевые карты

Мы решили остановить свой выбор на оптических картах в 10Gb. Сервер DL360 G9 более современный и поддерживает PCIe 3.0, что позволяет использовать более производительные сетевые карты. Также G9 имеет возможность подключения через слот FLR (FlexLOM) порт. PCI-E у нас занят. Там стоит Nvme диск.

Для каждого сервера нам потребуется оптическая сетевая карта с поддержкой SFP+. Вот рекомендуемые модели:

• Для DL360 G7:
  • HP NC523SFP (два порта SFP+, PCIe 2.0 x8).
  • HP NC550SFP (два порта SFP+, PCIe 2.0 x8).
• Для DL360 G9:
  • HP 561FLR-SFP+ (два порта SFP+, слот FLR).
  • HP 560FLR-SFP+ (два порта SFP+, слот FLR).

Сравнение

Между двумя картами разница не большая. Основные различия это RDMA и NVMe over Fabrics. Давайте так же немного разберёмся, что это за технологии.

RDMA (Remote Direct Memory Access)

Что это?

RDMA — это технология, которая позволяет одному компьютеру напрямую обращаться к памяти другого компьютера без участия процессора (CPU) и операционной системы. Это значительно снижает задержки и нагрузку на CPU.

Как это работает?

• Прямой доступ к памяти: Сетевой адаптер (NIC) с поддержкой RDMA может напрямую читать и записывать данные в память удаленного узла.
• Минимальное участие CPU: Процессор не участвует в передаче данных, что снижает нагрузку на него.
• Низкая задержка: Задержки значительно уменьшаются, так как данные передаются напрямую между сетевыми адаптерами.

Преимущества:

• Высокая производительность: RDMA обеспечивает высокую пропускную способность и низкую задержку.
• Снижение нагрузки на CPU: Процессор освобождается для выполнения других задач.
• Эффективность: Идеально подходит для высоконагруженных сред, таких как базы данных, виртуализация и высокопроизводительные вычисления (HPC).

Протоколы RDMA:

• InfiniBand: Специализированная сеть с низкой задержкой, часто используемая в HPC.
• RoCE (RDMA over Converged Ethernet): RDMA поверх Ethernet, что делает его более доступным для использования в стандартных сетях.
• iWARP: RDMA поверх TCP/IP, что обеспечивает совместимость с существующими сетями.

Где используется?

• Кластеры баз данных (например, Oracle RAC).
• Виртуализация (например, VMware vSphere).
• Высокопроизводительные вычисления (HPC).
• Системы хранения (например, SAN).

NVMe over Fabrics (NVMe-oF)

Что это?

NVMe over Fabrics — это технология, которая расширяет протокол NVMe (Non-Volatile Memory Express) для работы по сети. NVMe-oF позволяет использовать высокоскоростные SSD-накопители в сетевых хранилищах с минимальной задержкой.

Как это работает?

• NVMe: Протокол, разработанный для высокоскоростных SSD, который позволяет использовать их потенциал через интерфейс PCIe.
• NVMe-oF: Расширяет NVMe для работы по сети, используя различные транспортные протоколы (например, RDMA, Fibre Channel, TCP).

Преимущества:

• Высокая производительность: NVMe-oF обеспечивает низкую задержку и высокую пропускную способность.
• Масштабируемость: Позволяет использовать SSD-накопители в сетевых хранилищах, что упрощает масштабирование.
• Гибкость: Поддерживает различные транспортные протоколы (RDMA, Fibre Channel, TCP).

Транспортные протоколы NVMe-oF:

• NVMe over RDMA: Использует RDMA для передачи данных с минимальной задержкой.
• NVMe over Fibre Channel: Использует Fibre Channel для передачи данных.
• NVMe over TCP: Использует стандартный TCP/IP, что делает его совместимым с существующими сетями.

Где используется?

• Сетевые хранилища (SAN).
• Высокопроизводительные базы данных.
• Виртуализация и облачные вычисления.
• Большие данные и аналитика.

Сравнение RDMA и NVMe-oF:

Как они работают вместе?

RDMA часто используется как транспортный протокол для NVMe over Fabrics. Например, NVMe over RDMA позволяет достичь минимальной задержки при доступе к сетевым SSD-накопителям. Это особенно полезно в высокопроизводительных системах хранения и базах данных.

1.3. Оптические модули (SFP+)

Следующий важный момент для подключения серверов потребуются оптические модули SFP+. На рынке есть следующие варианты под наши задачи:

• Многомодовые модули: Cisco SFP-10G-SR (поддерживают расстояния до 300 метров по многомодовому кабелю OM3/OM4).
• Одномодовые модули: Cisco SFP-10G-LR (поддерживают расстояния до 10 км по одномодовому кабелю).

Так как два сервера у нас стоят в одной стойке, то наш вариант многомодовый.

1.4. Оптический кабель

Мы советуем выбор оптического кабеля в зависимости от расстояния между серверами:

• Многомодовый кабель OM3/OM4: Для коротких расстояний (до 100 метров).
• Одномодовый кабель: Для больших расстояний (до 10 км и более).

2. Установка и подключение оборудования

2.1. Установка сетевых карт

Для DL360 G7:

• Установите сетевую карту (например, HP NC523SFP) в свободный слот PCIe 2.0 x8.
• Закрепите карту и подключите её к материнской плате.

Для DL360 G9:

• Установите сетевую карту (например, HP 561FLR-SFP+) в слот FLR.
• Закрепите карту и подключите её к материнской плате.

2.2. Установка оптических модулей

• Вставьте оптические модули SFP+ в порты сетевых карт на обоих серверах.
• Убедитесь, что модули надежно зафиксированы.

2.3. Подключение оптического кабеля

• Соедините серверы оптическим кабелем LC-LC.
• Подключите один конец кабеля к порту SFP+ на первом сервере, а другой конец — к порту SFP+ на втором сервере.

3. Настройка сети

3.1. Настройка IP-адресов

Настройте IP-адреса на интерфейсах сетевых карт:

• Сервер 1: 192.168.1.1/24.
• Сервер 2: 192.168.1.2/24.

Пример настройки в Linux:

sudo ip addr add 192.168.1.1/24 dev eth1
sudo ip link set eth1 up

На сервере 2:

sudo ip addr add 192.168.1.2/24 dev eth1
sudo ip link set eth1 up

3.2. Проверка соединения

Проверьте соединение с помощью команды ping:

ping 192.168.1.2

4. Настройка кластера

4.1. Установка ПО для кластеризации

Установите необходимое ПО для кластеризации, например:

• Linux: Pacemaker, Corosync.
• Windows: Microsoft Failover Cluster.

4.2. Настройка кластера

Для Linux:

sudo apt-get install pacemaker corosync
sudo pcs cluster setup --name mycluster server1 server2
sudo pcs cluster start --all

Для Windows:

• Используйте мастер настройки отказоустойчивого кластера (Failover Cluster Manager).
• Добавьте оба сервера в кластер и настройте общие ресурсы.

5. Тестирование и оптимизация

5.1. Тестирование производительности

Используйте утилиты для тестирования сети, такие как iperf:

iperf -s

На сервере 2:

iperf -c 192.168.1.1

5.2. Оптимизация

• Увеличьте размер MTU (например, до 9000 байт для Jumbo Frames).
• Настройте балансировку нагрузки и отказоустойчивость (например, с помощью LACP).

6. Заключение

Объединение двух серверов в кластер с использованием оптических сетевых карт — это мощное решение для задач, требующих высокой производительности и низкой задержки. Следуя описанным шагам, вы сможете создать надежное и высокоскоростное соединение между серверами, что позволит эффективно решать задачи виртуализации, хранения данных и высокопроизводительных вычислений.