Развертывание кластера Proxmox VE 4 с NFS‑хранилищем

Кратко: пошаговое руководство по созданию кластера Proxmox VE 4 из трёх узлов (pve1, pve2, pve3) с общим NFS‑хранилищем на CentOS 7. Покрыты: настройка NFS, правки /etc/hosts, создание кластера pvecm, добавление узлов и подключение NFS в веб‑интерфейсе Proxmox. Важные проверки: синхронизация времени и доступность SSH.

Цель: собрать кластер Proxmox VE 4 из трёх серверов с общим NFS‑хранилищем для ISO, шаблонов и виртуальных машин. Кратко: Proxmox позволяет централизованно управлять несколькими серверами из одной веб‑консоли и мигрировать VM между узлами.

Определение: Proxmox VE — платформа виртуализации с управлением через веб‑интерфейс; NFS — сетевой файловый протокол для общего доступа к папкам.

Основные преимущества и варианты использования

• Централизованное веб‑управление всеми узлами.
• Поддержка разных методов аутентификации (локальные учётные записи, LDAP/AD и т.д.).
• Удобная миграция виртуальных машин и контейнеров между узлами.

Важно: Proxmox VE 4 поддерживает кластеры до 32 физ. узлов; для высокой доступности (HA) требуется не менее 3 узлов.

Предварительные требования

• Три сервера Proxmox (Debian‑основанные): pve1, pve2, pve3.
  • pve1 — IP: 192.168.1.114, FQDN: pve1.myproxmox.co, SSH: 22
  • pve2 — IP: 192.168.1.115, FQDN: pve2.myproxmox.co, SSH: 22
  • pve3 — IP: 192.168.1.116, FQDN: pve3.myproxmox.co, SSH: 22
• Сервер NFS на CentOS 7: IP 192.168.1.101.
• Синхронизированные дата и время на всех серверах (NTP/chrony).
• Доступ по SSH между узлами (порт 22).

Важно: убедитесь, что между узлами разрешён трафик Corosync (UDP 5405 по умолчанию в Proxmox VE 4) и что брандмауэр не блокирует SSH и NFS. Если на NFS‑сервере включён SELinux, настройте экспорт с учётом его требований.

Шаг 1 — Настройка NFS‑хранилища

Задача: создать экспортируемую папку и позволить чтение/запись из всех Proxmox‑узлов.

Подключитесь к NFS‑серверу по SSH и создайте директорию:

ssh [email protected]

mkdir -p /var/nfsproxmox

Отредактируйте файл экспортов:

vim /etc/exports

Добавьте строки экспорта (одна строка на узел):

/var/nfsproxmox 192.168.1.114(rw,sync,no_root_squash)
/var/nfsproxmox 192.168.1.115(rw,sync,no_root_squash)
/var/nfsproxmox 192.168.1.116(rw,sync,no_root_squash)

Сохраните и примените изменения:

exportfs -r
exportfs -v

Пояснение: no_root_squash допускает доступ root со стороны клиентских узлов — использовать с осторожностью и только в доверенной сети.

Важно: проверьте права доступа и владельца экспортируемой папки, чтобы Proxmox мог записывать файлы.

Шаг 2 — Настройка /etc/hosts на каждом узле

Задача: обеспечить полноимённую резолюцию имён внутри кластера без зависимости от внешнего DNS.

На pve1 выполните вход и отредактируйте /etc/hosts:

ssh [email protected]

vim /etc/hosts

Убедитесь, что запись для pve1 присутствует, затем добавьте записи для pve2 и pve3:

192.168.1.115 pve2.myproxmox.co pve2 pvelocalhost
192.168.1.116 pve3.myproxmox.co pve3 pvelocalhost

Сохраните и перезагрузите узел:

reboot

Повторите аналогично на pve2 и pve3, добавляя соответствующие записи для двух оставшихся узлов и затем перезагружая.

Примечание: перезагрузка необходима, чтобы убедиться, что все системные службы используют актуальные записи хостов. В некоторых средах достаточно перезапустить сетевые сервисы.

Шаг 3 — Создание кластера на pve1

Перед созданием кластера проверьте синхронизацию времени и доступность SSH на всех узлах.

На pve1 выполните:

ssh [email protected]
pvecm create mynode

Ожидаемый вывод укажет на генерацию ключа Corosync и запись authkey в /etc/corosync/authkey.

Команды:

• pvecm — инструмент управления кластером Proxmox VE.
• create — создаёт конфигурацию нового кластера.
• mynode — имя кластера (можно выбрать любое).

Проверьте статус:

pvecm status

Шаг 4 — Добавление pve2 и pve3 в кластер

Добавление узла pve2:

ssh [email protected]
pvecm add 192.168.1.114

Ключевой момент: команда pvecm add на добавляемом узле инициирует подключение к master‑узлу (pve1) по SSH и копирует конфигурацию кластера.

Аналогично добавьте pve3:

ssh [email protected]
pvecm add 192.168.1.114

Совет: при проблемах с добавлением проверяйте /var/log/syslog и /var/log/daemon.log на предмет ошибок Corosync или SSH.

Шаг 5 — Проверка кластера

Проверьте статус:

pvecm status

Список узлов:

pvecm nodes

Пояснение: pvecm status показывает состояние кворума Corosync, pvecm nodes — зарегистрированные узлы.

Шаг 6 — Добавление NFS‑шары в Proxmox через веб‑интерфейс

Откройте веб‑интерфейс pve1: https://192.168.1.114:8006/ и выполните вход.

На левой панели увидите pve1, pve2 и pve3. Перейдите в раздел Storage и нажмите Add → NFS.

Заполните поля:

• ID: имя хранилища в интерфейсе; выбирайте понятный ярлык.
• Server: IP хранилища (192.168.1.101).
• Export: автоматически определяет путь экспорта или задаётся вручную (например /var/nfsproxmox).
• Content: укажите типы (ISO, VZDump backup file, Disk image и т.д.).
• Nodes: отметьте pve1, pve2, pve3 — на каких узлах будет доступно хранилище.
• Backups: при необходимости ограничение репозиториев для бэкапов.

Нажмите Add. NFS‑шара станет доступна на всех узлах.

Критерии приёмки

• Все три узла отображаются в pvecm nodes и имеют статус Online.
• pvecm status показывает кворум и отсутствие split‑brain.
• NFS‑шара смонтирована и доступна на всех трёх узлах (проверить монтирования /var/lib/vz или соответствующий путь).
• Веб‑интерфейс Proxmox показывает хранилище и позволяет создать VM/загрузить ISO.

Полезные проверки и команды для отладки

• Проверить монтирование NFS на узле:

showmount -e 192.168.1.101
mount | grep nfs

• Проверить связь Corosync и состояние:

systemctl status corosync
journalctl -u corosync -b

• Проверить логи pve-cluster и pvedaemon:

journalctl -u pve-cluster -b
journalctl -u pvedaemon -b

Риски и рекомендации по безопасности

• no_root_squash облегчает администрирование, но увеличивает риск при компрометации клиента. По возможности ограничьте доступ по IP и используйте защищённую сеть.
• Контролируйте доступ к веб‑консоле (VPN, firewall, двухфакторная аутентификация).
• Регулярно обновляйте пакеты Proxmox и базовую систему для устранения уязвимостей.

Когда этот подход не подходит (контрпримеры)

• Если требуется распределённое блочное хранилище с высокой производительностью и низкой задержкой, NFS может не подойти; стоит рассмотреть Ceph или специализированные SAN/NAS.
• Для отказоустойчивости метаданных и репликации VM при больших нагрузках лучше применять Ceph.

Альтернативные подходы

• Ceph — для масштабируемого распределённого хранилища с репликацией и возможностью использования RBD для образов дисков.
• iSCSI/LVM over iSCSI — для блочного доступа и специфических рабочих нагрузок.

Мини‑методология развертывания (SOP)

1. Подготовить сеть: IP, DNS/hosts, firewall.
2. Синхронизировать время (NTP/chrony).
3. Подготовить NFS/хранилище и права доступа.
4. Создать кластер на первом узле pvecm create.
5. Добавить узлы pvecm add и проверить kворум.
6. Подключить хранилище через веб‑интерфейс и протестировать миграцию VM.

Дерево принятия решений (Mermaid)

flowchart TD
  A[Сколько Proxmox узлов?] -->|1| B[Не кластер — одиночный узел]
  A -->|2| C[Двухузловая конфигурация — ограниченная HA]
  A -->|3 или больше| D[Кластер с возможностью HA]
  D --> E{Нужен отказоустойчивый диск?}
  E -->|Да| F[Рассмотреть Ceph]
  E -->|Нет| G[Использовать NFS или iSCSI]

Ролевые чек‑листы

Администратор сети:

• Настроить сеть и маршрутизацию между узлами.
• Открыть порты SSH, Corosync, NFS.

Системный администратор Proxmox:

• Проверить синхронизацию времени.
• Создать кластер и добавить узлы.
• Подключить NFS в веб‑интерфейсе.

Оператор приложений:

• Загрузить ISO/шаблоны в NFS.
• Создать тестовую VM и выполнить миграцию между узлами.

Небольшой чек после развертывания

• Создать тестовую VM, разместить диск на NFS и выполнить live‑миграцию.
• Проверить создание и восстановление бэкапа на NFS‑хранилище.

Глоссарий (1 строка)

• pvecm: утилита управления кластером Proxmox VE.
• Corosync: движок обмена сообщениями/кворум для кластера.
• NFS: сетевой протокол файлового доступа.

Итог

Кластер Proxmox VE 4 с NFS‑хранилищем даёт централизованное управление и упрощает миграцию VM между узлами. Для продакшен‑HA рекомендуется минимум три узла и продуманная архитектура хранилища (Ceph или отказоустойчивая NFS‑конфигурация).

Ключевые шаги: подготовка NFS, правки /etc/hosts, pvecm create на master, pvecm add на других узлах и подключение NFS через веб‑интерфейс.

Важно: проверяйте логи и статус кворума после добавления каждого узла, чтобы избежать split‑brain и проблем с доступностью.