Замена сбойного диска в RAID1

Кратко

Пошаговая инструкция по симуляции отказа диска, восстановлению таблиц разделов и повторной синхронизации RAID1. Краткие команды и контрольные проверки.
Подходит для Debian-подобных систем с mdadm и BIOS/GRUB; включает план действий, чеклисты и рекомендации по отказоустойчивости.

Введение

Эта инструкция показывает, как безопасно симулировать отказ жёсткого диска в зеркальном массиве RAID1, восстановить на заменённом диске таблицу разделов, добавить диск в массив и завершить синхронизацию. Описанные команды актуальны для Linux-серверов с mdadm и GRUB. Текст ориентирован на системных администраторов и инженеров поддержки.

Краткое определение терминов

RAID1: зеркалирование данных между двумя (или более) дисками для отказоустойчивости. Один диск может выйти из строя, данные остаются доступными на другом.
mdadm: утилита для управления программными RAID-массивами в Linux.

Важно

Перед выполнением операций убедитесь, что у вас есть актуальная резервная копия важных данных. Действия с разделами и superblocks изменяют структуру диска.
Тесты желательно проводить в тестовой среде или в окне обслуживания для производства.

Что мы будем делать — обзор шагов

Симулируем отказ диска (/dev/sdb в примере).
Проверяем состояние RAID (cat /proc/mdstat) и вывод fdisk.
Копируем таблицу разделов с работоспособного диска (/dev/sda) на новый диск (/dev/sdb).
Обнуляем метки RAID на новом диске (mdadm –zero-superblock).
Добавляем новые разделы в массив mdadm (mdadm -a).
Ждём окончания синхронизации и устанавливаем загрузчик GRUB на оба диска.

1. Симуляция отказа диска

Вы можете физически извлечь диск или «мягко» вывести его из массива. В примере считаем, что отказал /dev/sdb. Команды ниже помечают разделы диска как отказавшие и удаляют их из массива:

mdadm –manage /dev/md0 –fail /dev/sdb1
mdadm –manage /dev/md1 –fail /dev/sdb2
mdadm –manage /dev/md2 –fail /dev/sdb3

mdadm –manage /dev/md0 –remove /dev/sdb1
mdadm –manage /dev/md1 –remove /dev/sdb2
mdadm –manage /dev/md2 –remove /dev/sdb3

После этого вы можете корректно выключить систему, вставить новый диск и загрузиться:

shutdown -h now

Примечание

Если вы симулировали сбой /dev/sda, теперь физически поменяйте диски местами так, чтобы восстановляемый диск оказался на месте /dev/sda, а новый — подключён как /dev/sdb, и затем загрузитесь.

2. Проверка состояния массива и разделов

После загрузки проверьте состояние массива:

cat /proc/mdstat

Ожидаемый пример вывода (пример из теста):

root@server1:~# cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sda3[2]
4241396 blocks super 1.2 [2/1] [U_]

md1 : active (auto-read-only) raid1 sda2[2]
499700 blocks super 1.2 [2/1] [U_]

md0 : active raid1 sda1[2]
498676 blocks super 1.2 [2/1] [U_]

unused devices:
root@server1:~#

Затем проверьте диски и разделы:

fdisk -l

Примерный вывод (сокращённый):

root@server1:~# fdisk -l

Disk /dev/sda: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000e0f78

Device Boot Start End Blocks Id System
/dev/sda1 * 1 63 498688 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2 63 125 499712 fd Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sda3 125 653 4242432 fd Linux raid autodetect
Partition 3 does not end on cylinder boundary.

Disk /dev/sdb: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn’t contain a valid partition table

Disk /dev/md0: 510 MB, 510644224 bytes
…

Этот вывод показывает, что /dev/sdb пока не содержит таблицы разделов. Следующий шаг — скопировать таблицу с /dev/sda.

3. Копирование таблицы разделов с /dev/sda на /dev/sdb

Команда ниже экспортирует таблицу разделов из /dev/sda и пишет её на /dev/sdb:

sfdisk -d /dev/sda | sfdisk --force /dev/sdb

Пример вывода команды, ожидаемый при успешном применении:

root@server1:~# sfdisk -d /dev/sda | sfdisk –force /dev/sdb
Checking that no-one is using this disk right now …
OK

Disk /dev/sdb: 652 cylinders, 255 heads, 63 sectors/track

sfdisk: ERROR: sector 0 does not have an msdos signature
/dev/sdb: unrecognized partition table type
Old situation:
No partitions found
New situation:
Units = sectors of 512 bytes, counting from 0

Device Boot Start End #sectors Id System
/dev/sdb1 * 2048 999423 997376 fd Linux raid autodetect
/dev/sdb2 999424 1998847 999424 fd Linux raid autodetect
/dev/sdb3 1998848 10483711 8484864 fd Linux raid autodetect
/dev/sdb4 0 - 0 0 Empty
Warning: partition 1 does not end at a cylinder boundary
Successfully wrote the new partition table

Re-reading the partition table …

If you created or changed a DOS partition, /dev/foo7, say, then use dd(1)
to zero the first 512 bytes: dd if=/dev/zero of=/dev/foo7 bs=512 count=1
(See fdisk(8).)
root@server1:~#

Пояснение

sfdisk -d /dev/sda — выводит схему разделов в формате, пригодном для sfdisk.
sfdisk –force /dev/sdb — записывает полученную схему на новый диск, даже если диск пуст.

Риски

Неправильный диск: проверьте device-имена перед выполнением, чтобы не перезаписать рабочий диск.

4. Очистка остатков RAID-разметки и добавление в массив

Если на новом диске раньше была RAID-метка, её нужно обнулить:

mdadm –zero-superblock /dev/sdb1
mdadm –zero-superblock /dev/sdb2
mdadm –zero-superblock /dev/sdb3

После этого добавьте новые разделы в соответствующие массивы:

mdadm -a /dev/md0 /dev/sdb1
mdadm -a /dev/md1 /dev/sdb2
mdadm -a /dev/md2 /dev/sdb3

Замечание

mdadm -a добавляет указанный раздел как новый член массива; массив начнёт фоновую синхронизацию.

5. Проверка прогресса синхронизации

Повторно проверьте /proc/mdstat, чтобы наблюдать прогресс ребилда:

cat /proc/mdstat

Пример вывода во время восстановления:

root@server1:~# cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sdb3[3] sda3[2]
4241396 blocks super 1.2 [2/1] [U_]
[======>…………..] recovery = 32.2% (1367168/4241396) finish=1.0min speed=44102K/sec

md1 : active raid1 sdb2[3] sda2[2]
499700 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[3] sda1[2]
498676 blocks super 1.2 [2/2] [UU]

unused devices:
root@server1:~#

Дождитесь полного завершения — в финальном состоянии все массивы должны показывать [UU]:

root@server1:~# cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sdb3[3] sda3[2]
4241396 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sdb2[3] sda2[2]
499700 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[3] sda1[2]
498676 blocks super 1.2 [2/2] [UU]

unused devices:
root@server1:~#

Скорость и время

Время восстановления зависит от размера раздела, загрузки системы и скорости дисков. Утилита отображает оценку времени и текущую скорость.

6. Установка загрузчика GRUB на оба диска

После успешной синхронизации важно установить загрузчик на оба диска, чтобы сервер мог загрузиться, даже если один из HDD выйдет из строя:

grub-install /dev/sda
grub-install /dev/sdb

Проверка

Проверьте конфигурацию GRUB и при необходимости обновите grub.cfg: update-grub или grub-mkconfig в зависимости от дистрибутива.

План действий: компактный playbook

Зафиксируйте окно обслуживания и уведомите заинтересованные стороны.
Сделайте резервную копию важных данных.
Симулируйте отказ или физически извлеките диск.
Загрузитесь, проверьте /proc/mdstat и fdisk -l.
Скопируйте таблицу разделов: sfdisk -d /dev/sda | sfdisk –force /dev/sdb.
mdadm –zero-superblock на новых разделах.
mdadm -a для добавления в массив.
Наблюдайте прогресс в /proc/mdstat; дождитесь [UU].
Установите grub-install на оба диска.
Проведите тесты загрузки и мониторинга.

Критерии приёмки

Все массивы показывают состояние [UU] в /proc/mdstat.
Загрузчик установлен на обоих дисках и система корректно загружается, если отключить любой диск.
Логи /var/log/syslog и dmesg не содержат новых ошибок, связанных с mdadm или дисками.

Распределение ролей — чеклист обязанностей

Системный администратор: выполняет команды на сервере, следит за синхронизацией, устанавливает GRUB.
Оператор/Инженер поддержки: уведомляет пользователей, координирует окно обслуживания.
QA/DevOps: проверяет доступность сервисов после восстановлений и прогоняет smoke-тесты.

Что может пойти не так — типичные проблемы и как их решать

sfdisk сообщает об ошибке msdos signature: это нормально для пустого диска, команда всё равно может записать таблицу.
mdadm не принимает раздел: проверьте, что partition type установлен в fd (Linux raid autodetect).
Ребилд идёт очень медленно: проверьте I/O нагрузку, throttling и текущую загрузку сервера. Можно временно ограничить скорость ребилда через /proc/sys/dev/raid/speed_limit_min и speed_limit_max.

Контрмеры и альтернативы

Если диск физически повреждён, замените его и используйте тот же процесс.
Для систем с LVM поверх RAID: убедитесь, что PV и VG видны и активны после ребилда.
Альтернатива mdadm: аппаратный RAID-контроллер — отличается по процедурам и утилитам.

Мини-методология проверки (5 шагов)

Проверить статус RAID и разделов.
Синхронизировать таблицы разделов.
Очистить метки и добавить диск в массив.
Наблюдать ребилд до состояния [UU].
Установить загрузчик и выполнить тест загрузки.

Кому подходит этот гайд

Инженерам и администраторам, которые поддерживают Linux-серверы и используют программный RAID mdadm.
Подходит для тестовой среды и для продакшн при строгом соблюдении backup-процедур.

Безопасность и конфиденциальность

При выполнении команд введите только те device-имена, которых вы уверены.
Не публикуйте содержимое /etc/mdadm/mdadm.conf и выводы команд, содержащие уникальные идентификаторы, в публичных местах.

Краткий словарь (1‑строчное определение)

Superblock: метаданные RAID, записанные в начале или конце раздела, которые содержат UUID массива и статус членов.
Rebuild (ребилд): процесс копирования данных с одного участника RAID на новый, чтобы восстановить зеркалирование.

FAQ

Q: Можно ли безопасно выполнять эти операции на работающем продакшн-сервере?
A: Да, если один диск уже вышел из массива, сервер продолжит работу в degraded‑режиме. Тем не менее рекомендуется планировать окно обслуживания и иметь свежие резервные копии.

Q: Что делать, если sfdisk не записывает таблицу разделов?
A: Проверьте права root, целевой диск на предмет аппаратных ошибок (dmesg), и повторите команду. В крайнем случае можно вручную создать разделы через fdisk/parted, соответствующие размерам оригинала.

Ссылки

The Software-RAID Howto: http://tldp.org/HOWTO/Software-RAID-HOWTO.html
Debian: http://www.debian.org/

Итог

Вы смоделировали сбой диска, перенесли таблицу разделов, очищали остатки старой разметки, добавили новый диск в RAID и дождались синхронизации. Заключительный шаг — установка загрузчика на оба диска и проверка загрузки с каждого из них. Следуйте чек‑листу и критериям приёмки для безопасного восстановления массива.