Всем огромное Спасибо! (Кнопочку Спасибо упразднили что ли!?) Под итожу, вот что получилось...
* Хотелось как лучше, с подробностями и что бы для всех, но получилось как всегда. Из за того что пользовался ** Putty из под винды, лог работы получился очень странный. По этому вкратце расскажу что делал с коментариями...
Вот наш RAID-10 уже с тремя дисками на борту:
# cat /proc/mdstat
Personalities : [raid10]
md1 : active raid10 sdb2[1] sda2[0] sdc2[2]
15005568 blocks 32K chunks 2 near-copies [4/3] [UUU_]
md2 : active raid10 sda3[0] sdb3[1] sdc3[2]
1913347968 blocks 32K chunks 2 near-copies [4/3] [UUU_]
md0 : inactive sdb1[1](S) sda1[0](S) sdc1[2](S)
37741376 blocks
unused devices: <none>
Обобщил все за и против, решил все таки вывести отсутствующий диск из массива
# mdadm /dev/md0 -r /dev/sdd1
# mdadm /dev/md1 -r /dev/sdd2
# mdadm /dev/md2 -r /dev/sdd3
# poweroff
Система ни на что не ругалась, ответов не было. Т. е. строчки так и есть как есть - Команда сл. строчка, Команда сл. строчка, Команда сл. строчка... Отключил, для установки нового диска. Диск ни как не готовил. После включения проверил:
# cat /proc/mdstat
# sfdisk -l
Ситуация с RAID не изменилась, а в системе появился диск sdd. Скопировал на него структуру разделов с диска sda.
# sfdisk -d /dev/sda | sfdisk --force /dev/sdd
После копирования получили следующую картину:
# sfdisk -l
Диск /dev/sdc: 121601 цилиндров, 255 головок, 63 секторов/дорожку
Units: cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0
Устр-во Загр Нач Конец #цил #блоки Id Система
/dev/sdc1 * 0+ 1566- 1567- 12581888 fd Автоопределение Linux raid
/dev/sdc2 1566+ 2500- 935- 7502848 fd Автоопределение Linux raid
/dev/sdc3 2500+ 121600- 119101- 956674048 fd Автоопределение Linux raid
/dev/sdc4 0 - 0 0 0 Пустой
Диск /dev/sdb: 121601 цилиндров, 255 головок, 63 секторов/дорожку
Units: cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0
Устр-во Загр Нач Конец #цил #блоки Id Система
/dev/sdb1 * 0+ 1566- 1567- 12581888 fd Автоопределение Linux raid
/dev/sdb2 1566+ 2500- 935- 7502848 fd Автоопределение Linux raid
/dev/sdb3 2500+ 121600- 119101- 956674048 fd Автоопределение Linux raid
/dev/sdb4 0 - 0 0 0 Пустой
Диск /dev/sdd: 121601 цилиндров, 255 головок, 63 секторов/дорожку
Units: cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0
Устр-во Загр Нач Конец #цил #блоки Id Система
/dev/sdd1 * 0+ 1565- 1566- 12577792 fd Автоопределение Linux raid
/dev/sdd2 1566+ 2500- 935- 7502848 fd Автоопределение Linux raid
/dev/sdd3 2500+ 121600- 119101- 956674048 fd Автоопределение Linux raid
/dev/sdd4 0 - 0 0 0 Пустой
Диск /dev/sda: 121601 цилиндров, 255 головок, 63 секторов/дорожку
Units: cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0
Устр-во Загр Нач Конец #цил #блоки Id Система
/dev/sda1 * 0+ 1565- 1566- 12577792 fd Автоопределение Linux raid
/dev/sda2 1566+ 2500- 935- 7502848 fd Автоопределение Linux raid
/dev/sda3 2500+ 121600- 119101- 956674048 fd Автоопределение Linux raid
/dev/sda4 0 - 0 0 0 Пустой
Диск /dev/md2: 478336992 цилиндров, 2 головок, 4 секторов/дорожку
Диск /dev/md1: 3751392 цилиндров, 2 головок, 4 секторов/дорожку
Добавил диск sdd к массиву:
# mdadm /dev/md0 -a /dev/sdd1
mdadm: cannot get array info for /dev/md0
# mdadm /dev/md1 -a /dev/sdd2
mdadm: added /dev/sdd2
# mdadm /dev/md2 -a /dev/sdd3
mdadm: added /dev/sdd3
Из решения ошибки "mdadm: cannot get array info for /dev/md0" и найденных решений, советуют разобрать (остановить) данный массив и собрать его заново, по этому сделал:
# mdadm --stop /dev/md0
# mdadm --assemble --force /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1
Вывод предоставить не получается по причине ** Putty, но вкратце понял что mdadm не понравился диск /dev/sdd1 на нем нет суперблока...
Решил попробовать без него:
# mdadm --assemble --force /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1
Теперь не понравился диск /dev/sda1 и его тоже решил исключить из сборки:
# mdadm --assemble --force /dev/md0 /dev/sdb1 /dev/sdc1
Массив md0 собрался и стал активным:
# cat /proc/mdstat
Personalities : [raid10]
md0 : active raid10 sdb1[1] sdc1[2]
25155456 blocks 32K chunks 2 near-copies [4/2] [_UU_]
md1 : active raid10 sdd2[3] sda2[0] sdc2[2] sdb2[1]
15005568 blocks 32K chunks 2 near-copies [4/4] [UUUU]
md2 : active raid10 sdd3[4] sda3[0] sdc3[2] sdb3[1]
1913347968 blocks 32K chunks 2 near-copies [4/3] [UUU_]
[=======>.............] recovery = 36.0% (344922368/956673984) finish=90.3min speed=112873K/sec
unused devices: <none>
Тогда я просто добавил к массиву md0 диски sda1 и sdd1
# mdadm /dev/md0 -a /dev/sda1
# mdadm /dev/md0 -a /dev/sdd1
# cat /proc/mdstat
Personalities : [raid10]
md0 : active raid10 sdd1[4](S) sda1[5] sdb1[1] sdc1[2]
25155456 blocks 32K chunks 2 near-copies [4/2] [_UU_]
resync=DELAYED
md1 : active raid10 sdd2[3] sda2[0] sdc2[2] sdb2[1]
15005568 blocks 32K chunks 2 near-copies [4/4] [UUUU]
md2 : active raid10 sdd3[4] sda3[0] sdc3[2] sdb3[1]
1913347968 blocks 32K chunks 2 near-copies [4/3] [UUU_]
[========>............] recovery = 44.0% (421033472/956673984) finish=68.8min speed=129600K/sec
unused devices: <none>
И сел дожидаться синхронизации... По окончании все таки запустил:
# update-grub
Обновил систему:
# apt-get update
# apt-get dist-upgrade
# apt-get clean
# update-kernel
# reboot
После перезагрузки:
# cat /proc/mdstat
Personalities : [raid10]
md1 : active raid10 sdb2[1] sda2[0] sdc2[2] sdd2[3]
15005568 blocks 32K chunks 2 near-copies [4/4] [UUUU]
md2 : active raid10 sda3[0] sdb3[1] sdc3[2] sdd3[3]
1913347968 blocks 32K chunks 2 near-copies [4/4] [UUUU]
md0 : active raid10 sda1[0] sdb1[1] sdc1[2] sdd1[3]
25155456 blocks 32K chunks 2 near-copies [4/4] [UUUU]
unused devices: <none>
Сноски:
* Материал составил в качестве отчета (и себе на память, просто похожей темы в этом форуме еще нет)
** Putty. Putty пишет в лог страшную галимотью, при чем то что ему наравится может переставлять местами и дублировать несколько раз. Пример вывода в скрепке...
PS: По поводу не подключения дисков sda1 и sdd1 к массиву md0, думаю из за зеркала? Но пока читаю и изучаю что такое Суперблок... md0 вообще swap...