Беда. сервер пишет file system check filed

[Kirikekeks]

Добрый день всеведующие!
      Хорошо, когда ты вызываешь терминал, плохо когда терминал вызывает тебя 
A log is being saved in /var/log/fsck/checkfs if that location is writable. Please repair the file system manually.

... Как показывает практика, мануально я могу не многое, помогите чем сможите...
на сервере три диска по 3Т в raid5

        указанный log ужасно не многословен:

Код: [Выделить]

fsck from util-linux 2.20.1
data: One or more block group descriptor checksums are invalid.  FIXED.
data: Group descriptor 22638 checksum is 0x6986, should be 0x6886.         не раз читал, что всеведующие советуют читать dmesg
a вот dmesg ужасно многословен и непонятен, разве что в хвосте что-то читается:

Код: [Выделить]

[  711.041081] EXT4-fs (md127): ext4_check_descriptors: Checksum for group 22638 failed (26758!=27014)
[  711.041108] EXT4-fs (md127): group descriptors corrupted!а если фильтровать по md127:

Код: [Выделить]

[kit@dacha log]$ cat dmesg |grep md127
[    2.498809] md: md127 stopped.
[    2.997197] md/raid:md127: not clean -- starting background reconstruction
[    2.997207] md/raid:md127: device sdb operational as raid disk 0
[    2.997209] md/raid:md127: device sdd operational as raid disk 2
[    2.997211] md/raid:md127: device sdc operational as raid disk 1
[    2.997485] md/raid:md127: allocated 3228kB
[    2.997515] md/raid:md127: raid level 5 active with 3 out of 3 devices, algorithm 2
[    2.997553] md127: detected capacity change from 0 to 6001182900224
[    2.999119]  md127: unknown partition table
[    8.872707] md: resync of RAID array md127
[    8.872729] md: resuming resync of md127 from checkpoint.
[  711.041081] EXT4-fs (md127): ext4_check_descriptors: Checksum for group 22638 failed (26758!=27014)
[  711.041108] EXT4-fs (md127): group descriptors corrupted!
Подскажите  "распорядок действий"
или "необратим конец пути?"
Очень жду....

[asy]

Так, в итоге, загрузилось ?

Код: [Выделить]

[    2.997197] md/raid:md127: not clean -- starting background reconstructionЭтому, видимо, надо дать завершиться. Наблюдать посредством cat /proc/mdstat

Код: [Выделить]

data: One or more block group descriptor checksums are invalid.  FIXED.
data: Group descriptor 22638 checksum is 0x6986, should be 0x6886.
Это вот надо понять, к какому разделу относится. На md127 что создавалось ?

[asy]

А ещё полезно взять отдельный компьютер и поиграться с разными вариантами RAID. Для "поиграться" достаточно одного HDD и нескольких разделов.

[Kirikekeks]

В итоге ничего не грузится до работоспособного режима. Вижу перед собой только консоль,
c

Код: [Выделить]

at /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md127 : active raid5 sdb[0] sdd[2] sdc[1]
              5860530176 blocks super 1.2 level5, 512k chunk, algorithm 2 [3/3] [UUU]
[===========>.........] resync = 79.1% (2319270140/2930265088) finish=106.2min speed=95806k/sec
На md127 что создавалось ?
md127 это и есть тот самый raid5 из трёх по 3Т диска.

полезно взять отдельный компьютер
занялся в Vbox создаю макет системы, попробую поиграться. понять бы с чем?

[asy]

Код: [Выделить]

[===========>.........] resync = 79.1% (2319270140/2930265088) finish=106.2min

Лучше дождаться, пока вот это пропадёт. Через 106.2min ориентировочно. Но это не причина того, что не работает, на самом деле. Возможно, это одно из последствий.

На md127 что создавалось ?
md127 это и есть тот самый raid5 из трёх по 3Т диска.

А вот дальше как ? Он отдельно на разделы делился, целиком использовался ? Или, может, там LVM сверху ? Раз что-то грузится, что показывает mount ?

полезно взять отдельный компьютер
занялся в Vbox создаю макет системы, попробую поиграться. понять бы с чем?

Надо в этот Vbox ещё один образ hdd добавить, и на нём тренироваться. Или сразу три, как будто вообще диски разные - ближе к оригиналу будет. А играться с mdadm - собрать массив, повредить массив, починить массив. Но fsck работает уровнем выше, он про RAID, вообще-то, не знает, видеть этих проблем не должен.

[Kirikekeks]

А вот дальше как ? Он отдельно на разделы делился, целиком использовался ? Или, может, там LVM сверху ? Раз что-то грузится, что показывает mount ?

Увы, ничего не изменилось по прошествии 102 минут. Массив монтируется, информации на нем нет. GUI администратора не запускается. Удаленного доступа нет, пытаю терминал напрямую.
1, На резделы md127 не делился, использовался как один диск 5,4 Т (то, что осталось при создании Raid5 от 9Т).
2, LVM сверху не использовался.
3.
mount -l

Код: [Выделить]

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=505484,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=406104k,mode=755)
/dev/disk/by-uuid/35658779-4edc-474b-b52f-a6d1da02c49a on / type ext4 (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /run/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=1650240k)
tmpfs on /tmp type tmpfs (rw,relatime)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
/dev/sde1 on /mnt/fleshka type vfat (rw,relatime,fmask=0022,dmask=0022,codepage=cp437,iocharset=utf8,shortname=mixed,errors=remount-ro) [STORE N GO]

[asy]

А куда был смонтирован ? Система откуда грузится сейчас, отсюда вот

/dev/disk/by-uuid/35658779-4edc-474b-b52f-a6d1da02c49a on / type ext4

или с флешки ? До /etc/fstab можно добраться ? и вывод blkid до кучи... Если быть уверенным, что использовался прямо /dev/md127, то можно бы fsck -y /dev/md127. Если не так, fsck не должен найти суперблок и не должен ничего начать ломать, но мало ли... Лучше бы удостовериться.

[Kirikekeks]

/etc/fstab можно добраться ? и вывод blkid до кучи...

Система грузится с системника. Флешка здесь только для переноса систмных журналов на ноутбук. Ну и до кучи, что бы не перепечатывать выводы с монитора. Системник - отдельный диск, физически отдельный от md127. Я пытался заменить системник и переустановить систему - не получилось, вылет без объяснения причин в середине инсталляции. На том же месте, где и обрывалась попытка переустановить систему на "родном" диске.

Спойлер

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda1 during installation
UUID=35658779-4edc-474b-b52f-a6d1da02c49a /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda5 during installation
UUID=399693a6-8378-4174-99b9-d7fa007f9e6c none            swap    sw              0       0
/dev/sde1       /media/usb0     auto    rw,user,noauto  0       0
tmpfs           /tmp            tmpfs   defaults        0       0
# >>> [openmediavault]
UUID=39d334f6-6ac6-4bd6-baed-9045e14ac2e0 /media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0 ext4 defaults,nofail,acl,user_xattr,noexec,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0 0 2
/media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0/naf /export/naf none bind 0 0
/media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0/nif/ /export/nif none bind 0 0
/media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0/nyf/ /export/nyf none bind 0 0
/media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0/Vbox/ /export/Vbox none bind 0 0
# <<< [openmediavault]
Срд Ноя 12 00:17:51 MSK 2014
/dev/sdb: UUID="3e7877c6-6647-902d-bfa7-b958482e54ab" UUID_SUB="d82231b7-df63-a701-6951-a74bd29eed6e" LABEL="openmediavault:data" TYPE="linux_raid_member"
/dev/sda1: UUID="35658779-4edc-474b-b52f-a6d1da02c49a" TYPE="ext4"
/dev/sda5: UUID="399693a6-8378-4174-99b9-d7fa007f9e6c" TYPE="swap"
/dev/sdc: UUID="3e7877c6-6647-902d-bfa7-b958482e54ab" UUID_SUB="9bc98723-aa2e-4779-1538-de281855d791" LABEL="openmediavault:data" TYPE="linux_raid_member"
/dev/md127: LABEL="data" UUID="39d334f6-6ac6-4bd6-baed-9045e14ac2e0" TYPE="ext4"
/dev/sdd: UUID="3e7877c6-6647-902d-bfa7-b958482e54ab" UUID_SUB="70894eb2-6b18-6f2d-109b-a85b78870de7" LABEL="openmediavault:data" TYPE="linux_raid_member"
/dev/sde1: LABEL="STORE N GO" UUID="0012-D687" TYPE="vfat"

Сейчас в Vbox досчитывается raid5 из трех виртуальных минидисков. Первый вопрос, это как бы его аналогично сломать? Когда надо, никогда не получается ) Реальный сервер завис на копировании файлов по сети. Завис и более не перезагрузился. Скачки напряжения исключены UPSом.
 

[asy]

Код: [Выделить]

UUID=39d334f6-6ac6-4bd6-baed-9045e14ac2e0 /media/39d334f6-6ac6-4bd6-baed-9045e14ac2e0 ext4 defaults,nofail,acl,user_xattr,noexec,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0 0 2

Код: [Выделить]

/dev/md127: LABEL="data" UUID="39d334f6-6ac6-4bd6-baed-9045e14ac2e0" TYPE="ext4"

Исходя из этого, сам по себе. Теперь, по-хорошему, этот /dev/md127 забакапить, как отдельное устройство

Код: [Выделить]

dd if=/dev/md127 of=/куда-нибудь/file.img bs=1024Kно тут вопрос, куда деть файл на 2Тб. Хотя вопрос, какие там данные. Можно загзипить на лету, может влезет и куда поменьше. А так, в принципе, можно fsck -y /dev/md127

[Kirikekeks]

Хотя вопрос, какие там данные.

Да на 90% фото-видео. И насколько помню занято около 1Т, из 5,4 массива. Почему два Тб?

[asy]

Почему два Тб?

Почему-то запомнилось, что три HDD по 1Тб. Ошибся, значит до 6Тб. Но если активной работы с массивом не было и предполагается, что часть файловой системы с нулями, то можно с одновременным gzip. Может, будет чуть больше 1Тб в итоге, но заранее не скажешь.

[Kirikekeks]

Восстановил ходовой макет сервера в Vbox. Завтра начну виртуальные эксперименты. Тему отложу до их завершения.

Большое спасибо!

[asy]

На самом деле вероятность того, что fsck поможет, большая. Но сам факт повреждения на ровном месте не очень понятен. Если данные ценные, лучше забакапиться.

[mvk]

Была проблема - ядро не грузилось. Решилось просто заменой провода, видимо контакт расшатался.

[Kirikekeks]

На самом деле вероятность того, что fsck поможет, большая. Но сам факт повреждения на ровном месте не очень понятен.

ПРОЛОГ.
Помимо сервера, села батарейка в градуснике. Найти такую не удалось в окружающем пространстве. Зашёл в Дом быта, замена батарейки оказалась на 50% дороже нового градусника. Пошёл и купил новый градусник.
ЭПИЛОГ.
Я уважаю unix way, но после:
- постоянного  самопережовывания массива, дважды использовал fsck -y, но не помогло
- пытался переустановить ОСи и нашу p7 server, не получилось, все инсталляции отваливаются  в одном и том же месте , на этапе разметки диска.
я начал особенно ценить стабильность и установил наиболее дружелюбную ко мне nas4free.
Это не наш метод, но как говаривала Бабушка: "По барину говядина, по говну черепок"

Спасибо большое asy and mvk, мне были нужны Ваши советы.