Автор Тема: Создание программного Raid при установке на 6TB диски.  (Прочитано 7747 раз)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Здравствуйте.

Имеем сервер с SATA дисками 4*6TB.

Что хочу сделать: RAID1 из 4-х дисков под boot и корень, оставшееся место под RAID1 из 2-х дисков, на него сверху LVM.

Дистрибутив: Alt Server p8x64.

При установке через графический инсталятор можно создать RAID только из целых дисков. Раздел с типом RAID (как и с типом LVM) не создается. Есть всего 3 типа: boot, uefi и data (если не путаю).

1. Это нормальное поведение установщика?
2. Если да, то от чего оно зависит? Ранее рэйд на 2-х дисках меньшего размера таким способом делал. В виртуалбоксе тоже нормально работает. А тут не хочет...
3. Как лучше обойти? В голову приходят разные варианты от попытки создать нужную конфигурацию через консоль в процессе установки до установки системы на еще 1 диск с последующим созданием нужной конфигурации из работающей системы с последующей миграцией на рэйд.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Если не очень понятно объяснил - хочу сделать так (почти так): https://docs.altlinux.org/ru-RU/archive/4.1/html-single/school-server/raid_install/index.html

Оффлайн yaleks

  • Мастер
  • ***
  • Сообщений: 5 758
Чего-то было, что в альте в установщике поломан raid/LVM при использовании GPT (а без этого на 6Тб никак)...

Оффлайн klark973

  • Давно тут
  • **
  • Сообщений: 623
  • Неспящий саппорт
Имеем сервер с SATA дисками 4*6TB.

Что хочу сделать: RAID1 из 4-х дисков под boot и корень, оставшееся место под RAID1 из 2-х дисков, на него сверху LVM.
1) Если диска всего 4 и все 4 (диска, как вы пишите!) уходит под "boot и корень", что останется под "RAID1 из 2-х дисков"? У вас есть ещё два диска? :-D
2) Зачем нужен в вашем случае /boot? Корень и /boot/efi -- понятно, но /boot-то зачем?
3) Зачем поверх MD городить LVM? Почему бы тогда не использовать LVM сразу? Ведь внутри ядра (так уж теперь повелось) всё работает через один механизм, но dm/md -- это разные интерфейсы к одному и тому же.

Дистрибутив: Alt Server p8x64.
Не сегодня-завтра ожидается анонс АЛЬФЫ сервера на p9. На p8 вас ждёт веселье во-первых, со старой версией grub "из коробки", во-вторых, с нехваткой make-initrd-mdraid после установки. В общем, как минимум ALT Rescue + чрут после установки для такой конфигурации на p8 гарантирован.

При установке через графический инсталятор можно создать RAID только из целых дисков. Раздел с типом RAID (как и с типом LVM) не создается. Есть всего 3 типа: boot, uefi и data (если не путаю).
Путаете. И да, с интерфейсом просто не разобрались. Он действительно неочевиден. Не смотрите на старые картинки, сюда на буквы смотрите! Сначала делаете разделы БЕЗ СОЗДАНИЯ НА НИХ ТОМОВ. Одинакового размера, разумеется. Затем переходите в под-раздел RAID или LVM -- тут что душе угодно, внизу появится кнопка "Создать" ну и дальше всё по мануалу и так понятно.
To moan or to solve -- that is the question!

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
2) Зачем нужен в вашем случае /boot? Корень и /boot/efi -- понятно, но /boot-то зачем?
Согласен, что это не обязательно. Тут скорее привычка, выработанная следованием рекомендациям.

1) Если диска всего 4 и все 4 (диска, как вы пишите!) уходит под "boot и корень", что останется под "RAID1 из 2-х дисков"? У вас есть ещё два диска?
Нет. Это я объяснил плохо. Попробую объяснить лучше.

Дисков всего 4. Главная часть конфигурации - хост для ВМ и контейнеров. Вот ее хочу избыточно зарезервировать, сделав под нее рэйд 1 из 4 дисков. Для этого нужно от каждого жиска отхватить о одинаковому куску-разделу.

А все оставшееся место на тех же дисках отдать под 1 группу томов. Там такая избыточность будет излишней, поэтому оставшееся свободное место на дисках попарно в рэйд, а сверху него LVM, чтобы получился 1 том и было проще работать с разделами.

Надеюсь, теперь хотелку понятно изложил.

3) Зачем поверх MD городить LVM? Почему бы тогда не использовать LVM сразу? Ведь внутри ядра (так уж теперь повелось) всё работает через один механизм, но dm/md -- это разные интерфейсы к одному и тому же.
Наверное, у меня устаревшая информация. Во всех источниках, которые находил: рэйд - отказоустойчивость, LVM - удобство работы с томами. Также помню, что кто-то из Альтовцев года полтора назад такой вариант рекомедовал.

Не сегодня-завтра ожидается анонс АЛЬФЫ сервера на p9.
Лицензия у меня на сервер p8. Поэтому надо поставить его, а потом обновляться. Спасибо за указание на подводные камни - не придется вылавливать.




    ).

Путаете. И да, с интерфейсом просто не разобрались. Он действительно неочевиден. Не
Он не просто неочевиден, он РАЗНЫЙ в зависимости от машины, на которой запускается установка. Именно это меня вводит в некоторый ступор. Я сначала не поверил, что так может быть, поэтому несколько раз перезаписал флэшку, проверил дугой дистрибутив, перепроверил в виртуалбоксе, чтоб убедиться, что ничего не путаю...


Сначала делаете разделы БЕЗ СОЗДАНИЯ НА НИХ ТОМОВ. Одинакового размера, разумеется. Затем переходите в под-раздел RAID или LVM -- тут что душе угодно, внизу появится кнопка "Создать" ну и дальше всё по мануалу и так понятно.
В тот то и фокус, что разделы создаются на весь диск. Кнопки ресайза нет. Мне это не подходит.

Из интересного вчера забыл еще сказать, что при авторазбиении диска создается несколько райд-разделов. Но, конечно, не такие, как мне нужны...

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Чего-то было, что в альте в установщике поломан raid/LVM при использовании GPT (а без этого на 6Тб никак)...
Это я вчера понял. Потому и спрашивал про рекомендации для объезда.

Оффлайн klark973

  • Давно тут
  • **
  • Сообщений: 623
  • Неспящий саппорт
Чего-то было, что в альте в установщике поломан raid/LVM при использовании GPT (а без этого на 6Тб никак)...
Это я вчера понял. Потому и спрашивал про рекомендации для объезда.
Тут нечего объезжать. Как только EVMS видит диск >2Тб, про разметку MBR сразу забывает -- только GPT, только UEFI, только хардкор. И это правильно! И никаких поломок там конечно нет.

2) Зачем нужен в вашем случае /boot? Корень и /boot/efi -- понятно, но /boot-то зачем?
Согласен, что это не обязательно. Тут скорее привычка, выработанная следованием рекомендациям.
Сейчас концептуально изменилось две вещи. grub2 понимает все типы рейдов и lvm, даже всякие zfs/btrfs -- это первое. Роль раздела /boot в вашем случае в некотором роде выполняет теперь раздел /boot/efi (ESP, FAT32) -- это второе. Нет смысла продолжать следовать этому легаси.

... Надеюсь, теперь хотелку понятно изложил.
Да. В таком случае можно ограничиться LVM. А можно и как хотели изначально. LVM достаточно гибок, чтобы обеспечить и отказоустойчивость теми же средствами. Управлять этим будет по-началу чуть сложней, но IMHO LVM поверх MD работать будет медленней.

Он не просто неочевиден, он РАЗНЫЙ в зависимости от машины, на которой запускается установка. Именно это меня вводит в некоторый ступор. Я сначала не поверил, что так может быть, поэтому несколько раз перезаписал флэшку, проверил дугой дистрибутив, перепроверил в виртуалбоксе, чтоб убедиться, что ничего не путаю...
Мне приходится системы ставить разные по несколько штук на дню, так что наш инсталлер знаю наизусть. Выбор, о котором шла речь: 1) bios boot partition, 2) efi system partition и 3) data partition. Это ужасная кривизна EVMS, alterator-vm тут не причём. Просто, при разметке GUID/GPT таким образом первые два варианта определяют специальные типы разделов для UEFI-загрузки, все остальные разделы это кривое поделие от IBM помечает как Microsoft Basic Data, хотя в GPT для каждого типа существует свой код. Разумеется, где разметка идёт в MBR, вы этого выбора не увидите.

В тот то и фокус, что разделы создаются на весь диск. Кнопки ресайза нет. Мне это не подходит.
Ладно, будь по-вашему, не смотрите на буквы, смотрите на картинки! Когда дойдёте до той, где выбирается тип раздела, выбирайте basic data (для GPT), снимите флажок [ ] создать том и неважно, какой там будет раздел. Но не торопитесь жамкать ENTER -- верхнее поле определяет размер. По умолчанию цифры соответствуют всему свободному месту. Цифры указаны в Mb, меняются они с шагом в 8Мб. Тоже кривизна, потому что 1Mb нормальный стандартный шаг для всех типов HDD/SSD.

Из интересного вчера забыл еще сказать, что при авторазбиении диска создается несколько райд-разделов. Но, конечно, не такие, как мне нужны...
Это фича такая приползает, в зависимости от инсталлятора. В виртуалке она умышленно отключается. Не надо в таком случае выбирать авторазбивку, раз она вам не подходит.

На каждом диске нужно создать первый раздел типа EFI, хватит и 100Мб, файловая система там д.б. FAT32. С такой разметкой инсталлятор сходит с ума, поэтому делать придётся иначе: лишь на реально загрузочном диске делаете первый раздел EFI System Partition, а на остальных дисках -- первый раздел типа basic data такого же размера (100Мб). После установки эти разделы можно будет в консоли отредактировать и раскопировать. Но надо понимать, что EFI программных рейдов не понимает.

Для поддержки загрузки с гибридного диска GPT/Protective MBR в режиме Legacy/Boot при авторазметке инсталлятор создаёт следом ещё один раздел 8Мб типа bios boot partition без создания на нём тома. При установке загрузчика, grub2 копирует туда код stage1.5 для Legacy/MBR-загрзуки. Но я нигде не видел, чтобы это работало, как задумывалось авторами alterator-vm. Так что можно на этот раздел смело забить -- UEFI загрузка работает всё равно иначе.
To moan or to solve -- that is the question!

Оффлайн Spanish ArCher

  • Давно тут
  • **
  • Сообщений: 1 200
Вставлю свои 5 копеек.

На своем домашнем компе для хранения домашнего фото/видео, вобщем того, что невозможно скачать из интернета, сделал RAID1 средствами btrfs. И не заморачивался с LVM.
Если я попался вам навстречу, Значит вам со мной не по пути.
(С) Воскресение

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Выбор, о котором шла речь: 1) bios boot partition, 2) efi system partition и 3) data partition. Это ужасная кривизна EVMS, alterator-vm тут не причём. Просто, при разметке GUID/GPT таким образом первые два варианта определяют специальные типы разделов для UEFI-загрузки, все остальные разделы это кривое поделие от IBM помечает как Microsoft Basic Data, хотя в GPT для каждого типа существует свой код. Разумеется, где разметка идёт в MBR, вы этого выбора не увидите.
Спасибо, теперь буду знать.
выбирайте basic data (для GPT), снимите флажок [ ] создать том
Вот флажок я пропустил...
про разметку MBR сразу забывает -- только GPT, только UEFI, только хардкор. И это правильно! И никаких поломок там конечно нет.
Про UEFI много всего "хорошего" в Интернете написано... Сам с проблемами не сталкивался, но не думаю, что вой на пустом месте. Стараюсь обходиться без него.

Если делать Legacy, то нужно сделать раздел 8 мб для  stage 1.5?


На своем домашнем компе для хранения домашнего фото/видео, вобщем того, что невозможно скачать из интернета, сделал RAID1 средствами btrfs. И не заморачивался с LVM.
Наверное, так стабильнее... И, судя по описанию (никогда не использовал, даже в тестах), btrfs умнее. Но LVM мне кажется для моих задач удобнее.

Оффлайн klark973

  • Давно тут
  • **
  • Сообщений: 623
  • Неспящий саппорт
про разметку MBR сразу забывает -- только GPT, только UEFI, только хардкор. И это правильно! И никаких поломок там конечно нет.
Про UEFI много всего "хорошего" в Интернете написано... Сам с проблемами не сталкивался, но не думаю, что вой на пустом месте. Стараюсь обходиться без него.
Здесь не получится ни грузиться в Legacy, ни обойтись MBR, т.к. диски поддерживаются только до 2Тб, а у вас 6Тб -- каждый!

Если делать Legacy, то нужно сделать раздел 8 мб для  stage 1.5?
Про этот раздел можно забыть. EFI Firmware сразу грузит загрузчик grub из раздела ESP, так что код из BIOS Boot Partition не используется вообще.
To moan or to solve -- that is the question!