«Альт Виртуализация» 11.1 Редакция PVE и программный RAID1

[ArchyBald]

Здравствуйте, на сервере присутствуют M.2 (2шт.) и HDD (2шт.). Стал ставить систему с virtualization-pve-11.1-x86_64.iso и почему то при установке нет опции RAID1 - высвечивается только SINGLE, хотя в списке присутствуют все 4 блочных устройства. Судя по справке (внизу кнопка) это означает что установка будет БЕЗ создания программного массива RAID. Чистил диски и так и эдак - думал может на них какие старые данные мешают созданию RAID. Однако потом просто решил попробовать прошлый релиз - не 11.1, а 11.0 и как ни странно там эта опция появилась и всё установилось в виде btrfs-raid1.
У меня 3 вопроса:
1. Это только у меня такая проблема с программным раидом на 11.1?
2. Будет ли в будущей версии «Альт Виртуализация» добавлена возможность создания программных md(mdadm) раидов? (как например в Альт Сервер)
3. Почему во время установки системы нельзя настроить все диски, раиды и точки монтирования? Почему доступно только то куда ставится система?

[SerW]

Хотите потерять данные -- юзайте Раиды.
Вумные люди раиды не юзают.

[Nicom]

2. Будет ли в будущей версии «Альт Виртуализация» добавлена возможность создания программных md(mdadm) раидов? (как например в Альт Сервер)
3. Почему во время установки системы нельзя настроить все диски, раиды и точки монтирования? Почему доступно только то куда ставится система?

Я не пробовал устанавливать с virtualization-pve-11.1-x86_64.iso, но по опыту развёртывания Proxmox на Debian могу рассудить так:
2. Создание и управление RAID массивами это критические задачи при решении которых важно контролировать ход процесса и, иногда, копировать вывод команд. В графической системе инсталлятора это делать затруднительно. Синхронизация дисков процесс крайне медленный, а в процессе инсталляции что-то может пойти не так и потребуется перезагрузка.
3. Потому что даже производители Proxmox рекомендуют сначала установить базовую систему, а потом подключать хранилища.
Хранилище на системном диске они не считают за надёжный.
К md-raid у них нехорошее отношение и в их дистрибутивах изначально отсутствует mdadm, хотя я использую конфигурации с локальными хранилищами на RAID1 и проблем не вижу, кроме времени переноса vm с одной ноды на другую. В моей ситуации, создание распределённого хранилища слишком дорого.

При переходе с одного диска на массив мне в своё время помогли статьи:
mdadm software RAID ProxMox 5
Миграция PROXMOX VE 3.0 в software RAID1
Очередная миграция PROXMOX в softRAID1, но теперь уже 3.2 и на GPT-разделах, установка FreeNAS 9.2 на виртуальную машину и проброс в него физического диска
В сети много подобных статей, нужно только понимать что вы пытаетесь сделать конкретной командой.

Хотите потерять данные -- юзайте Раиды.
Вумные люди раиды не юзают.

Либо аргументируйте, либо это здесь не к месту.
Я юзаю райды, конкретно 1 и 5, с 2010 года и пока не потерял данные на них, хотя диски приходилось менять. Я не отношусь к "Вумные люди"?

[Skull]

На кластере Альт Виртуализации используется Ceph. RAID – для обладателей одного сервера .

[ArchyBald]

Хотите потерять данные -- юзайте Раиды.
Вумные люди раиды не юзают.

Объясните пожалуйста что вы имеете ввиду? Я например работаю с раидами с 2005 года, причем и с аппаратными и с программными. На программные я перешел из-за того что в один момент сгорела раидная плата (аппаратный раид), а других таких уже нигде не было в наличии, да и производство их давно уже прекратилось... После того как перешел на программные раиды (mdadm) - ни одного случая потери данных. Использую в работе раиды уровня 1го,5го и 6го (от 5го в последнее время отказываюсь в пользу 6го уровня, т.к. у знакомых админов уже несколько случаев было отказа одновременно 2х блочных устройств, причем и с HDD было и с SSD).

Я не пробовал устанавливать с virtualization-pve-11.1-x86_64.iso, но по опыту развёртывания Proxmox на Debian могу рассудить так...

Спасибо огромное за подробный и рассудительный ответ. Просто мы сейчас рассматриваем приобретение отечественного ПО с виртуализацией и я честно не думал что у каких то отечественных linux систем есть проблемы с mdadm. Будем пробовать еще ПО от конкурентов и если в них нет проблем как в Альт, то вопросов в выборе думаю не возникнет.

[SerW]

ArchyBald, про аппаратный раид вы сами ответили.
Программный: сейчас везде и всюду NVMe, зачем их рэйдить, в этом смысла мало.
С другой стороны, зеркалировать программно из одного NVMe в другой, другого производителя -- да, в этом смыл вижу.

[asy]

ArchyBald, про аппаратный раид вы сами ответили.

Если в столе не лежит запасного совместимого контроллера, то "ну такое". Опять же, RAID - это не про бакапы, а про горячую замену отлетающих HDD. А, и RAID 1 - это RAID 1. Даже если аппаратный, то отдельный HDD в 99.9% случаев видится системой без этого контроллера.

[Nicom]

На кластере Альт Виртуализации используется Ceph. RAID – для обладателей одного сервера .

Для Ceph нужна сеть 10 Гб, а это не всегда реализуемо физически и финансово. На 1Гб сети это всё-равно слёзы и здесь разделение хранилищей по нодам в зеркальных массивах имеет преимущество.

Программный: сейчас везде и всюду NVMe, зачем их рэйдить, в этом смысла мало.
С другой стороны, зеркалировать программно из одного NVMe в другой, другого производителя -- да, в этом смыл вижу.

Не важно что NVMe одного вида и одной партии, проблемы возникают на конкретных чипах памяти и вполне конкретном накопителе. Поэтому, можно и нужно строить RAID1 на NVMe там где это необходимо для отказоустойчивости и увеличения скорости чтения, например базы данных.

[asy]

На кластере Альт Виртуализации используется Ceph. RAID – для обладателей одного сервера .

Для Ceph нужна сеть 10 Гб, а это не всегда реализуемо физически и финансово.

10 - не 10, но 2.5Гб, реалтеки правда, ставят уже на десктопные материнки. Надо коммутаторы посмотреть...

[Nicom]

На кластере Альт Виртуализации используется Ceph. RAID – для обладателей одного сервера .

Для Ceph нужна сеть 10 Гб, а это не всегда реализуемо физически и финансово.

10 - не 10, но 2.5Гб, реалтеки правда, ставят уже на десктопные материнки. Надо коммутаторы посмотреть...

Цены на коммутаторы, что для 2,5, что для 10Гб, практически одинаково высокие, как и на сетевые карты. Если и строить такую сеть, то сразу на оптике. В любом случае, цена сети для трёх нод будет от 60 тысяч.
Проблема ещё и в отсутствии свободных слотов PCIe x4 на старом оборудовании.
Под 2,5Гб Реалтеки на материнках нужно ядро от 6.14 и выше.

[asy]

Цены на коммутаторы, что для 2,5, что для 10Гб, практически одинаково высокие, как и на сетевые карты. Если и строить такую сеть, то сразу на оптике.

С оптикой работать сложнее, а в пределах десятка метров, как оказалось, не особо и принципиально (для 10Gbe смотрел, правда в качесте передачи данных Internet, а не кластера; может на дисковых операция и заметна будет разница). Что касается "2.5Gbe сетевая дорого", упомянутая рядом Gigabyte b760m ds3h, как раз, с 2.5Gbe на борту:

# ethtool ether3
Settings for ether3:
        Supported ports: [ TP    MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full

04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
        Subsystem: Gigabyte Technology Co., Ltd Device e000
        Kernel driver in use: r8169

Правда не проверял.

Под 2,5Гб Реалтеки на материнках нужно ядро от 6.14 и выше.

Почему? Вот на этом хосте 5.10.247-std-def-alt2, вроде правильно всё показывает. Или в реальном применении плохо будет?

[Nicom]

С оптикой работать сложнее,

Отнюдь. Все комплектующие есть уже готовые, что пачкорды разной длинны, что SFP модули под разные максимальные расстояния. Причём, пачкорды тоньше кабелей UTP и их удобнее прокладывать. Вот с Ethernet медью на 10Гб работать действительно сложнее, там всё специальное, что кабель, что коннекторы, гнуть кабель можно только с большИм радиусом, а по стоимости получается дороже оптики.
Есть ещё DAC кабели. На коротких дистанциях могут заменить оптику, но стоимость почти одинаковая.

Что касается "2.5Gbe сетевая дорого", упомянутая рядом Gigabyte b760m ds3h, как раз, с 2.5Gbe на борту:

Да, действительно, чип RTL8125 заводится даже на ядре 6.1 в 10 платформе Альта, но на максимальной скорости не проверял, свитч гигабитный.
Для чипа RTL8126 (5Gb) мне пришлось ставить ядро 6.14 на Proxmox чтобы он определился системой. Выручила внешняя сетевая USB карта на 100Мб. Материнка MSI MAG B850M MORTAR WIFI (MS-7E61).

Код: [Выделить]

ethtool enp12s0
Settings for enp12s0:
Supported ports: [ TP MII ]
Supported link modes:   10baseT/Half 10baseT/Full
                        100baseT/Half 100baseT/Full
                        1000baseT/Full
                        2500baseT/Full
                        5000baseT/Full

Код: [Выделить]

0c:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8126 5GbE Controller (rev 01)
Subsystem: Micro-Star International Co., Ltd. [MSI] RTL8126 5GbE Controller
Kernel modules: r8169
Но это на новых платах есть чипы 2,5+Гб, а что делать со старыми, где уже занят единственный слот PCI-e x16 под плату с двумя NVMe (на материнках нет бифуркации, платы расширения со своим чипом, загрузка с накопителей таких плат расширения невозможна), а остальные слоты только PCI-e x1?
Ведь кластер не всегда строится только на новом железе.