Автор Тема: Сервер PVE. Выявленные проблемы.  (Прочитано 19518 раз)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Наконец дошли руки потестировать. Ставил из этого образа: http://nightly.altlinux.org/p8/release/alt-p8-server-pve-20180612-x86_64.iso
При установке руководствовался: https://www.altlinux.org/Starterkits/server-pve

Кратко описываю проблемы и найденные пути их решения/объезда.

1. При выполнении команды # systemctl start syslogd ntpd rrdcached ksmtuned crond lxcfs cgmanager nfs-client.target openvswitchполучил ответ, что ntpd и cgmanager - неизвестные сервисы. Оказалось, что они не установлены, поэтому выполняем:
# apt-get install ntpd cgmanagerпосле чего запускаем их и активируем.

2. Команда # systemctl start pve-manager у меня так и не сработала. Получил вот это:
# systemctl start pve-manager
Failed to start pve-manager.service: Operation refused, unit pve-guests.service may be requested by dependency only (it is configured to refuse manual start/stop).
See system logs and 'systemctl status pve-manager.service' for details.
Насколько понимаю, она вручную не запускается, только автоматически. После перезагрузки все заработало.

3. Web-интерфейс не открывается по ip адресу, только по имени хоста. Не знаю, баг это, или фича, но это не всегда удобно.

4. Пришло время скачать шаблоны и развернут контейнер. Штатными средствами это сделать невозможно:
# pveam update
update failed - see /var/log/pveam.log for details
# cat /var/log/pveam.log
...........
2018-09-09 10:24:52 starting update
2018-09-09 10:24:52 start download http://download.proxmox.com/images/aplinfo.dat.asc
2018-09-09 10:24:53 download finished: 200 OK
2018-09-09 10:24:53 start download http://download.proxmox.com/images/aplinfo.dat.gz
2018-09-09 10:24:53 download finished: 200 OK
2018-09-09 10:24:53 update failed: unable to unpack '/var/lib/pve-manager/apl-info/pveam-download.proxmox.com.tmp.60691.gz'
2018-09-09 10:24:53 start download https://releases.turnkeylinux.org/pve/aplinfo.dat.asc
2018-09-09 10:24:53 download failed: 501 Protocol scheme 'https' is not supported (LWP::Protocol::https not installed)
2018-09-09 10:24:53 update failed - no signature file '/var/lib/pve-manager/apl-info/pveam-releases.turnkeylinux.org.tmp.60691.asc'
Остается 2 варианта: заливать через web-интерфейс или, лучше, использовать wget.
Шаблоны контейнеров лежат в /var/lib/vz/template/cache.

5. Понимая, что с альтовскими шаблонами контейнеров возможны проблемы (т.к. они заточены по OpenVZ), взял последний Ubuntu отсюда: http://download.proxmox.com/images/system/ubuntu-18.04-standard_18.04-1_amd64.tar.gz При создании контейнера получил:
extracting archive '/var/lib/vz/template/cache/ubuntu-18.04-standard_18.04-1_amd64.tar.gz'
Total bytes read: 623677440 (595MiB, 31MiB/s)
Detected container architecture: amd64
TASK ERROR: unsupported Ubuntu version '18.04'
Поставил постарее: http://download.proxmox.com/images/system/ubuntu-14.04-standard_14.04-1_amd64.tar.gz - работает.

6. Найти альтовский шаблон окащалось задачей нетривиальной. Прочитав https://www.altlinux.org/%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD%D1%8B_%D0%B4%D0%BB%D1%8F_%D1%80%D0%B0%D0%B7%D0%B2%D1%91%D1%80%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_CT_%D0%B2_PVE и перейдя на https://bugzilla.altlinux.org/show_bug.cgi?id=33629 шаблона так и не увидел. Нашел гуглением в баге https://bugzilla.altlinux.org/show_bug.cgi?id=32462 и скачал, соответственно, отсюда: ftp://ftp.altlinux.ru/pub/people/shrek/altlinux-p8-x86_64.tar.xz Шаблон рабочий.

7. Временами отваливается либо не стартует сеть внутри контейнеров.  Перезапуск как правило помогает.

8. Понадобилась более сложная топология сети между хостом и контейнерами. Попробовал добавить еще 1 бридж vmbr1 средствами хоста (создание соответствующего каталога и файлов). После
# service network restartбридж на хосте появляется, а в веб-морде VE нет. При этом VE перезапустить не получилось:
# systemctl restart pve-manager
Failed to restart pve-manager.service: Operation refused, unit pve-guests.service may be requested by dependency only (it is configured to refuse manual start/stop).
See system logs and 'systemctl status pve-manager.service' for details.
Удалил, создал через web-морду: там есть, а к хосту не применяется. В общем, оба варианта применяются только после перезагрузки хоста.

9. При добавлении третьего бриджа vmbr2 через web-морду получил:
Etcnet writer: got /etc/network/interface global config lines: 6, HOST=; 8, HOST= at /usr/share/perl5/PVE/INotifyEtcnetOverride.pm line 201. (500)Нагуглил дишь вот это: https://lists.altlinux.org/pipermail/sysadmins/2017-January/037729.html, но оно не помогает. Возможно, ругается на то, что бридж к физическому интерфейсу не привязан. Проверю позже.

Осмыслю результат и повешу баги/подправлю wiki.
« Последнее редактирование: 13.12.2018 00:21:08 от Dmytro »

Оффлайн ozolexx

  • Начинающий
  • *
  • Сообщений: 8
Re: Сервер PVE. Выявленные проблемы.
« Ответ #1 : 13.09.2018 10:04:21 »
Начал использование PVE недавно, месяца два назад.
Свои первые впечатления описал здесь.

На сегодняшний день основная проблема выглядит так.
В сети развернута MS AD. Есть три контроллера домена на Windows Server 2016, все на виртуалках.
Первый - на Hyper-V, а остальные были переведены на PVE (Starterkit alt-p8-server-pve-latest-x86_64).
За время после переноса дважды прилетели накопительные обновления для WS 2016.

И оба раза такая картина: на Hyper-V все ок, КД работает.
А на PVE винда перестает грузиться, штатное восстановление загрузки не помогает, спасает только восстановление из образа бэкапа:
1) загрузка с ISO-образа
2) подстановка драйвера VirtIO со второго образа ISO (иначе не видит диск с архивом бэкапов)
3) выбор образа восстановления.

Приходится на WSUS отклонять очередной пакет накопительных обновлений для проблемных КД, что не есть гуд.

Подозрение на драйвер VirtIO SCSI, который после обновлений перестает работать и загрузочный диск как-будто не виден. Колдунство с ручной подстановкой драйвера и указанием положения загрузчика не пробовал, ибо быстрее вернуть КД в строй из бэкапа.


Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #2 : 11.12.2018 11:58:27 »
После неудачного обновления не стартует. Ошибок очень много, сейчас все не выложу. Насколько понял, сейчас продукт в очень нестабильном состоянии, если вообще работоспособен. Например, на wiki упоминается патч, но все ссылки битые.

Попробовал развернуть шаблон http://ftp//ftp.altlinux.ru/pub/people/shrek/altlinux-p8-x86_64.tar.xz на оригинальном ProxMox - получил сообщение, что это неизвестная версия Fedora.

Скопировал из альтовского пакета файлы настроек, расположенные в .\usr\share\lxc\config\ - результат не изменился.

В связи с этим 2 вопроса:
1. PVE в Альте живой?
2. Какие еще конфиги перекинуть в ProxMox?

Оффлайн Антон Мидюков

  • alt linux team
  • ***
  • Сообщений: 5 183
  • antohami@
Re: Сервер PVE. Выявленные проблемы.
« Ответ #3 : 11.12.2018 13:13:42 »
Из telegram:

Anton Farygin, [11.12.18 17:11]
[В ответ на Антон Мидюков]
Pve тестируется исключительно на сервер 8.2 а эти ошибки - какие то проблемы в регулярках.

Anton Farygin, [11.12.18 17:12]
Человеку нужно поставить нормальный сервер, тогда я ему помогу

Оффлайн Дым

  • Начинающий
  • *
  • Сообщений: 3
    • Email
Re: Сервер PVE. Выявленные проблемы.
« Ответ #4 : 11.12.2018 13:27:05 »
Если речь именно об оригинальном проксмоксе, то не всё так просто.
Чтобы в нём работали альтовые контейнеры, для себя я набросал скрипт, патч и шаблон контейнера.
На альтовики есть статья про альтовые контейнеры в оригинальном проксмоксе, я в неё свой шаблон как альтернативный добавил. Но делал не по ней - сильно до неё, посему подтвердить работоспособность описанной методы не берусь.
« Последнее редактирование: 12.12.2018 12:16:28 от Дым »

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #5 : 11.12.2018 14:06:55 »
[В ответ на Антон Мидюков]
Pve тестируется исключительно на сервер 8.2 а эти ошибки - какие то проблемы в регулярках.
Попробую развернуть на сервере 8.2.

У меня пока лишь несколько контейнеров крутилось - падение не критично, т.к. можно без PVE все это хозяйство собрать.

Но неделю назад в школу приехал довольно мощные сервер... Как я ранее писал, очень хочется разбить службы по контейнерам. Поднимать для каждой полноценную VM слишком накладно, OVZ в том виде, в каком он включен во все дистрибутивы, у меня с современными версиями некоторых программ работать отказывается. Потому и хочется в PVE все собрать. Но после недавнего краха как-то боязно... Вариант установить и не дышать на сервер совсем не обновлять хост во-первых, небезопасен, а во-вторых рано или поздно обновлять придется. (Например, скоро p9 ожидается).

Вариант озадачить техсаппорт и радоваться жизни также не рассматриваю (хотя к лицензии поддержка прилагается), т.к. надо самому уметь решать хотя-бы 90% проблем.

Чтобы в нём работали альтовые контейнеры, для себя я набросал скрипт, патч и шаблон контейнера.
На альтовики есть статья про это, я в неё свой шаблон как альтернативный добавил.
Там несколько статей. Если не затруднит, дайте пожалуйста ссылочку на Вашу.
« Последнее редактирование: 11.12.2018 14:11:19 от Dmytro »

Оффлайн Rider

  • /usr/sbin/control
  • *******
  • Сообщений: 1 136
Re: Сервер PVE. Выявленные проблемы.
« Ответ #6 : 11.12.2018 14:40:33 »
У меня PVE эксплуатируется в жёстком продакшн, никаких проблем не наблюдаю.
Правда, тут ещё зависит от железа и конфигурации/задач.

Но PVE можно нормально устанавливать только на Server 8.2 (на нём же и тестируется). то, что называется регуляркой с pve - я один раз поставил, помучался и снёс - все инструкции заточены на сервер 8.2 и по другим дистрибутивам поддержка помощь никакую не окажет.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #7 : 11.12.2018 14:47:41 »
Но PVE можно нормально устанавливать только на Server 8.2 (на нём же и тестируется). то, что называется регуляркой с pve - я один раз поставил, помучался и снёс
У меня PVE с регулярки прожил 3 месяца...

Оффлайн maximus

  • Завсегдатай
  • *
  • Сообщений: 53
    • Email
Re: Сервер PVE. Выявленные проблемы.
« Ответ #8 : 12.12.2018 05:23:42 »
У меня PVE эксплуатируется в жёстком продакшн, никаких проблем не наблюдаю.
Правда, тут ещё зависит от железа и конфигурации/задач.

Но PVE можно нормально устанавливать только на Server 8.2 (на нём же и тестируется). то, что называется регуляркой с pve - я один раз поставил, помучался и снёс - все инструкции заточены на сервер 8.2 и по другим дистрибутивам поддержка помощь никакую не окажет.
И LXC контейнеры запускаются и работают?

Оффлайн Rider

  • /usr/sbin/control
  • *******
  • Сообщений: 1 136
Re: Сервер PVE. Выявленные проблемы.
« Ответ #9 : 12.12.2018 07:31:32 »
Я не использую LXC, но знаю того, кто использует - да, у него всё работает.

Если не работает LXC - занесите это в bugzilla. пожалуйста.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #10 : 12.12.2018 10:56:36 »
И LXC контейнеры запускаются и работают?
У меня на стартерките запускались и работали.

Оффлайн maximus

  • Завсегдатай
  • *
  • Сообщений: 53
    • Email
Re: Сервер PVE. Выявленные проблемы.
« Ответ #11 : 12.12.2018 12:08:28 »
У меня на стартере не получилось запустить. Потратил кучу времени, но моей скромной квалификации не хватило.
Накатил alt-server-8.2, установил lxc, создал тестовый контейнер, запустил. Без каких-либо танцев.
Я счастлив!
А то я уже совсем расстроился. Думал уже оставаться на t7 c openvz, или держать отдельного kvm-гостя с t7 openvz, ну короче думки отчаяния меня посещали.
Спасибо разработчикам, сборщикам и форумчанам!  ;-D

Оффлайн Дым

  • Начинающий
  • *
  • Сообщений: 3
    • Email
Re: Сервер PVE. Выявленные проблемы.
« Ответ #12 : 12.12.2018 12:19:31 »
Там несколько статей. Если не затруднит, дайте пожалуйста ссылочку на Вашу.
Вот эта. И она не моя: я просто разместил объяву добавил шаблон, с которым работают как системдшные, так и системвшные контейнеры.
« Последнее редактирование: 12.12.2018 12:25:22 от Дым »

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #13 : 12.12.2018 17:15:01 »
Там несколько статей. Если не затруднит, дайте пожалуйста ссылочку на Вашу.
Вот эта. И она не моя: я просто разместил объяву добавил шаблон, с которым работают как системдшные, так и системвшные контейнеры.
На 5.3 не пошло. Там эти скрипты несколько отличаются. Попробую запустить на 5.1, а потом в скриптах поковыряюсь.

Но PVE можно нормально устанавливать только на Server 8.2 (на нём же и тестируется).
На всякий случай уточните, чтоб не тратить время на проверку: обновляться из бранча можно? Или настроить и не трогать хост?

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Сервер PVE. Выявленные проблемы.
« Ответ #14 : 13.12.2018 02:12:43 »
На офсайте Proxmox лежит версия 5.1-41

После патча файла Setup.pm вылазит
# systemctl status pvedaemon.service
● pvedaemon.service - PVE API Daemon
   Loaded: loaded (/lib/systemd/system/pvedaemon.service; enabled; vendor preset: enabled)
   Active: failed (Result: exit-code) since Thu 2018-12-13 02:04:14 MSK; 11s ago
  Process: 6163 ExecStop=/usr/bin/pvedaemon stop (code=exited, status=2)
  Process: 8214 ExecStart=/usr/bin/pvedaemon start (code=exited, status=2)
 Main PID: 5002 (code=exited, status=0/SUCCESS)
      CPU: 1.860s

Dec 13 02:04:14 server pvedaemon[8214]: Compilation failed in require at /usr/share/perl5/PVE/API2.pm line 13.
Dec 13 02:04:14 server pvedaemon[8214]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/API2.pm line 13.
Dec 13 02:04:14 server pvedaemon[8214]: Compilation failed in require at /usr/share/perl5/PVE/Service/pvedaemon.pm line 8.
Dec 13 02:04:14 server pvedaemon[8214]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/Service/pvedaemon.pm line 8.
Dec 13 02:04:14 server pvedaemon[8214]: Compilation failed in require at /usr/bin/pvedaemon line 11.
Dec 13 02:04:14 server pvedaemon[8214]: BEGIN failed--compilation aborted at /usr/bin/pvedaemon line 11.
Dec 13 02:04:14 server systemd[1]: pvedaemon.service: Control process exited, code=exited status=2
Dec 13 02:04:14 server systemd[1]: Failed to start PVE API Daemon.
Dec 13 02:04:14 server systemd[1]: pvedaemon.service: Unit entered failed state.
Dec 13 02:04:14 server systemd[1]: pvedaemon.service: Failed with result 'exit-code'.

А после добавдение файла ALTLinux.pm еще сильнее ругается:
# journalctl -xe
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/LXC/Setup/ALTLinux.pm line 6.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/LXC/Setup.pm line 16.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/LXC/Setup.pm line 16.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/LXC/Create.pm line 12.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/LXC/Create.pm line 12.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/API2/LXC.pm line 18.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/API2/LXC.pm line 18.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/HA/Resources/PVECT.pm line 14.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/HA/Resources/PVECT.pm line 19.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/HA/Env/PVE2.pm line 21.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/HA/Env/PVE2.pm line 21.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/VZDump.pm line 17.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/VZDump.pm line 17.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/API2/Backup.pm line 15.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/API2/Backup.pm line 15.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/API2/Cluster.pm line 15.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/API2/Cluster.pm line 15.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/API2.pm line 13.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/API2.pm line 13.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/share/perl5/PVE/Service/pvedaemon.pm line 8.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/share/perl5/PVE/Service/pvedaemon.pm line 8.
Dec 13 01:43:21 server pvedaemon[6465]: Compilation failed in require at /usr/bin/pvedaemon line 11.
Dec 13 01:43:21 server pvedaemon[6465]: BEGIN failed--compilation aborted at /usr/bin/pvedaemon line 11.
Dec 13 01:43:22 server systemd[1]: pvedaemon.service: Control process exited, code=exited status=2
Dec 13 01:43:22 server systemd[1]: Failed to start PVE API Daemon.
-- Subject: Unit pvedaemon.service has failed
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- Unit pvedaemon.service has failed.
--
-- The result is failed.
Dec 13 01:43:22 server systemd[1]: pvedaemon.service: Unit entered failed state.
Dec 13 01:43:22 server systemd[1]: pvedaemon.service: Failed with result 'exit-code'.


Эти же ошибки выскакивали при попытке обновить регулярку до сизифа. Насколько понимаю, патчик сделан на основе того, что в Альте... Если так, надо его актуализировать под свежий Proxmox.
« Последнее редактирование: 13.12.2018 12:08:16 от sb »