Автор Тема: PVE на p9 (с переездом)  (Прочитано 14057 раз)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
PVE на p9 (с переездом)
« : 17.12.2019 19:06:37 »
В связи с тем, что есть сабж на p8, решил проверить, возможно ли обновление. Тест не совсем чистый, т.к. в ходе проверки систему не настраивал.

Что делал:
1. Установил Сервер 8.2 x64 в варианте минимум+PVE. (без настройки).

2. Запустил обновление до p9.
Спойлер
Все стандартно:
#apt-repo rm all
#apt-repo add p9
#apt-get update
#apt-get dist upgrade

Вот тут произошел первый затык. Получил сообщение, что невозможно установить chrony, т.к. он конфликтует с openntpd. (лог не сохранил).

3. Удалил openntpd (вслед за ним улетели и пакеты PVE*)

4. Обновился до p9

5. Установил pve-manager
#apt-get install pve-managerC ним подтянулись зависимости.

6. Настроил мост через web-морду альтератора. (там тоже проблемка была, отдельно потестирую - баг повешу).
Чтобы это не повлияло, удалил файлы, отвечающие за мост, и создал его руками.

7. Прописал свой IP в HOSTS (ip статический, конечно, прикреплен к мосту).

8. # rm -f /etc/corosync/corosync.conf
9. # systemctl start ntpd rrdcached ksmtuned crond lxcfs openvswitch nfs-client.targetПолучил ругань на отсутствие ntpd и nfs-client.target

10. Поставил nfs-clients
#apt-get install nfs-clients
11. # systemctl start rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target
№ # systemctl enable rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target

12. #systemctl start chrony-wait.service
# systemctl enable chrony-wait.service
Вот в этом шаге Update: не уверен, что правильно сделал. лишняя команда.

13. # systemctl start pve-clusterНе завелся. Но такое и ранее бывало, что начинало работать только после перезагрузки. Поэтому идем дальше.

14. # systemctl enable pve-cluster
15. Перезагружаемся.

16. Получаем
# systemctl status pve-cluster
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: disabled)
   Active: inactive (dead)
Condition: start condition failed at Tue 2019-12-17 18:26:21 MSK; 47s left
           └─ ConditionPathExistsGlob=/sys/devices/virtual/net/vmbr*/dev_id was not met

Вот тут я завис. Это он на мост ругается? Мне нужно мост по-другому назвать?
« Последнее редактирование: 20.12.2019 11:00:29 от Dmytro »

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #1 : 18.12.2019 10:56:46 »
Имя моста не влияет. Update: Точнее, изменение имени с br* на wmbr* не помогло. Тем не менее, оно могло привести к проблеме. (добавил это в wiki).

Копаю дальше.

# journalctl -xe
дек 18 10:53:48 pve.localdomain systemd[1]: pveproxy.service: Failed with result 'exit-code'.
-- Subject: Unit failed
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- The unit pveproxy.service has entered the 'failed' state with result 'exit-code'.
дек 18 10:53:48 pve.localdomain systemd[1]: Failed to start PVE API Proxy Server.
-- Subject: Ошибка юнита pveproxy.service
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Произошел сбой юнита pveproxy.service.
--
-- Результат: failed.
дек 18 10:53:48 pve.localdomain audit[1]: SERVICE_START pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=pveproxy comm="systemd" exe="/lib/systemd/systemd" hostnam>
дек 18 10:53:49 pve.localdomain systemd[1]: pveproxy.service: Service RestartSec=100ms expired, scheduling restart.
дек 18 10:53:49 pve.localdomain systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 21.
-- Subject: Назначен автоматический перезапуск юнита
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Назначен автоматический перезапуск юнита pveproxy.service, так как для него был задан
-- параметр Restart=.
дек 18 10:53:49 pve.localdomain systemd[1]: Stopped PVE API Proxy Server.
-- Subject: Завершена остановка юнита pveproxy.service.
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Процесс остановки юнита pveproxy.service был завершен.
дек 18 10:53:49 pve.localdomain audit[1]: SERVICE_START pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=pveproxy comm="systemd" exe="/lib/systemd/systemd" hostnam>
дек 18 10:53:49 pve.localdomain audit[1]: SERVICE_STOP pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=pveproxy comm="systemd" exe="/lib/systemd/systemd" hostname>
дек 18 10:53:49 pve.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
-- Subject: Запуск юнита pve-cluster.service завершен
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Процесс запуска юнита pve-cluster.service был завершен.
--
-- Результат: done.
lines 3660-3698/3698 (END)

# systemctl status pveproxy.service
● pveproxy.service - PVE API Proxy Server
   Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; vendor preset: disabled)
   Active: inactive (dead) (Result: exit-code) since Wed 2019-12-18 10:54:59 MSK; 41s ago
  Process: 3211 ExecStart=/usr/bin/pveproxy start (code=exited, status=25)

дек 18 10:54:59 pve.localdomain systemd[1]: pveproxy.service: Service RestartSec=100ms expired, scheduling restart.
дек 18 10:54:59 pve.localdomain systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 22.
дек 18 10:54:59 pve.localdomain systemd[1]: Stopped PVE API Proxy Server.
[root@pve ~]#

Как понять, почему не стартует pveproxy.service?
« Последнее редактирование: 19.12.2019 23:21:12 от Dmytro »

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #2 : 18.12.2019 14:33:16 »
Как понять, почему не стартует pveproxy.service?
Ему не нравилось, как маршрут прописан. Маршрут убрал, он запустился.

При попытке запустить примерно половину компонентов вылетает такое:
# pvecm status
ipcc_send_rec[1] failed: Connection refused
ipcc_send_rec[2] failed: Connection refused
ipcc_send_rec[3] failed: Connection refused
Unable to load access control list: Connection refused

при этом
[root@pve ~]# systemctl start pve-cluster.service
[root@pve ~]# systemctl status pve-cluster.service
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: disabled)
   Active: inactive (dead)
Condition: start condition failed at Wed 2019-12-18 14:31:16 MSK; 17s ago
           └─ ConditionPathExistsGlob=/sys/devices/virtual/net/vmbr*/dev_id was not met

дек 18 12:50:08 pve.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
дек 18 12:59:43 pve.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
дек 18 14:31:16 pve.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
[root@pve ~]#

Не пойму, куда дальше смотреть.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #3 : 18.12.2019 15:00:18 »
pve.localdomain corosync[2188]: Can't read file /etc/corosync/corosync.conf: No such file or directory
Почему-то он не создался

Далее имеем
pve.localdomain corosync[2188]: Can't read file /etc/corosync/corosync.conf: No such file or directory

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #4 : 18.12.2019 19:23:52 »
Нашел еще кое-что.
дек 18 19:12:14 pve.localdomain pveproxy[14994]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1688.
дек 18 19:12:14 pve.localdomain pveproxy[14995]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1688.
дек 18 19:12:14 pve.localdomain pveproxy[14996]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1688.


При этом
# systemctl status pveproxy.service
● pveproxy.service - PVE API Proxy Server
   Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2019-12-18 14:48:07 MSK; 4h 34min ago
  Process: 2468 ExecStart=/usr/bin/pveproxy start (code=exited, status=0/SUCCESS)
 Main PID: 2471 (pveproxy)
    Tasks: 4 (limit: 4915)
   Memory: 124.7M
   CGroup: /system.slice/pveproxy.service
           ├─ 2471 pveproxy
           ├─15543 pveproxy worker
           ├─15544 pveproxy worker
           └─15545 pveproxy worker

дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15541 finished
дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15539 finished
дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15540 finished
дек 18 19:22:51 pve.localdomain pveproxy[2471]: starting 3 worker(s)
дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15543 started
дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15544 started
дек 18 19:22:51 pve.localdomain pveproxy[2471]: worker 15545 started
дек 18 19:22:51 pve.localdomain pveproxy[15543]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEv>
дек 18 19:22:51 pve.localdomain pveproxy[15544]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEv>
дек 18 19:22:51 pve.localdomain pveproxy[15545]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEv>
lines 1-23/23 (END)

Интересно, может ли это влиять.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #5 : 19.12.2019 01:52:26 »
Для того, чтобы точнее определить, где копать, провел 2 эксперимента:
1. Установил и настроил сабж на сервере виртуализации p9 - все работает.
2. Установил и попытался настроить на простом серверном дистрибутиве из p9, установленном в минимальной конфигурации - ошибка таже и там же, что всплыла при обновлении p8.


Вывод:


1. Чего-то в системе не хватает.
Update: Вывод неверный. Пакеты все есть, но не все сервисы стартуют. (см. далее)
2. Проблема не связана с обновлением p8->p9

Никто не знает, что может вызвать такую ошибку?
# pvecm create pve
ipcc_send_rec[1] failed: Connection refused
ipcc_send_rec[2] failed: Connection refused
ipcc_send_rec[3] failed: Connection refused
Unable to load access control list: Connection refused

Понять бы, где этот access control list должен находиться или кто его предоставляет...
Не гуглится оно что-то (((
Вернее, то, что гуглится, не помогает.
« Последнее редактирование: 19.12.2019 23:15:47 от Dmytro »

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: PVE на p9 (с переездом)
« Ответ #6 : 19.12.2019 09:17:53 »
pve-qemu?
Андрей Черепанов (cas@)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #7 : 19.12.2019 14:51:30 »
Вроде, на чистой машине проблему победил. (попутно правлю wiki)

Если делать полностью по инструкции, затыкается на
# pvecm create pve
ipcc_send_rec[1] failed: Connection refused
ipcc_send_rec[2] failed: Connection refused
ipcc_send_rec[3] failed: Connection refused
Unable to load access control list: Connection refused

Имеем:
# systemctl status pve-cluster
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

дек 19 14:16:24 serv1.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
дек 19 14:17:42 serv1.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.

Пробуем:
# systemctl restart corosync  pve-cluster
Job for corosync.service failed because the control process exited with error code.
See "systemctl status corosync.service" and "journalctl -xe" for details.
[root@serv1 vmbr0]# systemctl status corosync.service
● corosync.service - Corosync Cluster Engine
   Loaded: loaded (/lib/systemd/system/corosync.service; disabled; vendor preset: disabled)
   Active: activating (auto-restart) (Result: exit-code) since Thu 2019-12-19 14:18:48 MSK; 11s ago
  Process: 8789 ExecStart=/usr/sbin/corosync -f $COROSYNC_OPTIONS (code=exited, status=8)
 Main PID: 8789 (code=exited, status=8)

Смотрим, что случилось:
# journalctl -xe
-- Subject: Начинается запуск юнита corosync.service
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Начат процесс запуска юнита corosync.service.
дек 19 14:18:48 serv1.localdomain systemd[1]: Condition check resulted in PVE cluster filesystem being skipped.
-- Subject: Запуск юнита pve-cluster.service завершен
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Процесс запуска юнита pve-cluster.service был завершен.
--
-- Результат: done.
дек 19 14:18:48 serv1.localdomain corosync[8789]: Can't read file /etc/corosync/corosync.conf: No such file or directory
дек 19 14:18:48 serv1.localdomain systemd[1]: corosync.service: Main process exited, code=exited, status=8/n/a
-- Subject: Unit process exited
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- An ExecStart= process belonging to unit corosync.service has exited.
--
-- The process' exit code is 'exited' and its exit status is 8.
дек 19 14:18:48 serv1.localdomain systemd[1]: corosync.service: Failed with result 'exit-code'.
-- Subject: Unit failed
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- The unit corosync.service has entered the 'failed' state with result 'exit-code'.
дек 19 14:18:48 serv1.localdomain systemd[1]: Failed to start Corosync Cluster Engine.
-- Subject: Ошибка юнита corosync.service
-- Defined-By: systemd
-- Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Произошел сбой юнита corosync.service.
--
-- Результат: failed.
дек 19 14:18:48 serv1.localdomain audit[1]: SERVICE_START pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=corosync comm="systemd" exe="/lib/systemd/systemd" hostn>

Видим, что отсутствует /etc/corosync/corosync.conf
Перезагружаемся.

После перезагрузки снова имеем:
# service status pve-cluster
service: status: Unrecognized service
[root@serv1 ~]# systemctl status pve-cluster.service
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

Но теперь после
# systemctl start pve-cluster.service
Кластер, который сервис, (хоть и с ошибками) стартует:
# systemctl status pve-cluster.service
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; disabled; vendor preset: disabled)
   Active: active (running) since Thu 2019-12-19 14:25:51 MSK; 6s ago
  Process: 2609 ExecStartPre=/bin/rm -f /etc/network/interfaces /etc/network/interfaces.new (code=exited, status=0/SUCCESS)
  Process: 2610 ExecStart=/usr/bin/pmxcfs (code=exited, status=0/SUCCESS)
  Process: 2617 ExecStartPost=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
 Main PID: 2612 (pmxcfs)
    Tasks: 5 (limit: 4915)
   Memory: 16.9M
   CGroup: /system.slice/pve-cluster.service
           └─2612 /usr/bin/pmxcfs

дек 19 14:25:49 serv1.localdomain pvecm[2617]: |                 |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: | .  .  o .       |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: |o o. .+ S o      |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: |.=.+ .+* = .     |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: |+o* =..+B + .    |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: |+* *..oE.* o .   |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: |*oooo.ooo+=..    |
дек 19 14:25:49 serv1.localdomain pvecm[2617]: +----[SHA256]-----+
дек 19 14:25:51 serv1.localdomain pvecm[2618]: got inotify poll request in wrong process - disabling inotify
дек 19 14:25:51 serv1.localdomain systemd[1]: Started PVE cluster filesystem.

Далее отрабатывает (частично) команда на создание кластера (ключей):
# pvecm create pve
Corosync Cluster Engine Authentication key generator.
Gathering 2048 bits for key from /dev/urandom.
Writing corosync key to /etc/corosync/authkey.
Writing corosync config to /etc/pve/corosync.conf
Restart corosync and cluster filesystem
Job for corosync.service failed because the control process exited with error code.
See "systemctl status corosync.service" and "journalctl -xe" for details.
command 'systemctl restart corosync pve-cluster' failed: exit code 1

Снова пробуем руками перезапустить сервисы:
systemctl restart corosync pve-cluster
И снова с ошибками...
# systemctl status pve-cluster.service
● pve-cluster.service - PVE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; disabled; vendor preset: disabled)
   Active: active (running) since Thu 2019-12-19 14:38:56 MSK; 1min 20s ago
  Process: 2803 ExecStartPre=/bin/rm -f /etc/network/interfaces /etc/network/interfaces.new (code=exited, status=0/SUCCESS)
  Process: 2804 ExecStart=/usr/bin/pmxcfs (code=exited, status=0/SUCCESS)
  Process: 2811 ExecStartPost=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
 Main PID: 2805 (pmxcfs)
    Tasks: 5 (limit: 4915)
   Memory: 6.8M
   CGroup: /system.slice/pve-cluster.service
           └─2805 /usr/bin/pmxcfs

дек 19 14:38:55 serv1.localdomain pmxcfs[2805]: [dcdb] crit: can't initialize service
дек 19 14:38:55 serv1.localdomain pmxcfs[2805]: [status] crit: cpg_initialize failed: 2
дек 19 14:38:55 serv1.localdomain pmxcfs[2805]: [status] crit: can't initialize service
дек 19 14:38:56 serv1.localdomain systemd[1]: Started PVE cluster filesystem.
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [status] notice: update cluster info (cluster name  pve, version = 1)
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [status] notice: node has quorum
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [dcdb] notice: members: 1/2805
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [dcdb] notice: all data is up to date
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [status] notice: members: 1/2805
дек 19 14:39:01 serv1.localdomain pmxcfs[2805]: [status] notice: all data is up to date

Но после
# systemctl start lxc lxc-net lxc-monitord pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy
# systemctl enable corosync lxc lxc-net lxc-monitord pve-cluster pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy pve-guests

и очередного
systemctl restart corosync pve-cluster
Кластер заводится.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #8 : 19.12.2019 15:04:53 »
Вышеописанное получилось успешно выполнить как на server p9, установленном в минимальной комплектации, так и на server p8, обновленном до p9 (ставилась минималка, сразу обновлялась до p9, только после этого начиналась настройка).

Предварительные выводы:

  • Имея лицензию на Server p8, использовать PVE на p9 (обновившись) можно.
  • Возникавшие проблемы от того, ставился сразу p9 или обновлялся с p8 не зависят.
  • Пытаться переводить живую машину ОЧЕНЬ опасно, нужно иметь план отступления (бэкапы всех разделов системы, возможно, настроенную систему на отдельном диске, чтобы заменить хост)

Осталось непонятно:

  • Как можно обновить боевой сервер с p8 до p9, если при обновлении конфликтуют openntpd и chrony (обновление прерывается), а при удалении openntpd выносится весь PVE*
  • Есть ли возможность, имея кластер, обновиться без простоя, перенося активные машины между узлами, и обновляя узлы по одному (это проверять не планирую)

Надеюсь, кому-то пригодится.

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: PVE на p9 (с переездом)
« Ответ #9 : 19.12.2019 22:22:27 »
Необходимо предварительно установить chrony.
Андрей Черепанов (cas@)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #10 : 19.12.2019 23:08:47 »
Необходимо предварительно установить chrony.
До установки PVE -да. При этом выносится openntpd. А если PVE уже установлен, то PVE выносится вслед за openntpd. Именно поэтому я не понимаю, как можно обновить боевой сервер.

Проблема в том, что PVE-5 (который в p8) зависит от openntpd, а PVE-6 (который в p9) - от chrony. При этом openntpd конфликтует с chrony, а при апгрейде p8->p9 apt не может конфликт разрешить, и обновление завершается ошибкой.

Не соображу, на что баг вешать.
« Последнее редактирование: 19.12.2019 23:12:10 от Dmytro »

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: PVE на p9 (с переездом)
« Ответ #11 : 20.12.2019 08:07:28 »
На p8.
Андрей Черепанов (cas@)

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #12 : 22.12.2019 00:23:13 »
При попытке обновить PVE с p8 до p9 возникает ошибка из-за конфликта зависимых пакетов.

# apt-get dist-upgrade
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Подсчет обновлений... Ошибка
Следующие пакеты имеют неудовлетворенные зависимости:
  chrony: Конфликтует: openntpd
E: Ошибка. Процедура pkgProblemResolver::Resolve вызвала остановку. Это может быть вызвано сохраняемыми пакетами.

При этом chrony нельзя установить

Спойлер
# apt-get install chrony
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Некоторые пакеты установить невозможно. Это может означать, что Вы
потребовали невозможного, либо пользуетесь нестабильным репозиторием.
Часть необходимых пакетов либо ещё не создана, либо была удалена
из каталога 'Входящие'.

Так как для выполнения Вашего запроса достаточно одной операции, то
скорее всего этот пакет просто невозможно установить. Сообщите, пожалуйста,
об этом как о найденной ошибке в пакете.
Эти сведения могут помочь найти выход из ситуации:

Следующие пакеты имеют неудовлетворенные зависимости:
  chrony: Требует: libc.so.6(GLIBC_2.25)(64bit)
          Требует: libc.so.6(GLIBC_2.27)(64bit)
E: Извините, `битые' пакеты

При удалении openntpd выносится PVE

Спойлер
# apt-get remove openntpd
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Следующие дополнительные пакеты будут установлены:
  alterator-hw-functions glibc-preinstall libboost_program_options1.67.0 libjemalloc2 libnfsidmap libpng15 libpng16 libreadline7 nfs-utils
  python-module-glusterfs3 zlib
Следующие пакеты будут ОБНОВЛЕНЫ:
  alterator-hw-functions glibc-preinstall libnfsidmap libpng15 nfs-utils python-module-glusterfs3 zlib
Следующие пакеты будут УДАЛЕНЫ:
  alterator-auth alterator-datetime alterator-pve ceph ceph-base ceph-mds ceph-mgr ceph-mon ceph-osd glusterfs3 glusterfs3-client
  glusterfs3-server interactivesystem krb5-kinit libnss-role librados2-perl nfs-clients nss-ldapd openntpd passwd policycoreutils polkit ppp
  pptp-client pve-access-control pve-cluster pve-container pve-firewall pve-guest-common pve-ha-manager pve-lxc pve-manager pve-qemu-server
  pve-storage python3 python3-base rpm-build-python3 screen selinux-policy systemd-analyze tuned vconsole-setup-kludge vlock xfsprogs
Следующие НОВЫЕ пакеты будут установлены:
  libboost_program_options1.67.0 libjemalloc2 libpng16 libreadline7
7 будет обновлено, 4 новых установлено, 44 пакетов будет удалено и 738 не будет обновлено.
Необходимо получить 1325kB архивов.
После распаковки будет освобождено 175MB дискового пространства.
Даже если сначала обновить apt, проблема не решается.

Спойлер
# apt-get install apt
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Следующие дополнительные пакеты будут установлены:
  libapt libjemalloc2 liblua5.3 libpng15 libpng16 libreadline7 librpm7 rpm zlib
Следующие пакеты будут ОБНОВЛЕНЫ:
  apt libapt libpng15 rpm zlib
Следующие пакеты будут УДАЛЕНЫ:
  alterator-pve librpm librpmbuild osec-cronjob osec-mailreport perl-AptPkg perl-RPM pve-container pve-ha-manager pve-manager pve-qemu-server
Следующие НОВЫЕ пакеты будут установлены:
  libjemalloc2 liblua5.3 libpng16 libreadline7 librpm7
5 будет обновлено, 5 новых установлено, 11 пакетов будет удалено и 768 не будет обновлено.
Необходимо получить 2271kB архивов.
После распаковки будет освобождено 26,4MB дискового пространства.
Продолжить? [Y/n] y
Получено: 1 http://ftp.altlinux.org p9/branch/x86_64/classic liblua5.3 5.3.5-alt2:p9+237798.100.1.1@1568845217 [97,5kB]
Получено: 2 http://ftp.altlinux.org p9/branch/x86_64/classic zlib 1.2.11-alt1:sisyphus+221902.6000.4.1@1550600768 [59,2kB]
Получено: 3 http://ftp.altlinux.org p9/branch/x86_64/classic librpm7 4.13.0.1-alt13:p9+238696.200.1.1@1570226897 [344kB]
Получено: 4 http://ftp.altlinux.org p9/branch/x86_64/classic libapt 0.5.15lorg2-alt71:p9+236756.100.2.1@1567081328 [339kB]
Получено: 5 http://ftp.altlinux.org p9/branch/x86_64/classic libreadline7 7.0.3-alt3:sisyphus+222164.300.1.1@1550686325 [124kB]
Получено: 6 http://ftp.altlinux.org p9/branch/x86_64/classic rpm 4.13.0.1-alt13:p9+238696.200.1.1@1570226897 [425kB]
Получено: 7 http://ftp.altlinux.org p9/branch/x86_64/classic apt 0.5.15lorg2-alt71:p9+236756.100.2.1@1567081328 [338kB]
Получено: 8 http://ftp.altlinux.org p9/branch/x86_64/classic libjemalloc2 5.1.0-alt4:sisyphus+225011.100.1.1@1552573614 [201kB]
Получено: 9 http://ftp.altlinux.org p9/branch/x86_64/classic libpng15 1.5.30-alt1:sisyphus+223108.100.1.1@1551218762 [150kB]
Получено: 10 http://ftp.altlinux.org p9/branch/x86_64/classic libpng16 1.6.36-alt1:sisyphus+219478.100.1.1@1547633315 [194kB]
Получено 2271kB за 2s (868kB/s).
Совершаем изменения...
Preparing...                         ################################################################################################### [100%]
 1: zlib                             ################################################################################################### [ 10%]
 2: liblua5.3                        ################################################################################################### [ 20%]
 3: librpm7                          ################################################################################################### [ 30%]
 4: libapt                           ################################################################################################### [ 40%]
 5: rpm                              ################################################################################################### [ 50%]
 6: libreadline7                     ################################################################################################### [ 60%]
 7: apt                              ################################################################################################### [ 70%]
 8: libjemalloc2                     ################################################################################################### [ 80%]
 9: libpng15                         ################################################################################################### [ 90%]
10: libpng16                         ################################################################################################### [100%]
ошибка чтения информации о сервисе pvedaemon: Нет такого файла или каталога
ошибка чтения информации о сервисе pveproxy: Нет такого файла или каталога
ошибка чтения информации о сервисе pvestatd: Нет такого файла или каталога
ошибка чтения информации о сервисе spiceproxy: Нет такого файла или каталога
Running /usr/lib/rpm/posttrans-filetriggers
Завершено.
[root@host-201 ~]# rebuilding database /var/lib/rpm started
rebuilding database /var/lib/rpm finished
delayed execution of posttrans filetriggers started
delayed execution of posttrans filetriggers finished

[root@host-201 ~]# apt-get dist-upgrade
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Подсчет обновлений... Ошибка
Следующие пакеты имеют неудовлетворенные зависимости:
  chrony: Конфликтует: openntpd
E: Ошибка. Процедура pkgProblemResolver::Resolve вызвала остановку. Это может быть вызвано сохраняемыми пакетами.

И даже epm, предварительно обновленный из p9, безсилен

Спойлер
# epm release-upgrade
Starting upgrade whole system to the next release
Check also http://wiki.etersoft.ru/Admin/UpdateLinux
 # epm update
Running command for update remote package repository database
 # apt-get update
Получено: 1 http://ftp.altlinux.org p9/branch/x86_64 release [1946B]
Получено: 2 http://ftp.altlinux.org p9/branch/noarch release [1536B]
Получено: 3 http://ftp.altlinux.org p9/branch/x86_64-i586 release [1175B]
Получено 4657B за 0s (54,9kB/s).             
Найдено http://ftp.altlinux.org p9/branch/x86_64/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/x86_64/classic release
Найдено http://ftp.altlinux.org p9/branch/noarch/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/noarch/classic release
Найдено http://ftp.altlinux.org p9/branch/x86_64-i586/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/x86_64-i586/classic release
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
 # epm repofix

Upgrade ALTLinux from p8 to p9 ...
Are you sure? [y/N] y
 # rpm -qf /etc/altlinux-release
 # epm install rpm apt apt-conf-branch
 # apt-get install rpm apt apt-conf-branch
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Последняя версия rpm уже установлена.
Последняя версия apt уже установлена.
Следующие пакеты будут ОБНОВЛЕНЫ:
  apt-conf-branch
1 будет обновлено, 0 новых установлено, 0 пакетов будет удалено и 766 не будет обновлено.
Необходимо получить 13,1kB архивов.
После распаковки будет освобождено 1943B дискового пространства.
Получено: 1 http://ftp.altlinux.org p9/branch/x86_64/classic apt-conf-branch 9.0-alt5:p9+237161.100.1.1@1567688958 [13,1kB]
Получено 13,1kB за 0s (238kB/s). 
Совершаем изменения...
Подготовка...                           ################################################################################################# [100%]
Обновление / установка...
1: apt-conf-branch-9.0-alt5             #############################предупреждение: /etc/apt/sources.list.d/alt.list создан как /etc/apt/sources.list.d/alt.list.rpmnew
#################################################################### [ 50%]
Очистка / удаление...
2: apt-conf-branch-8.3-alt2             ################################################################################################# [100%]
Завершено.
 # apt-repo list
 # apt-repo list
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/x86_64 classic
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/noarch classic
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/x86_64-i586 classic
 # apt-repo list
 # apt-repo list
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/x86_64 classic
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/noarch classic
rpm [p9] http://ftp.altlinux.org/pub/distributions/ALTLinux p9/branch/x86_64-i586 classic
 # epm repofix
 # epm update
Running command for update remote package repository database
 # apt-get update
Получено: 1 http://ftp.altlinux.org p9/branch/x86_64 release [1946B]
Получено: 2 http://ftp.altlinux.org p9/branch/noarch release [1536B]
Получено: 3 http://ftp.altlinux.org p9/branch/x86_64-i586 release [1175B]
Получено 4657B за 0s (70,7kB/s).                   
Найдено http://ftp.altlinux.org p9/branch/x86_64/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/x86_64/classic release
Найдено http://ftp.altlinux.org p9/branch/noarch/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/noarch/classic release
Найдено http://ftp.altlinux.org p9/branch/x86_64-i586/classic pkglist
Найдено http://ftp.altlinux.org p9/branch/x86_64-i586/classic release
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
 # epm upgrade
Running command for upgrade packages
 # apt-get dist-upgrade
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Подсчет обновлений... Ошибка
Следующие пакеты имеют неудовлетворенные зависимости:
  chrony: Конфликтует: openntpd
E: Ошибка. Процедура pkgProblemResolver::Resolve вызвала остановку. Это может быть вызвано сохраняемыми пакетами.
Error: Check an error and run epm release-upgrade again

Завел баг: https://bugzilla.altlinux.org/show_bug.cgi?id=37656
« Последнее редактирование: 22.12.2019 00:27:49 от Dmytro »

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #13 : 22.12.2019 23:38:44 »
При попытке получить шаблоны при помощи pveam воспроизвелся баг 37631 Нагуглил недостающий файл на гитхабе, оказался для одного из 2-х репозиториев, который от turnkey linux. С него шаблоны загрузились, а с proxmox нет. Нужно попробовать подсунуть из оригинального Proxmox.

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: PVE на p9 (с переездом)
« Ответ #14 : 23.12.2019 00:03:49 »
Вскрьез задумался о том, чтобы после переустановки хоста вместо родной агрегации (bond) использовать openvswitch. Попробовал создать через вебморду - создается, но не работает. А потом еще и не полностью удаляется. Если создавать бридж и бонд через ovs-vzctl - отображаются по ip addr show, но не отображаются в вебморде, что делает невозможным дальнеющую конфигурацию с их участием через web. Если файлами через /etc/net/ -тоже не все заводится.

В конечном итоге запустить смог, но убил на это полдня. Повторю проделанное на новой виртуалке (для проверкм) - напишу рецепт. А пока завел баг

P.S.: На Proxmox, установленном с родного диска, все завелось через веб с первой попытки. Очевидно, надо перловые скрипты под реалии etcnet адаптировать.